beats 与 logstash 的关系
Beats 是一个轻量型数据采集器,能够方便的与 和 配合使用。
beats 并不是替换的,beats 是用来优化 的, 的消耗性能比较多,如果只是单纯为了收集日志,使用 就有点大材小用了,另外也有点浪费资源,而beats 是轻量级的用来收集日志的。
更加关注一件事,那就是数据转换,格式化等处理工作。
比如:日志数据是一行一行的非格式化的数据,想要存在 就要一定的结构。 就可以做这件事情。
beats 是可以直接对接 的,只不过数据不能适配,只能做一些简单的处理, 对接es ,也可以对接其他。
比较完整的是: beats dui 进行数据适配,然后堆到es 做检索。
开源的数据收集引擎、具有实时管道功能,可以动态的将来自不同数据源的数据统一起来,并将数据标准化到所选择的目的地。
开源的服务器端数据处理管道,可以同时从多个数据源中获取数据,并进行转化换,然后将其发送到规定位置进行存储。(一般规定的位置选择)
的关键点:
inputs: 必须,负责生产事件,负责收集数据,收集数据会存在多种数据类型
filters: 可选,负责数据处理与转换
outputs: 必须,负责数据输出
的内部结构:
数据流入、加工处理、数据流出。数据也可以不做处理,单纯的流入在流出,数据处理,格式化,数据丰富,数据删除等等。