使用logstash+elasticsearch+kibana快速搭建日志平台
2019独角兽企业重金招聘工程师标准>>>
日志的分析和监控在系统开发中占非常重要的地位,系统越复杂,日志的分析和监控就越重要,常见的需求有:
很多团队在日志方面可能遇到的一些问题有:
常见的一些重量级的开源Trace系统有
这些项目功能强大,但对于很多团队来说过于复杂,配置和部署比较麻烦,在系统规模大到一定程度前推荐轻量级下载即用的,比如++(LEK)组合。
对于日志来说,最常见的需求就是收集、查询、显示,正对应、、的功能。
部署简单,下载一个jar就可以用了,对日志的处理逻辑也很简单,就是一个的过程
inputs >> codecs >> filters >> outputs
对应的插件有
从上面可以看到支持常见的日志类型,与其他监控系统的整合也很方便,可以将数据输出到、、email等。
推荐用redis作为输入缓冲队列。
你还可以把数据统计后输出到,实现统计数据的可视化显示。
demo
参考文档
是基于的开源搜索引擎,近年来发展比较快,主要的特点有
的详细介绍以后再写,常用的一些资源如下
中文
, ES默认的中文分词
mmseg
ik
, 拼音分词,可用于输入拼音提示中文
, 中文简繁体互换
常用插件
-,用Java 对做的一个封装
HQ,的监控工具
-rtf,针对中文集成了相关插件(rtf = Ready To Fly)
作者主页
主页
是一个功能强大的数据显示客户端,已经内置了,你也可以单独部署,最新版的是纯html+js客户端,可以很方便的部署到、Nginx等Http服务器。
的地址:
的地址:
demo地址:
从demo可以先看一下的一些基本功能
图表
数据表格,可以自定义哪些列显示以及显示顺序
可以看到实际执行的查询语句
新加一行
新加panel,可以看到支持的panel类型
加一个饼图
用地图显示统计结果