首页 >> 大全

是基于(一个全文检索引擎的架构)开发的分布式存储检索引擎,用

2023-08-28 大全 37 作者:考证青年

ELK结构

ELK由、、组成。

是基于(一个全文检索引擎的架构)开发的分布式存储检索引擎,用来存储各类日志。

是用 Java 开发的,可通过 Web 接口,让用户可以通过浏览器与 通信。

是个分布式搜索和分析引擎,优点是能对大容量的数据进行接近实时的存储、搜索和分析操作。

作为数据收集引擎。它支持动态的从各种数据源搜集数据,并对数据进行过滤、分析、丰富、统一格式等操作,然后存储到用户指定的位置,一般会发送给 。

由JRuby 语言编写,运行在 Java 虚拟机(JVM)上,是一款强大的数据处理工具, 可以实现数据传输、格式处理、格式化输出。 具有强大的插件功能,常用于日志处理。

是基于 Node.js 开发的展示工具,可以为 和 提供图形化的日志分析 Web 界面展示,可以汇总、分析和搜索重要数据日志。

补充

:轻量级的开源日志文件数据搜集器。通常在需要采集数据的客户端安装 ,并指定目录与日志格式, 就能快速收集数据,并发送给 进行解析,或是直接发给 存储,性能上相比运行于 JVM 上的 优势明显,是对它的替代。

集群部署 一、环境准备(在Node1、Node2节点上操作,只展示node1)

node1节点(内存4G):192.168.235.101 部署ES、

node2节点(内存4G):192.168.235.102 部署ES

节点:192.168.235.103 部署、

所有主机关闭防火墙

更改node节点主机名

配置域名解析

安装java

二、部署 软件 安装软件包

加载服务系统

修改主配置文件

创建数据存放路径并授权

启动es

查看节点信息

:9200 、 :9200 查看节点 Node1、Node2 的信息

:9200//?查看群集的健康情况

:9200//state? 检查群集状态信息

三、安装 -head 插件

安装 -head 需要提前安装好依赖软件 node 和 。

node:是一个基于 V8 引擎的 运行环境。

:是一个基于 的,可以理解为一个隐形的浏览器,任何基于 浏览器做的事情,它都可以做到。

编译安装 node

安装 并复制执行文件

安装 -head 数据可视化工具

修改 主配置文件

启动 -head 服务

查看信息

通过 -head 查看 信息,由于端口号为9100,所以通过浏览器访问 :9100地址并连接群集。如果看到群集健康值为 green 绿色,代表群集很健康。

插入索引查看

刷新页面

部署

在 节点上操作

一、更改主机名

二、安装服务(httpd)并启动

yum -y httpd

start httpd

三、安装Java环境

四、安装并创建软链接

五、测试

-f:通过这个选项可以指定 的配置文件,根据配置文件配置 的输入和输出流。

-e:从命令行中获取,输入、输出后面跟着字符串,该字符串可以被当作 的配置(如果是空,则默认使用 stdin 作为输入, 作为输出)。

-t:测试配置文件是否正确,然后退出。

使用 输出详细格式显示,codec 为一种编解码器

使用 将信息写入 中

结果不在标准输出显示,而是发送至 中,可浏览器访问 :9100/ 查看索引信息和数据浏览

六、定义 配置文件

配置文件基本由三部分组成:input、 以及 (可选,根据需要选择使用)

我们用系统日志文件为例

_分布式存储的一般架构

重启服务后浏览器访问 :9100 查看索引信息

部署

在 Node1 节点上操作

一、安装

二、配置 的主配置文件

三、启动 服务

四、验证

浏览器访问 :5601

单击 “” 按钮创建,单击 “” 按钮可查看图表信息及日志信息。

数据展示可以分类显示,在“ ”中的“host”,然后单击 “add”按钮,可以看到按照“host”筛选后的结果。

五、添加数据

将 服务器的日志(访问的、错误的)添加到 并通过 显示

启动

浏览器访问 :9100 查看索引是否创建

浏览器访问 :5601 登录

选择“”选项卡,在中间下拉列表中选择刚添加的 -* 、-* 索引, 可以查看相应的图表及日志信息

+ELK 部署

:轻量级的开源日志文件数据搜集器。通常在需要采集数据的客户端安装 ,并指定目录与日志格式, 就能快速收集数据,并发送给 进行解析,或是直接发给 存储,性能上相比运行于 JVM 上的 优势明显,是对它的替代。

一、安装 (在 Node1 节点上操作)

二、设置 的主配置文件

三、启动

四、新建配置文件

在 组件所在节点上新建一个 配置文件

启动

五、访问

浏览器访问 :5601 登录 ,单击“ Index ”按钮添加索引“-*”,单击 “” 按钮创建,单击 “” 按钮可查看图表信息及日志信息(同上)

关于我们

最火推荐

小编推荐

联系我们


版权声明:本站内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 88@qq.com 举报,一经查实,本站将立刻删除。备案号:桂ICP备2021009421号
Powered By Z-BlogPHP.
复制成功
微信号:
我知道了