ELK结构
ELK由、、组成 。
是基于(一个全文检索引擎的架构)开发的分布式存储检索引擎,用来存储各类日志 。
是用 Java 开发的,可通过Web 接口,让用户可以通过浏览器与通信 。
是个分布式搜索和分析引擎,优点是能对大容量的数据进行接近实时的存储、搜索和分析操作 。
作为数据收集引擎 。它支持动态的从各种数据源搜集数据,并对数据进行过滤、分析、丰富、统一格式等操作,然后存储到用户指定的位置,一般会发送给。
由JRuby 语言编写,运行在 Java 虚拟机(JVM)上,是一款强大的数据处理工具,可以实现数据传输、格式处理、格式化输出 。具有强大的插件功能,常用于日志处理 。
是基于 Node.js 开发的展示工具,可以为和提供图形化的日志分析 Web 界面展示,可以汇总、分析和搜索重要数据日志 。
补充
:轻量级的开源日志文件数据搜集器 。通常在需要采集数据的客户端安装,并指定目录与日志格式,就能快速收集数据,并发送给进行解析,或是直接发给存储,性能上相比运行于 JVM 上的优势明显,是对它的替代 。
集群部署 一、环境准备(在Node1、Node2节点上操作,只展示node1)
node1节点(内存4G):192.168.235.101 部署ES、
node2节点(内存4G):192.168.235.102 部署ES
节点:192.168.235.103 部署、
所有主机关闭防火墙
更改node节点主机名
配置域名解析
安装java
二、部署软件 安装软件包
加载服务系统
修改主配置文件
创建数据存放路径并授权
启动es
查看节点信息
:9200 、 :9200 查看节点 Node1、Node2 的信息
:9200//?查看群集的健康情况
:9200//state? 检查群集状态信息
三、安装 -head 插件
安装 -head 需要提前安装好依赖软件 node 和。
node:是一个基于V8 引擎的运行环境 。
:是一个基于的,可以理解为一个隐形的浏览器,任何基于浏览器做的事情,它都可以做到 。
编译安装 node
安装 并复制执行文件
安装 -head 数据可视化工具
修改主配置文件
启动 -head 服务
查看信息
通过 -head 查看信息,由于端口号为9100,所以通过浏览器访问 :9100地址并连接群集 。如果看到群集健康值为 green 绿色,代表群集很健康 。
插入索引查看
刷新页面
部署
在节点上操作
一、更改主机名
二、安装服务(httpd)并启动
yum -yhttpd
start httpd
三、安装Java环境
四、安装并创建软链接
五、测试
-f:通过这个选项可以指定的配置文件,根据配置文件配置的输入和输出流 。
-e:从命令行中获取,输入、输出后面跟着字符串,该字符串可以被当作的配置(如果是空,则默认使用 stdin 作为输入,作为输出) 。
-t:测试配置文件是否正确,然后退出 。
使用输出详细格式显示,codec 为一种编解码器
使用将信息写入中
结果不在标准输出显示,而是发送至中,可浏览器访问 :9100/ 查看索引信息和数据浏览
六、定义 配置文件
配置文件基本由三部分组成:input、 以及 (可选,根据需要选择使用)
我们用系统日志文件为例
文章插图
重启服务后浏览器访问 :9100 查看索引信息
部署
在 Node1 节点上操作
一、安装
二、配置的主配置文件
三、启动服务
四、验证
【一个全文检索引擎的架构是基于开发的分布式存储检索引擎,用】
- 四川平昌
- 云南旅游团
- 东莞订机票
- 还原一个真实的狄仁杰中国的福尔摩斯是这样的?
- ELK-4-kibana
- 吃在上海
- 绿都
- 个园门票
- 全球最美丽的五位明星,中国只有一个入选,你能猜出来是谁吗? 世界之最眼睛
- 海南省:一个美丽而富饶的宝岛 世界之最海南