elk

ELKstack13-将日志写入kafka

ELKstack13-将日志写入kafka

Write log to kafka

suo.li
环境: 主机名 IP 运行的服务 es-server-node1 192.168.100.142 Elasticsearch、Head、Cerebro es-server-node2 192.168.100.144 Elasticsearch 、Logstash es-server-node3 192.168.100.146 Elasticsearch 、Kibana zoo-server-node1 192.168.100.160 zookeeper,kafka zoo-server-node2 192.168.100.162 zookeeper,kafka zoo-server-node3 192.168.100.164 zookeeper,kafka tomcat-server-node1 192.168.100.150 tomcat,dubbo-provider,logstash,filebeat tomcat-server-node2 192.168.100.152 tomcat,dubbo-consumer,logstash,filebeat 将下图的 redis 换为 kafka 日志数据流: tomcat-server-node1:filebeat –> tomcat-server-node2:logstash –> zoo-server-nodeX:kafka –> es-server-node2:logstash –> es-server-nodeX:elasticsearch 一.tomcat-server-node
ELKstack12-Kibana画图功能

ELKstack12-Kibana画图功能

Kbana visualization

suo.li
面积图-area 选择可视化: 选择面积图: 添加 index pattern 后选择添加 Buckets 添加一个 X 轴: 选择使用词(Terms)作为域(Field)的来源,安装该域的相同的值计数排序, 设置 50 个不同的值用于计数: 保存: 数据表-datatable 选择可视化: 选择数据表: 选择
ELKstack11-可视化客户IP

ELKstack11-可视化客户IP

Analyze ip based on GeoLite-City

suo.li
一. 下载 GeoLite-City 位置库 到 maxmind 官网注册并下载 GeoLite-City 地图位置库,解压到/etc/logstash 文件夹下。 maxmind 官网 root@redis-server:/etc/logstash# tar xf GeoLite2-City_20200317.tar.gz root@redis-server:/etc/logstash# cd GeoLite2-City_20200317/ root@redis-server:/etc/logstash/GeoLite2-City_20200317# ll total 61508 drwxr-xr-x 2 root root 4096 Mar 18 07:30 ./ drwxrwxr-x 5 root root 4096 Mar 24 11:41 ../ -rw-r--r-- 1 root root 55 Mar 18 07:30 COPYRIGHT.txt ## 在logstash从redis取数据时使用该库添加附加的信息,如I
ELKstack10-日志收集案例

ELKstack10-日志收集案例

Log gathering case

suo.li
案例规划如下: 由于实验环境限制,将 filebeat 和 logstash 部署在 tomcat-server-nodeX,将 redis 和 写 ES 集群的 logstash 部署在 redis-server,将 HAproxy 和 Keepalived 部署在 tomcat-server-nodeX。将 Kibana 部署在 ES 集群主机。 环境: 主机名 核心 RAM IP 运行的服
ELKstack9-使用Filebeat收集日志

ELKstack9-使用Filebeat收集日志

using Filebeat gathering logs

suo.li
Filebeat 是轻量级单用途的日志收集工具,用于在没有安装 java 的服务器上专 门收集日志,可以将日志转发到 logstash、elasticsearch 或 redis 及 kafka 中 进行下一步处理。 官网下载地址 官方文档 环境: 主机名 IP 运行的服务 es-server-node1 192.168.100.142 Elasticsearch、Hea
ELKstack8-将收集的日志写入redis

ELKstack8-将收集的日志写入redis

Write log to redis

suo.li
环境: 主机名 IP 运行的服务 es-server-node1 192.168.100.142 Elasticsearch、Head、Cerebro es-server-node2 192.168.100.144 Elasticsearch 、Logstash es-server-node3 192.168.100.146 Elasticsearch 、Kibana nginx-tomcat-server 192.168.100.150 logstash、nginx、tomcat、haprxy redis-server 192.168.100.152 logstash、tomcat、redis 一. 部署 redis
ELKstack7-收集TCP/UDP及HAProxy日志

ELKstack7-收集TCP/UDP及HAProxy日志

Gathering tcp/udp and haproxy logs

suo.li
环境: 主机名 IP 运行的服务 es-server-node1 192.168.100.142 Elasticsearch、Head、Cerebro es-server-node2 192.168.100.144 Elasticsearch 、Logstash es-server-node3 192.168.100.146 Elasticsearch 、Kibana nginx-tomcat-server 192.168.100.150 logstash、haprxy 一. 收集 TCP 和 UDP 日志 TCP input 插件文档 UDP input 插件文档 TCP/UDP input 插件从 TCP socket 读取事件,和 stdin 及 file 插件一样
ELKstack6-收集nginx日志

ELKstack6-收集nginx日志

Gathering nginx logs

suo.li
环境: 主机名 IP 运行的服务 es-server-node1 192.168.100.142 Elasticsearch、Head、Cerebro es-server-node2 192.168.100.144 Elasticsearch 、Logstash es-server-node3 192.168.100.146 Elasticsearch 、Kibana nginx-tomcat-server 192.168.100.150 logstash、tomcat、nginx 一. 部署 nginx 1.1 编译安装 nginx ~# cd /usr/local/src ~# wget http://nginx.org/download/nginx-1.16.1.tar.gz ~# tar xf nginx-1.16.1.tar.gz ~# cd nginx-1.16.1 ~# ./configure --prefix=/apps/nginx ~# make -j 2 && make install ~#
ELKstack5-收集tomcat和java日志

ELKstack5-收集tomcat和java日志

Gathering tomcat and java logs

suo.li
环境: 主机名 IP 运行的服务 es-server-node1 192.168.100.142 Elasticsearch、Head、Cerebro es-server-node2 192.168.100.144 Elasticsearch 、Logstash es-server-node3 192.168.100.146 Elasticsearch 、Kibana nginx-tomcat-server 192.168.100.150 logstash、tomcat、nginx 一. 部署 tomcat 服务 1.1 安装 java 环境 预编译包安装: ~# tar xf jdk-8u241-linux-x64.tar.gz ~# ln -sv /usr/local/src/jdk1.8.0_241 /usr/local/jdk ~# vim /etc/profile ... export JAVA_HOME="/usr/local/jdk"
ELKstack4-使用Logstash收集日志

ELKstack4-使用Logstash收集日志

ELKstack4 using Logstash gather logs

suo.li
环境: 主机名 IP 运行的服务 es-server-node1 192.168.100.142 Elasticsearch、Head、Cerebro es-server-node2 192.168.100.144 Elasticsearch 、Logstash es-server-node3 192.168.100.146 Elasticsearch 、Kibana 一. 通过 logstash 收集单个日志 通过 logstash 收集单个系统日志,并输出至文件 1.1 配置 logstash root@es-server-node2:~# vim /etc/logstash/conf.d/syslog-demo.conf input { file { type => "messagelog" path => "/var/log/syslog" start_position => "beginning" } } output { file { path => "/tmp/%{type}-%{+YYYY.MM.dd}"