简介

微服务架构中 如何实现多节点日志的收集，本文主要介绍了主流的分布式日志解决方案还是基于ELK（ElasticSearch、Logstash、Kibana），通过FileBeat来收集日志 最终通过可视化的界面管理日志的目的

ElasticSearch 安装配置

安装启动脚本

#创建目录
mkdir  /home/app/elasticsearch
cd /home/app/elasticsearch
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.13.4-linux-x86_64.tar.gz
#解压
tar -zxvf elasticsearch-7.13.4-linux-x86_64.tar.gz
#创建ElasticSearch启动用户&赋权限
useradd elastic
chown -R elastic:elastic /home/app/elasticsearch/
#切换用户启用
su - elastic
cd /home/app/elasticsearch/elasticsearch-7.13.4/bin
./elasticsearch -d 

验证安装
在服务器执行curl 127.0.0.1:9200命令，查看输出结果，如果输出如下json数据，则表示启动成功

{
  "name" : "node-1",
  "cluster_name" : "elk-application",
  "cluster_uuid" : "qvggIOwbTk6pVlxFlulqQg",
  "version" : {
    "number" : "7.13.4",
    "build_flavor" : "default",
    "build_type" : "tar",
    "build_hash" : "c5f60e894ca0c61cdbae4f5a686d9f08bcefc942",
    "build_date" : "2021-07-14T18:33:36.673943207Z",
    "build_snapshot" : false,
    "lucene_version" : "8.8.2",
    "minimum_wire_compatibility_version" : "6.8.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  },
  "tagline" : "You Know, for Search"
}

Kibana 安装配置

安装启动脚本

#创建目录
mkdir  /home/app/kibana
cd /home/app/kibana
wget https://artifacts.elastic.co/downloads/kibana/kibana-7.13.4-linux-x86_64.tar.gz
#解压
tar -zxvf kibana-7.13.4-linux-x86_64.tar.gz
#修改配置文件,
vim /home/app/kibana/kibana-7.13.4-linux-x86_64/config/kibana.yml
#参照如下 放开注释即可
# 端口
#server.port: 5601
# 指定本机ip让外部能访问
#server.host: "0.0.0.0"
# 请求数据指向的elasticsearch服务器
#elasticsearch.hosts: ["http://ip:9200"]
# 中文汉化
#i18n.locale: "zh-CN" 

#新增kibana用户&赋权限
useradd kibana
chown -R kibana:elastic /home/app/kibana/
#切换用户启用
su - kibana 
nohup /home/app/kibana/kibana-7.13.4-linux-x86_64/bin/kibana    > /opt/logs/kibana.out 2>&1 &

验证安装
通过浏览器输入http://ip:5601/即可访问kibana,此处无需登录即可打开网页 如需登录需要借助elasticsearch自带的xpack作为权限验证功能，后续文章介绍

Logstash安装配置

安装启动脚本

#创建目录
mkdir  /home/app/logstash
cd /home/app/logstash
wget https://artifacts.elastic.co/downloads/logstash/logstash-7.13.4-linux-x86_64.tar.gz
#解压
tar -zxvf logstash-7.13.4-linux-x86_64.tar.gz
#修改配置文件,
cd /home/app/logstash/logstash-7.13.4/config
cp logstash-sample.conf logstash.conf
#参照如下 配置
#input {
#  beats {
#    port => 5044
#  }
#}

#output {
#  elasticsearch {
#    hosts => ["http://ip:9200"]
#    index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
#    user => "elastic"
#    password => "password"
#  }
#}

#启用
su - kibana 
nohup /home/app/logstash/logstash-7.13.4/bin/logstash -f  
/home/app/logstash/logstash-7.13.4/config/logstash.conf  > /opt/logs/logstash.out 2>&1 &

Filebeat安装配置

安装启动脚本

#创建目录
mkdir  /home/app/filebeat
cd /home/app/filebeat
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.17.4-linux-x86_64.tar.gz
#解压
tar -zxvf filebeat-7.17.4-linux-x86_64.tar.gz
#修改配置文件,
cd /home/app/filebeat/filebeat-7.17.4
vim filebeat.yml
#配置参考如下
#filebeat.inputs:
#- type: log
#  enabled: true
#  paths: "/opt/logs/latest/*.out" #服务所在日志目录
#  tags: ["myLogs"]

#output.logstash:
#  hosts: ["上面安装的IP:5044"]
#  topic: '%{[fields.log_topic]}'

#processors:
#- add_host_metadata: ~
#- add_cloud_metadata: ~
#启用
nohup /home/app/filebeat/filebeat-7.17.4/filebeat -c /home/app/filebeat/filebeat-7.17.4/filebeat.yml -e 
> /opt/logs/filebat.out 2>&1 & disown

使用

打开 http://ip:5601 即可看到页面 如图操作