拍摄集

filebeat收集docker容器日志不全



spring boot整合elk

  • elk简介
  • 传统系统日志收集问题
  • elk整合spring boot的原理
  • 环境安装
  • 安装Elasticsearch
  • 安装kibana(与es版本相同)
  • 安装logstash(与es版本相同)
  • spring boot整合logback
  • 访问kibana查看日志


ELK是三个开源软件的缩写,分别表示:Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat,它是一个轻量级的日志收集处理工具(Agent),Filebeat占用资源少,适合于在各个服务器上搜集日志后传输给Logstash,官方也推荐此工具。

Elasticsearch是个开源分布式搜索引擎,提供搜集、分析、存储数据三大功能。它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。

Logstash 主要是用来日志的搜集、分析、过滤日志的工具,支持大量的数据获取方式。一般工作方式为c/s架构,client端安装在需要收集日志的主机上,server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去。

Kibana 也是一个开源和免费的工具,Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助汇总、分析和搜索重要数据日志。

在传统项目中,如果在生产环境中,有多台不同的服务器集群,如果生产环境需要通过日志定位项目的Bug的话,需要在每台节点上使用传统的命令方式查询,这样效率非常底下。
通常,日志被分散在储存不同的设备上。如果你管理数十上百台服务器,你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理,例如:开源的syslog,将所有服务器上的日志收集汇总。
集中化管理日志后,日志的统计和检索又成为一件比较麻烦的事情,一般我们使用grep、awk和wc等Linux命令能实现检索和统计,但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。

1、每个springboot服务的日志,通过logback进行收集,发送到logstash对应端口上
2、logstash可以开启多个端口,以端口进行分类,发送日志json到ElasticSearch不同的索引中
3、使用kibana连接ElasticSearch,对每个服务的每天的日志进行筛选查询

本环境使用docker简化软件安装流程(docker安装教程)

安装es-ik分词插件(插件版本和es版本必须一致)插件地址

中文版

在resource下创建logback-spring.xml文件

pom文件添加依赖

application.yml文件添加配置

访问kibana地址ip:5601

filebeat收集docker容器日志不全_logback


filebeat收集docker容器日志不全_spring boot_02


filebeat收集docker容器日志不全_docker_03


filebeat收集docker容器日志不全_elk_04


filebeat收集docker容器日志不全_elk_05


filebeat收集docker容器日志不全_elasticsearch_06


filebeat收集docker容器日志不全_spring boot_07


相关推荐