再探Docker-日志收集

admin 2022年5月17日11:19:23安全博客评论10 views1400字阅读4分40秒阅读模式

一次Docker项目需求构架的尝试

0x01 方法选择

当我们的Docker部署完成后,为了能够掌握Docker的状态,除了使用logs、event、diff等实时运维命令查看外,我们还存在需要对Docker产生的日志进行收集整理分析的必要。

网上能找到的日志收集系统有很多,例如Flume、Fluentd、Logstash等等。经过一段时间的摸索搭建,个人最容易搭建成功的是Logstash,而且整个ELK体系也提供一套完整的日志收集、存储、查找、可视化流程,可以省去很多编写中间件的精力。

0x02 调试

所以最终我的整体架构如下:

docker1\
        \
docker2——————>docker-logstash————>任意机器(可以不是宿主机)
        /
docker3/

ELK一整套工具可以很方便的从Elastic的官网上下到,在这里就不在赘述。在任意一台主机上安装Elasticsearch和Kibana,在宿主机上安装不同的Docker以及一个Logstash的Docker。这里我使用我在上一篇博客中编译好的Wordpress的Docker。不同的是我需要将WP中记录日志的文件夹挂载到logstash-docker上。命令如下:

1
docker run -d -v /var/log/nginx/ --name wordpress -p 0.0.0.0:80:80 long/wordpress

简单解释一下这条命令,我们运行了之前编译好的Wordpress,将其中的Nginx下的日志挂载出来。

接下来,我们再从官网仓库中pull下Docker版的Logstash,使用如下命令开启:

1
docker run -it --rm --volumes-from wordpress -v "$PWD":/home  logstash logstash -f /home/test.conf

这里有几个坑要事先声明一下,一个是这里我使用了Logstash的配置文件,而这个配置文件我是从宿主机挂载到容器的home文件夹下,另一个点就是Logstash容器从Wordpress中接手之前挂载的文件夹,从里面实时增量读取日志,但是两个容器的权限不对应,所以要注意在Wordpress容器对相应的文件夹做权限变更。

Logstash的配置文件我写法如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
input {
file {
path => "xxxx"
start_position => beginning
}
}
filter {

}

output {
stdout { }
}

从日志中读取信息,打印在标准输出中。

这一步调试成功后,我们接着调试Elastic的部分,Elastic+Kibana我是运行在一台Windows的主机上的,运行前调整Elastic的配置文件中的,使得宿主机可以访问到它,当然这里的访问是没有任何认证的,但是作为测试,我们先不讨论安全问题。

通过windows主机访问宿主机上的Wordpress-docker,然后访问

此时,宿主机中容器的日志已经显示在了Windows的主机中。

0x03 总结

利用这种方式,我们实现了容器日志传输到任意主机上存储的目的,而日志传输则是通过在多个容器之间挂载目录实现。这样做,可以很好的实现应用、日志(或数据)之间的解耦合,将重要日志存储在更安全的实体主机上,便于实现中心对应分布的日志分析。


FROM : phantom0301 | Author:phantom0301

特别标注: 本站(CN-SEC.COM)所有文章仅供技术研究,若将其信息做其他用途,由用户承担全部法律及连带责任,本站不承担任何法律及连带责任,请遵守中华人民共和国安全法.
  • 我的微信
  • 微信扫一扫
  • weinxin
  • 我的微信公众号
  • 微信扫一扫
  • weinxin
admin
  • 本文由 发表于 2022年5月17日11:19:23
  • 转载请保留本文链接(CN-SEC中文网:感谢原作者辛苦付出):
                  再探Docker-日志收集 http://cn-sec.com/archives/1013099.html

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: