k8s日志收集方案调研

背景

之前每次查看日志的时候都是使用logs -f对应容器这样去查看，这样的好处是简单，但是每次都这样去弄太麻烦了，而且日志一多起来查找起来也非常麻烦，所以正好借此机会做一次日志收集平台展示调研方案。

需求

因为我是个人集群，所以在集群配置上不会很高，节点也不会有很多，是一个标准三节点，同时上面还跑着其他中间件等等。所以对资源消耗大的日志收集方案就不考虑，再一个是我的日志不需要保留很长时间，1-3天日志就完全够了。像ELK这种就太重了，虽然K8S集群上有一套ES集群了。总结一下就是以下需求:

• 轻量级，对资源要求不高。
• 日志存放时间不需要太长。
• 对查询友好，能够准确做到像logs -f xxx一样，并且可以显示重点信息。

收集方案

EFK(Elasticsearch/Filebeat/Kibana)

优点

缺点

资源消耗

可以看到资源占用率非常高:

loki

优点

缺点

资源消耗

FC(/Filebeat/clickhouse)

优点

缺点

资源消耗

总结