9款日志采集&管理工具对比，选型必备！

1、Filebeat

Filebeat是用于转发和集中日志数据的轻量级传送程序。作为服务器上的代理安装，Filebeat监视您指定的日志文件或位置，收集日志事件，并将它们转发到Elasticsearch或Logstash进行索引。

Filebeat的工作方式如下：启动Filebeat时，它将启动一个或多个输入，这些输入将在为日志数据指定的位置中查找。对于Filebeat所找到的每个日志，Filebeat都会启动收集器。每个收集器都读取一个日志以获取新内容，并将新日志数据发送到libbeat，libbeat会汇总事件并将汇总的数据发送到您为Filebeat配置的输出。

1.1 主要特点

• 轻量级并且易使用；
• 模块可用于常见用例（例如 Apache 访问日志）。您可以使用它们来设置 Filebeat、Ingest 和 Kibana 仪表板，只需几个命令。

1.2 价格

免费开源。

1.3 优点

• 资源使用率低；
• 良好的性能。

1.4 缺点

有限的解析和丰富功能。

2、Graylog

2.1 主要特点

• 一个包含日志处理所有要素的软件包：收集、解析、缓冲、索引、搜索、分析；
• 开源 ELK 堆栈无法提供的其他功能，例如基于角色的访问控制和警报。

2.2 价格

• 免费和开源，不过也有企业版(根据要求提供价格)。

2.3 优点

• 在一个软件包中满足大多数集中式日志管理用例的需求；
• 轻松扩展存储 (Elasticsearch) 和获取通道。

2.4 缺点

• 可视化能力是有限的，至少与ELK的Kibana相比是如此；
• 不能使用整个ELK生态系统，因为他们不能直接访问Elasticsearch API。相反，Graylog有自己的API。

3、LogDNA

3.1 主要特点

• 用于在组织外部共享日志的嵌入式视图；
• 自动解析常用日志格式。

3.2 价格

• 免费：无存储；
• 收费：付费计划起价为每月每GB 1.50 美元，保留 7 天。

3.3 优点

• 用于搜索日志的简单 UI，类似于 Papertrail；
• 易于理解的计划。

3.4 缺点

• 可视化能力有限；
• 保留期取决于计划（从 7 天到 30 天）。用户数量也是如此（最便宜的计划只允许 5 个）。

4、ELK

4.1 主要特点

ELK堆栈包含了日志管理解决方案所需的大多数工具:

• Log shippers：如Logstash和Filebeat；
• Elasticsearch是一个可扩展的搜索引擎；
• Kibana作为搜索日志或构建可视化的UI。

• Elasticsearch默认情况下对每个字段进行索引，使搜索速度更快；
• 通过API和Kibana实现实时可视化；
• 索引前的数据解析和充实。

4.2 价格

4.3 优点

• 可扩展的搜索引擎作为日志存储；
• 成熟的log shippers；
• Kibana 中的 Web UI 和可视化。

4.4 缺点

• 在规模上，它可能变得难以维护。这就是 Sematext 提供 ELK 堆栈咨询、生产支持和培训的原因；
• ELK Stack 的开源版本缺少一些功能，例如基于角色的访问控制和警报。您可以通过商业“Elastic Stack 功能”或其替代品或 Visa Open Distro for Elasticsearch 获得这些功能。

5、Grafana Loki

5.1 主要特点

• 同一 UI 中的日志和指标 (Grafana)；
• Loki 标签可以与 Prometheus 标签保持一致。

5.2 价格

• 免费：免费开源；
• 收费：还有Grafana Cloud，提供Loki的SaaS服务(也有内部部署的选项)。价格从49美元起，包括100GB的日志存储(30天保留)和3000个度量系列。

5.3 优点

• 与 ELK 相比，摄取速度更快：索引更少，无需合并；
• 小存储占用：较小的索引，数据只写入一次到长期存储（通常具有内置复制）；
• 使用更便宜的存储（例如 AWS S3）。

5.4 缺点

• 与 ELK 相比，较长时间范围内的查询和分析速度较慢；
• 与 ELK 相比，log shippers选项更少（例如 Promtail 或 Fluentd）；
• 不如 ELK 成熟（例如更难安装）。

6、Datadog

6.1 主要特点

• 用于解析和丰富日志的服务器端处理管道；
• 自动检测常见的日志模式；
• 可以将日志归档到 AWS/Azure/Google Cloud 存储并在以后重新使用它们。

6.2 价格

• 处理起价为每月每GB 0.10 美元（例如 1GB 每天 3 美元）；
• 处理也适用于从档案中获取，尽管这里的数据是压缩的；
• 100 万个事件的存储起价为 1.59 美元，为期 3 天（例如，47.7 美元，1GB/天，每个 1K，存储 3 天）。

6.3 优点

• 容易搜索，良好的自动完成(基于facet)；
• 与DataDog指标和跟踪的集成；
• 负担得起，特别是对于短期保留和/或如果你依靠存档进行一些搜索。

6.4 缺点

7、Logstash

7.1 主要特点

• 许多内置的输入、过滤/转换和输出插件；
• 灵活的配置格式:您可以添加内联脚本，包括其他配置文件等。

7.2 价格

7.3 优点

• 容易开始和移动到复杂的配置；
• 灵活:Logstash用于各种日志记录用例，甚至用于非日志记录数据；
• 写得很好的文档和大量的操作指南。

7.4 缺点

• 与其他日志shippers相比，资源使用率高；
• 与替代品相比，性能较差。

8、Fluentd

8.1 主要特点

• 与库和Kubernetes的良好集成；
• 大量的内置插件，很容易编写新的。

8.2 价格

免费开源。

8.3 优点

• 良好的性能和资源使用；
• 良好的插件生态系统；
• 易于使用的配置；
• 良好的文档。

8.4 缺点

• 解析前没有缓冲，可能会导致日志管道出现背压；
• 对转换数据的支持有限，就像您可以使用 Logstash 的 mutate 过滤器或 rsyslog 的变量和模板一样。

9、Splunk

9.1 主要特点

• 用于搜索和分析的强大查询语言；
• 搜索时字段提取（在摄取时解析之外）；
• 自动将经常访问的数据移动到快速存储，将不经常访问的数据自动移动到慢速存储。

9.2 价格

• 免费：每天 500MB 数据；
• 付费计划可应要求提供，但常见问题解答建议 1GB 的起价为 150 美元/月。

9.3 优点

• 成熟且功能丰富；
• 对于大多数用例来说，良好的数据压缩(假设有有限的索引，正如推荐的那样)；
• 日志和度量在一个屋檐下。

9.4 缺点

• 贵；
• 对于较长的时间范围，查询速度较慢(建议使用有限的索引)；

• 用于度量存储的效率低于专注于监控的工具。

  
  

  文章来源：悟空聊架构