我的编程空间,编程开发者的网络收藏夹
学习永远不晚

方便又高效!还在手动从服务器获取日志?设置日志收集系统更方便!

短信预约 -IT技能 免费直播动态提醒
省份

北京

  • 北京
  • 上海
  • 天津
  • 重庆
  • 河北
  • 山东
  • 辽宁
  • 黑龙江
  • 吉林
  • 甘肃
  • 青海
  • 河南
  • 江苏
  • 湖北
  • 湖南
  • 江西
  • 浙江
  • 广东
  • 云南
  • 福建
  • 海南
  • 山西
  • 四川
  • 陕西
  • 贵州
  • 安徽
  • 广西
  • 内蒙
  • 西藏
  • 新疆
  • 宁夏
  • 兵团
手机号立即预约

请填写图片验证码后获取短信验证码

看不清楚,换张图片

免费获取短信验证码

方便又高效!还在手动从服务器获取日志?设置日志收集系统更方便!

这使得新的日志解决方案应运而生,例如 EFK(Elasticsearch、Fluent Bit、Kibana)和 PLG(Promtail、Loki、Grafana)架构,它们分别针对不同的使用场景和需求,提供了更加灵活、低成本、高效的日志收集、存储、和可视化方案。尤其是 PLG 架构,凭借其与 Prometheus 的紧密集成和对时间序列数据的优秀处理能力,成为了在云原生环境中逐渐流行的选择。

本文将深入探讨 ELK、EFK 和 PLG 三大日志系统的架构设计、技术特点及其在实际应用中的优势和不足,并通过对比分析帮助读者更好地理解每种日志系统的适用场景和最佳实践。

ELK 日志系统

经典的 ELK 架构,现在称为 Elastic Stack,由 Elasticsearch、Logstash、Kibana 和 Beats 组成:

  • Beats 负责日志收集。
  • Logstash 负责日志聚合和处理。
  • Elasticsearch(ES)用作日志存储和搜索系统。
  • Kibana 提供前端可视化。

总体架构图:

图片图片

EFK 日志系统

在容器化场景中,尤其是 Kubernetes (k8s) 环境中,用户通常使用 EFK 架构。

F 代表 Fluent Bit,它是一款开源的多平台日志处理器和转发器。Fluent Bit 能够:

  • 从各种来源收集数据/日志。
  • 统一并转发它们到多个目的地。
  • 完全与 Docker 和 k8s 环境集成。

图片图片

PLG 日志系统

Prometheus + k8s 日志系统

Prometheus 与 Kubernetes (k8s) 结合,可以搭建一个高效的日志系统。

该系统利用 Prometheus 进行监控和告警,提供了在 Kubernetes 环境中强大的日志解决方案。

图片

图片

PLG

另一种由 Grafana Labs 提供的日志解决方案 PLG 也日渐流行。PLG 架构由 Promtail、Loki 和 Grafana 组成:

  • Promtail 负责收集日志。
  • Loki 作为日志聚合和存储系统。
  • Grafana 提供前端可视化。

图片图片

Grafana 是一款开源的可视化和分析软件,允许用户查询、可视化、告警并探索监控指标。

Grafana 主要为时间序列数据提供仪表盘解决方案,并支持十几种数据源。

Grafana Loki 是一组组件,可以组成一个完整的日志堆栈。与其他日志系统不同,Loki 只索引日志的标签,而不是原始的日志内容。

相反,它为日志数据设置了一组标签,从而降低了操作成本,并大大提高了效率。

图片图片

Loki 设计理念

受 Prometheus 启发,Loki 旨在实现一个水平扩展、高可用的多租户日志系统。

Loki 的总体架构由不同的组件组成,这些组件协同工作以执行日志收集、索引、存储等功能。

这些组件包括:

  • Promtail:从各种来源收集日志并将其转发到 Loki。
  • Loki:使用标签存储和索引日志数据。
  • Grafana:可视化日志数据并支持查询和告警。

了解更多,请访问 Loki 的架构。Loki 本质上就是“为日志设计的 Prometheus”。

图片图片

Promtail 是一个日志收集代理,负责将本地日志内容发送到 Loki 实例。

它通常部署在每个需要监控应用程序的机器/容器上。Promtail 主要用于发现目标,给日志流附加标签,并将日志推送到 Loki。目前,Promtail 可以跟踪来自两个来源的日志:本地日志文件和 systemd 日志(仅限 AMD64 架构)。

PLG 与 ELK 对比

ES 与 Loki

ELK/EFK 架构经过多年的实际环境验证,表现出色。

Elasticsearch (ES) 中存储的日志通常以存储在磁盘上的非结构化 JSON 对象形式存在,ES 为每个对象建立索引以实现全文搜索。这使用户可以使用特定的查询语言搜索这些日志。

相比之下,Loki 将数据存储解耦:

  • 它可以将数据存储在磁盘上。
  • 它也可以使用云存储系统,如 Amazon S3。

Loki 日志使用一组键值对进行标签化,只有这些标签会被索引。

这种权衡使 Loki 的索引操作成本较低,但对于基于内容的查询,用户需要使用 LogQL 进行单独搜索。

Fluentd 与 Promtail

与 Fluentd 相比,Promtail 是为 Loki 量身定制的。它可以发现与 Kubernetes (k8s) Pods 运行在同一节点上的服务,并从指定目录中读取日志。

Loki 使用类似于 Prometheus 的标签方法。因此,在与 Prometheus 部署在相同环境时,Promtail 收集的日志通常具有与应用程序指标相同的标签,从而实现统一的标签管理。

Grafana 与 Kibana

Kibana 为数据分析提供了许多可视化工具,包括异常检测和其他机器学习功能。Grafana 设计用于显示来自 Prometheus 和 Loki 的时间序列数据,允许在同一仪表盘中查看日志和指标。

结语

日志系统是企业监控和维护应用程序的重要组成部分。随着技术的不断发展,日志系统不仅仅局限于简单的记录和存储,而是成为了数据驱动决策、监控系统健康状况以及优化用户体验的重要工具。通过本文对 ELK、EFK 和 PLG 日志系统的详细分析,我们可以看到每种架构在不同场景下的应用优势。

ELK 架构凭借其强大的搜索和可视化功能,已经成为了许多传统企业的首选方案;而 EFK 架构则针对容器化场景进行了优化,适合在 Kubernetes 环境中进行日志处理。相比之下,PLG 架构以其轻量级、高扩展性的特点,提供了更加灵活的解决方案,尤其适合处理大量分布式服务的日志。

在未来,随着企业业务的进一步扩展和云原生技术的深入应用,日志系统将更加注重实时性、可扩展性和智能化分析功能。因此,选择一个适合自身业务需求的日志系统将变得尤为关键,而 PLG、EFK 和 ELK 架构都为用户提供了丰富的选择和深厚的技术支持。

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

方便又高效!还在手动从服务器获取日志?设置日志收集系统更方便!

下载Word文档到电脑,方便收藏和打印~

下载Word文档

猜你喜欢

方便又高效!还在手动从服务器获取日志?设置日志收集系统更方便!

日志系统是企业监控和维护应用程序的重要组成部分。随着技术的不断发展,日志系统不仅仅局限于简单的记录和存储,而是成为了数据驱动决策、监控系统健康状况以及优化用户体验的重要工具。

编程热搜

  • Python 学习之路 - Python
    一、安装Python34Windows在Python官网(https://www.python.org/downloads/)下载安装包并安装。Python的默认安装路径是:C:\Python34配置环境变量:【右键计算机】--》【属性】-
    Python 学习之路 - Python
  • chatgpt的中文全称是什么
    chatgpt的中文全称是生成型预训练变换模型。ChatGPT是什么ChatGPT是美国人工智能研究实验室OpenAI开发的一种全新聊天机器人模型,它能够通过学习和理解人类的语言来进行对话,还能根据聊天的上下文进行互动,并协助人类完成一系列
    chatgpt的中文全称是什么
  • C/C++中extern函数使用详解
  • C/C++可变参数的使用
    可变参数的使用方法远远不止以下几种,不过在C,C++中使用可变参数时要小心,在使用printf()等函数时传入的参数个数一定不能比前面的格式化字符串中的’%’符号个数少,否则会产生访问越界,运气不好的话还会导致程序崩溃
    C/C++可变参数的使用
  • css样式文件该放在哪里
  • php中数组下标必须是连续的吗
  • Python 3 教程
    Python 3 教程 Python 的 3.0 版本,常被称为 Python 3000,或简称 Py3k。相对于 Python 的早期版本,这是一个较大的升级。为了不带入过多的累赘,Python 3.0 在设计的时候没有考虑向下兼容。 Python
    Python 3 教程
  • Python pip包管理
    一、前言    在Python中, 安装第三方模块是通过 setuptools 这个工具完成的。 Python有两个封装了 setuptools的包管理工具: easy_install  和  pip , 目前官方推荐使用 pip。    
    Python pip包管理
  • ubuntu如何重新编译内核
  • 改善Java代码之慎用java动态编译

目录