大模型时代的可观测性探索

在当今数字化转型的浪潮中，企业越来越依赖复杂的应用程序和服务来支持其业务运作。这些应用程序不仅需要快速响应，还必须具有高可用性和可靠性。为了确保这些应用的性能和稳定性，应用性能管理（APM）和可观测性工具变的至关重要。

从单体应用到传统分布式，再到云原生，每一次技术演进都带来了运维复杂度的跃升。而AI应用的出现，则成为继分布式、云原生之后，可观测领域的第三次变革。 AI 原生应用的开发、部署与运维，与传统应用存在显著差异。大模型、自然语言交互、训练与推理等新组件的引入，对可观测系统提出了全新挑战，也带来了前所未有的机遇。

现代应用不仅需要监控性能指标，还需要具备更强的可观测性，包括日志、指标、分布式追踪等数据源的整合与分析。仅依赖传统的监控方法已无法全面反映应用程序的健康状态和运行性能。

为应对AI时代的运维挑战，云监控2.0 应运而生。它不再只是“监控”，而是升维为“可观测”，实现从被动响应到主动感知的跨越。

• 统一采集接入：支持云服务、端侧、应用、容器、基础设施等全栈数据接入，探针资源开销仅为开源的1/5，吞吐提升10倍。

• 统一可观测模型：所有观测对象使用统一模型定义，自动构建实体拓扑，降低理解与分析复杂度。

• 统一平台能力：日志、指标、链路、事件、剖析等数据统一存储，支持SQL/SPL查询，提供50+数据加工算子，10+AI异常检测算法。

在AI原生应用中，可观测系统需覆盖从IaaS到MaaS的全栈层级：

• 智算服务器（IaaS）：GPU监控、高速存储、AI网络监控

• 容器Kubernetes：Workload可观测、GPU资源调度、AI软件栈监控

• AI平台（PaaS）：训练任务监控、推理服务监控、数据流追踪

• 大模型服务（MaaS）：模型性能分析、Token成本分析、质量与安全评估

典型AI应用全链路可观测架构：从用户端→网关→后端应用→模型服务→基础设施，实现端到端链路追踪、模型调用日志存储与统一评估分析，构建LLM专属视图，支撑业务持续创新。

在未来的应用可观测性方案中，统一运维体系建设是确保系统高效运转和跨部门协作的关键。该体系包含四个核心能力：Dashboard、指标体系、多维分析和全局拓扑。

• Dashboard提供了一个集中化、可视化的界面，用于实时监控系统的健康状态和性能，并支持自定义视图和动态交互分析。

• 指标体系定义了需要重点监控的各种系统性能和业务指标，包括关键性能指标（KPI）和告警阈值设定，为系统稳定性提供衡量标准。

• 多维分析则通过多维度数据切片、趋势分析和根因分析，深入探讨系统行为和性能变化，帮助定位问题根源。

• 全局拓扑可视化展示系统中各组件和服务的关系，支持动态拓扑视图和故障传播路径分析，实现依赖关系管理和自动化拓扑更新。

这一体系为企业提供了全面的运维视角，确保系统的高效、稳定运行。

长摁识别二维下载本文文档

长摁识别二维码下载相关文档

关联的文章

你的安全体系“裸奔”了吗？可观测性是最后一道防线 企业IT系统可观测性最佳实践 云原生场景可观测性AIOPS落地实践 虎牙统一可观测性的探索实践 可观测智能监控体系建设实践 分层次构建应⽤系统的可观测性

原文始发于微信公众号（CIO之家）：大模型时代的可观测性探索