摘 要：针对现有的故障诊断模型存在安全态势感知能力差、实时预警能力差与实时运维保障能力差等问题，提出一种基于大数据挖掘模型的故障诊断方法。该方法将深度学习技术与故障诊断方法相结合，利用卷积神经网络、决策树与长短期记忆网络等模型对故障进行分析，并与传统故障诊断方法相比。结果表明，利用卷积神经网络和长短期记忆网络方法的故障诊断的准确率、回归率、F1 值较高，均超过 90%，显著提高了故障诊断的准确率与可靠性。
设备状态的智能化监控和分析需要依靠先进技术对其进行监测和预警，以保证关键设备高效、安全运行。关键设备一旦产生故障，可能导致整个系统瘫痪，甚至导致人员伤亡，如1992 年，日本关西电力公司海南电厂火力发电机组在超速试验中关键设备出现故障，造成的直接经济损失达 50 亿日元 。因此，安全、可靠、高效的设备故障诊断方法在工业生产中至关重要。
在专用领域，随着装备智能化与多元化的发展，装备数量显著增加，装备状态数据也随之多元化，导致专用领域故障诊断的难度。目前，专业领域普遍采用人工非实时记录法监控装备静态数据，人为诊断装备状态，诊断效率低，难以满足专业领域智能化需求。
随着智能检测技术的发展，智能故障诊断系统被广泛研究。尤其深度学习等强大的“学习算法”的出现，因其强大的数据处理与分析能力被应用于各行各业 。结合专用领域故障诊断的复杂场景，将深度学习与故障诊断相结合，可有效提取海量装备数据特征，智能诊断装备状态 。
1
相关工作
1.1 概 述
针对目前专用领域设备监控运维手段单一，且缺少流程化、信息化、智能化的专业设备故障检测与维护机制等问题，结合深度学习技术，探究智能化故障预警方法。基于多模态大数据挖掘模型的故障诊断方法，可为提升设备实时运维保障能力和安全态势感知能力提供技术支持。
作为一种新型的功能强大的计算技术，深度学习技术因其强大的数据拟合能力被广泛用于计算机视觉和自然语言处理等领域。由于故障检测过程中采集的数据类型复杂，利用深度学习技术进行设备状态数据分析具有天然的优势，例如：
（1）深度学习技术的非线性拟合能力强，在故障诊断过程中可以以较高的精度逼近非线性连续函数。
（2）深度学习技术可以通过学习、训练不断提取数据的深层逻辑特征，为故障诊断的准确率提供保障。
（3）深度学习技术的特征提取具有较强的鲁棒性，为提高故障诊断的可靠性提供保障 。
1.2 研究现状
故障诊断方法主要包括基于模型的故障诊断方法、基于数据驱动的故障诊断方法和基于知识的故障诊断方法等 。传统的异常检测方法大多为基于系统日志的方法。通过日志解析被记录的消息，通过提取并分析关键位置的日志事件，得出系统故障的结论。
随着深度学习技术的发展，利用深度学习解决工程问题的研究也备受关注 。其中，浅层机器学习方法将支持向量机、K 近邻、高斯混合模型等方法与故障诊断相结合。其中，浅层学习的故障诊断方法中的基于反向传播神经网络的故障诊断方法和基于支持向量机的故障诊断方法被深入研究。此外，针对实际工程中故障信息多为多源异构数据，存在采集、处理、分析难度大等问题，姜建华等人提出了一种基于三角模糊数和有序加权平均的多源异构数据融合方法，提高了决策结果的可靠性。然而，浅层神经网络无法表征复杂数据特征，在数据处理阶段，特征信息提取与优化需要依赖人工，且对大数据挖掘辅助的故障诊断方法的研究相对较少。
1.3 传统故障诊断存在的问题
（1）专业领域设备安全态势感知能力差。目前，专业领域设备安全态势数据缺少统一规范，对人工非实时记录静态数据存在较强的依赖性，缺少对设备性能、运行情况等动态数据的监测。因此，须探究专业领域设备动 / 静态数据采集技术、制定数据规范，以支持专业领域设备的建设，为威胁态势智能化分析提供技术支持。
（2）专业领域设备模型预警能力差。专业领域设备的保障方案决策主要依赖人工，效率较低，不能实现自动化、信息化与智能化处理。现存的故障诊断模型决策能力不足，灵活性与实时性差。因此，加强利用深度学习构建智能化数据挖掘模型的研究至关重要。
（3）专业领域设备模型实时运维保障能力差。专业领域设备故障定位强烈依赖工业部门，工作效率低，且专业领域设备故障检测方法不明确，不能实现对设备故障的智能化处理。因此，将人工智能与设备故障诊断相结合，可极大提高专业领域设备的自动化运维能力。
（4）专业领域多模态大数据来源广泛、类型复杂、容量大，而且故障诊断方法强烈依赖人工判断，可解释性差。
基于大数据挖掘模型的故障诊断方法具有5 层数据处理架构，分别为数据采集、数据预处 理、 向 量 化 表 示、 模 型 训 练、 模 型 选 择，综合考虑多种数据类型，利用滑动窗口数据采集方式与键值化数据表示方法，从多模态大数据 中 提 取 有 效 信 息。利 用 Word2Vec 的 Skip gram 算法进行词嵌入向量化，统计日志数据。该方法结合了数据挖掘与深度学习技术，构建智能化故障诊断与预警模型，建立高效、准确、可靠的故障诊断系统，通过设计可视化故障诊断系统，提高了决策的可解释性，基于数据安全防护技术，保障了专业领域设备数据的安全性。
2
基于大数据挖掘模型的故障诊断方法
基于大数据挖掘模型的故障诊断方法，采用大数据分析与面向大数据的智能化预警模型构建技术，结合专用领域设备数据可视化与深度学习技术，提升设备的实时运维保障能力和安全态势感知能力。
基于大数据挖掘模型的故障诊断系统，自上而下包括模型调度层、多渠道模型层、向量表征层、预处理层和多模态数据层。基于大数据挖掘模型的故障诊断系统架构如图 1 所示。
图 1 基于大数据挖掘模型的故障诊断系统架构
多模态数据层主要进行故障诊断，相关多模态数据的收集和存储。预处理层主要对数据进行预处理，对复杂数据如含有时间戳的日志进行检测、解析和格式化。向量表征层将预处理的数据转化为与上下文相关的连续值向量。多渠道模型层利用向量表示层得到的数据进行模型训练。模型调度层面向故障预警需求，调用最优的模型进行预测，实现故障预警的综合优化。
2.1 多模态数据层
多模态数据是指来自不同传感器的不同类型的故障诊断数据。装备数据特点如表 1 所示。业务处理数据和网络流量数据为复杂时序文本类型数据，首先，需要经历解析、格式化、键值化和词嵌入向量化处理。其次，利用典型多层长短期记忆（Long Short Term Memory，LSTM）学习。健康数据、状态数据和资源配置数据等为数值类数据，需要进行解析、频率向量化。最后，利用可解释性决策树模型进行预测。
表 1 装备数据特点
2.2 预处理层
多模态数据预处理层在对数据检测、解析、格式化后，将文本数值数据存放在不同的属性列表中，利用时序滑动窗口生成符合窗口长度的序列数据，通过键值化处理，提取数据的连续值属性与其他属性，提高数据的使用效率。
由于复杂文本数据的原始数据消息包含诸如文件名、IP 地址会妨碍自动数据分析的冗余信息，故需要利用正则表达式或基于固定深度树的在线日志解析算法等方式提取有效数据。首先，将类似 IP 地址的公共字段和重复字段被固定的正则表达式删除；其次，利用基于编辑距离的聚类方法，将数据消息按照特定类型提取或聚类成组；最后，通过查找最长公共子串，提取数据事件。公共子串的数据消息形成数据序列，通过消息 ID 链接在一起，形成数据事件流。
复杂数据键值对中的“键”主要由数据中参数化后的文本主干构成，“值”由具有含义的连续值构成。通过对数据进行键值化，可以提高同类数据事件的搜寻和序列化效率，为模型训练节约时间成本，且易于分离不同类型的数据特征，为后续向量化提供输入信息。键值化示例如表 2 所示。
表 2 键值化示例
通 过 解 析 结 果 可 以 构 建 键 序 列。假 设
是一组数据消息的键序列，该键序列表示数据操作语句顺序。假设
表示数据序列中位置 i 处的键值。因为
的值依赖
的值，所以数据键序列中的异常检测可以分为多类问题，将不同的数据键定义为一类，利用上下文敏感的深度学习模型进行数据分布学习。当 
为最近数据键历史记录中的输入数据时，则输出结果是来自 K 的 n 个可能出现的键的出现概率分布。
通过窗口化提取可以生成相互关联的序列化数据集合。根据窗口的使用方式，可以分为固定窗口和滑动窗口 2 种提取方式。固定窗口和滑动窗口提取方式都是利用时间戳记录每个数据事件发生的时间。
在固定窗口提取方式中，窗口的大小决定提取数据事件的跨度和持续时间。基于固定窗口的提取方式如图 2 所示。窗口大小为 ∆t，固定窗口提取方式提取位于预定义窗口 ∆t 上的所有数据消息作为一个数据序列。
图 2 基于固定窗口的提取方式
滑动窗口则由窗口大小和步长2个属性 构 成。基 于 滑 动 窗 口 的 提 取 方 式 如 图 3 所示。∆t 为滑动窗口的步长，∆T 为滑动窗口的大 小。滑 动 窗 口 可 以 提 取 位 于 (start+∆t×n)-(start+∆t×n+∆T) 之间的数据消息。因为滑动窗口提取方式中提取的重复事件较多，提取的数据量较大，所以采用滑动窗口提取方式可以增加深度学习训练的数据量，提高模型对数据的感知能力。
图 3 基于滑动窗口的提取方式
2.3 向量表征层
向量表征层将结构化数据转化为深度学习模型所需的向量表示，便于特征学习和数据挖掘。对于具有语义的流量文本数据，向量表征层首先进行上下文无监督训练，然后进行词嵌入向量化，最后对数值型数据进行频率计算或归一化处理。向量表征层利用 Word2Vec 的 Skip gram 算法进行词嵌入向量化，该算法统计每个中间标志信息，预测该标志周围有限个可能出现的标志的出现概率，最后进行加权求和，得到最终的向量表示。向量表征层结构示意如图 4所示。
图 4 向量表征层结构
2.4 多渠道模型层
2.4.1 决策树模型
为了满足系统的可解释性需求和预警效率需求，需要提取预警结果的关键属性，同时利用决策树模型提取主干网络的低维特征。决策树模型不仅能预测结果，还能给出决策过程以及决策过程中的关键属性，为系统预警提供良好的可解释性，从而实现辅助运维人员进行异常判断和故障归因操作的功能，提升其决策能力，为运维人员提供故障排除依据。此外，决策树在智能运维故障预警上的准确率、召回率高于支持向量机（Support Vector Machine，SVM）、逻辑回归（Logistic Regression，LR）等深度学习方法。
决策树作为一种深度学习模型，其各分支的树结构即表示每个实例的预测状态。通常基于训练数据自上而下构建决策树，其中树的每个节点需要通过该位置的“最佳”属性创建。单一决策树预警决策模型如图 5 所示。由图 5 可知，根节点数据集中共有 20 个数据实例，如设备状态、配置等数据。当分裂根节点时，事件 2的出现次数被作为“最佳”属性，根据这个属性的值，将整个训练实例集分成两个子集，一个子集包含 12 个实例，另一个子集包含 8 个实例。进行测试时，根据谓词遍历决策树每个节点，最终实例将到达某个叶子节点，从而判断该状态实例是否正常。
图 5 单一决策树预警决策模型
2.4.2 多层 LSTM 模型
决策树分类准确且具有较强的可解释性，但是决策树对数据的概率分布表示较弱，而且当面对复杂的多模态数据（文本数值结合）时，决策树不能提供有效数值。因此，需要采用时序深度学习模型 LSTM 对复杂文本数据序列进行故障和异常预测。
复杂文本的 LSTM 训练如图 6 所示。LSTM的每个单元节点为一个循环结构的神经元。当LSTM 在组织单个神经元时，重建了序列相关的门结构，增加了遗忘门、输入门和输出门，使得模型序列可以学习长短距离目标的概率分布特征，从而增强模型处理文本相关时序数据的优势。
图 6 复杂文本的 LSTM 训练
由于单层 LSTM 序列模型参数有限，当处理大规模数据时，难以挖掘数据序列的深度特征。因此，当面向大规模状态训练数据时，需要采用多层 LSTM。多层 LSTM 如图 7 所示。
图 7 多层 LSTM
多层 LSTM 将底层 LSTM 的每个输出向量 H作为上层 LSTM 的输入向量，参与下一轮循环神经网络训练。多层 LSTM 模型的参数数量增加，更加侧重空间特征提取，增强了输入文本的概率分布拟合优势。
在训练过程中，单层 LSTM 和多层 LSTM 的每个输入 / 输出信息都需要通过梯度下降损失最小化更新模型中的权重参数。损失函数采用的均方误差（Mean-Square Error，MSE）为：
式中：n 为样本数量；
为第 i 个样本的真实值；
为模型对第 i 个样本的预测值。
在测试阶段，利用 MSE 判断故障异常，即在每个时间步长，预测组之间的误差向量和验证组中的实际向量符合高斯分布。在实际运行阶段，如果预测值和观测值向量的误差分布在上述高斯分布置信区间内，则该数据被判断为正常数据，否则被判断为故障异常数据。由于数据消息中的参数值记录了重要的系统状态指标，故该方法能够检测各种类型系统的性能异常。
与传统故障诊断模型相比，利用 LSTM 进行日志数据异常判断的准确率更高。然而，与卷 积 神 经 网 络（Convolutional Neural Network，CNN）相比，LSTM 训练效率明显降低。当采用多层 LSTM 训练时，效率下降得更加明显。因此，为了保证实时响应的需求，需要对样本进行前期线下预训练，预训练后，进行规模化测试，同步进行模型的调度优化，利用调度模块在多渠道模型组中进行优化调用。
2.5 模型调度层
模型需求属性如表 3 所示。表 3 中的单元值为模型在该需求属性上的性能表现评分，该评分由前期试验积累和专家经验得出。
根据输入的需求属性组合，计算各模型的适配度。模型适配度 ∂ 为：
式中：k 为需求属性数量；
为第 i 个需求属性的权重；
为第 i 个需求属性。
表 3 模型需求属性
通 过 计 算 得 到 所 有 适 配 度 的 最 大 值， 选取最大的适配度作为训练模型。在实际实现过程中，为了进一步提升系统的鲁棒性和诊断效率，进行如下两方面的优化：一是对模型和属性需求进行动态配置化，方便系统扩展；二是进行模型主干—辅助分组，省略主干模型具备优势属性时所需求的适配过程，直接选取主干模型。
3
结果验证
3.1 数据集
为了验证该方法的准确性与有效性，基于CentOS 7 系统安装 Python3.10，搭建试验环境，选择公开的包含大量设备日志数据的数据集作为试验数据。该类数据集包含设备的正常运行状态和各种故障状态，具有多元信息的日志数据能够支持模型的训练和评估。
实验选取了两个流行的数据集，即蓝色基因 /L（Blue Gene，BGL）数据集和分布式文件系统（Hadoop Distributed File System，HDFS）日志数据集，试验结果可以很容易地扩展到其他数据集。数据集特点如表 4 所示。
表 4 数据集特点
HDFS 数据集包含 11 175 629 条日志信息，这些日志信息是在 200 多个节点上产生的。对于每个块操作，例如分配、写入、复制、删除，每个日志信息都包含一个唯一的 block id。BGL数据集包含 4 747 963 条日志信息，这些信息来自劳伦斯利弗莫尔国家实验室的 BGL 超级计算机。与 HDFS 不同，BGL 数据集的日志没有标识符，不区分不同的作业执行。
3.2 试验方法与评估指标
首先，进行数据预处理。对原始日志数据进行清洗和去噪，去除缺失数据、异常值和噪声，提取与故障相关的特征，并进行数据转换和归一化处理。对于 LSTM 模型，还需要对日志序列进行分段、编码和嵌入处理。其次，进行数据集划分。为了进行训练、验证和测试，将数据集划分为训练集、验证集和测试集。试验将数据集按照一定比例划分，70% 用于训练，15% 用于验证，15% 用于测试。最后，进行模型训练和调优。在训练集上使用 CNN、LSTM、决策树（Decision Tree，DT）、LR 和主成分分析（Rrincipal Component Analysis，PCA）5 种 方法进行模型训练，并通过交叉验证和调优技术选择最佳的模型超参数，以达到最佳训练效果。
由于不同方法具有不同特点，例如 CNN 和LSTM 方法预测故障能力强，能够捕捉数据的空间特征和时序特征，决策树方法有成熟的特征工程方法，故试验采用准确率、召回率与 F1 值作为评估指标。
3.3 试验结果
将划分的训练集和测试集在上述 5 种智能运维故障诊断模型中进行训练和测试，分别统计这些模型在 HDFS 和 BGL 日志数据上的准确率、召回率、F1 值。试验结果如表 5 所示。
表 5 试验结果
由试验结果可知：采用 CNN 和 LSTM 方法的准确率、召回率和 F1 值均较高；采用 CNN、DT、LSTM 的准确率均超过 93%，当处理 BGL数据集时，LR 和 PCA 方法的准确率较低；采用CNN 和 LSTM 方法进行故障诊断时，F1 值在两种数据集中表现良好；采用 PCA 方法的故障诊断的准确率、回归率与 F1 值较低。
4
结 语
对比分析不同故障诊断模型的系统性能可知，基于 CNN 和 LSTM 等方法的故障诊断模型在捕捉时间序列和空间相关性方面优势明显，而基于决策树和 LR 方法的模型具备较强的可解释性。对比发现，同一个模型在处理不同数据集时的表现不同，例如，当采用 HDFS 数据集时，CNN 模型的回归率最高；当采用 BGL 数据集时，LSTM 的回归率最高。因此，在进行故障诊断时，需要针对重点指标选取最合适的模型。通过利用 HDFS 与 BGL 数据集进行多种模型的训练与测试，证明了基于大数据挖掘模型的故障诊断方法在进行多模态大数据分析与故障诊断时具有较强的可靠性和可解释性。
然而，基于深度学习的故障诊断方法存在标签检测数据收集成本高的问题，而且要求数据与模型匹配。尽管文中提出的方法具备处理多模态数据的能力，但是对包含更多信息的二维图像数据的处理与分析仍需进一步研究。
原文始发于微信公众号（信息安全与通信保密杂志社）：一种基于大数据挖掘模型的故障诊断方法
- 左青龙
- 微信扫一扫
-
- 右白虎
- 微信扫一扫
-
评论