2021年五一数学建模C题：数据驱动的异常检测与预警问题

简介：
本题目要求参赛者利用数据驱动的方法解决异常检测和预警的问题。通过对大规模数据的分析处理，识别潜在的风险点并建立有效的预警模型，为决策提供支持。 本段落旨在解决2021年五一数学建模竞赛C题中的数据驱动异常检测与预警问题。该题目主要涉及基于传感器时间序列数据的异常检测、风险性异常程度量化评分、构建风险性异常预警模型以及生产系统安全性评分。 对于每个传感器的数据，采用自适应参数DBSCAN密度聚类方法进行处理：将聚类结果视为非异常点，而噪声点则被视为异常点。通过K-最近邻法自动确定类别半径，并不断调整K值以获得不同类别半径和聚类个数的迭代过程，直至聚类个数收敛；选取最小密度阈值的数据作为最终聚类结果。接着，对于存在异常点的传感器，从持续性和联动性两个维度评估其异常度：连续出现最多次数的异常视为高持续性指标；利用斯皮尔曼相关系数计算强相关的传感器数量来反映联动性的高低。采用TOPSIS法对上述两项评判指标进行加权评分，并设定阈值将传感器分为风险性异常和非风险性两类。 对于被判定为具有风险性异常的传感器，进一步分析其异常程度：利用LOF离群点检测方法计算每个数据点与其周围数据点密度比值作为衡量密度偏离度的标准；通过一次指数平滑法预测时间序列数据，并将实际与预测结果之间的偏差视为趋势偏离度指标。运用TOPSIS法对这两个评价标准进行加权评分，得到各异常数据点的得分。基于问题一中得出的传感器异常程度评估分数，在归一化后作为权重参与计算时间节点综合评分。 接下来建立时间序列分析模型来预测风险性异常传感器未来未知时间段的数据，并通过AIC准则和ARIMA模型结合平稳性和白噪声检验输出最终结果；将这些预测数据代入到问题二中所建的评价体系，得到各不同时刻的风险评分。对每15分钟内所有数据点的风险得分进行平均处理，从而得出时间区间内的综合风险性分数。 最后，在第四部分的结果分析环节中，对比了各个时刻的安全性评分与异常点数量之间的关系，并发现两者呈现明显的负相关趋势；这表明所建立的量化模型具有较高的合理性。此外还进行了问题一中的传感器异常度归一化权重灵敏度测试：调整各参数比例后观察到最终结果变化不大，说明该系统安全性评价体系具备良好的鲁棒性。