Advertisement

som-anomaly-detector: 为异常检测设计的Kohonen SOM 实现

  •  5星
  •     浏览量: 0
  •     大小:None
  •      文件类型:None


简介:
SOM-Anomaly-Detector是一款基于Kohonen自组织映射(SOM)算法的开源工具,专为高效识别和处理数据中的异常值而设计。 SOM 异常检测这个 Python 模块提供了一个简单而高效的 Kohonen 自组织映射实现,用于异常检测目的。该方法基于 Tian, J., Azarian, MH, Pecht, M. (2014) 的论文《使用基于自组织图的 K 近邻算法进行异常检测》。 算法简要描述如下:在一组正常数据(可能包含一些噪声或异常值)上训练一个维度的自组织映射。SOM 中每个节点计算映到该节点上的训练向量数量,假设我们称这个数字为degree 。删除所有度数小于某个阈值的节点。对于评估的数据中的每一个观察,执行 k-NN 相对 SOM 节点,并且计算找到这些节点后的平均距离作为异常度量。按照异常度量排序评估数据。 安装方法可以通过克隆代码库来完成。

全部评论 (0)

还没有任何评论哟~
客服
客服
  • som-anomaly-detector: Kohonen SOM
    优质
    SOM-Anomaly-Detector是一款基于Kohonen自组织映射(SOM)算法的开源工具,专为高效识别和处理数据中的异常值而设计。 SOM 异常检测这个 Python 模块提供了一个简单而高效的 Kohonen 自组织映射实现,用于异常检测目的。该方法基于 Tian, J., Azarian, MH, Pecht, M. (2014) 的论文《使用基于自组织图的 K 近邻算法进行异常检测》。 算法简要描述如下:在一组正常数据(可能包含一些噪声或异常值)上训练一个维度的自组织映射。SOM 中每个节点计算映到该节点上的训练向量数量,假设我们称这个数字为degree 。删除所有度数小于某个阈值的节点。对于评估的数据中的每一个观察,执行 k-NN 相对 SOM 节点,并且计算找到这些节点后的平均距离作为异常度量。按照异常度量排序评估数据。 安装方法可以通过克隆代码库来完成。
  • Som-In-Python: Python中简易Kohonen自组织映射
    优质
    简介:Som-In-Python是一个简洁易用的Python库,用于实现和操作Kohonen自组织映射(SOM),适用于数据可视化与聚类分析。 Python实现的简单Kohonen自组织映射见相关日文资料。
  • SOM-MATLAB代码-SOM-HTTP-CSIC: SOM-HTTP-CSIC
    优质
    SOM-HTTP-CSIC 是一个基于MATLAB开发的安全数据分析项目,运用自组织映射(SOM)技术对CSIC网络入侵检测数据进行处理与分析。 本段落描述了用于HTTP数据集CSIC2010上正常与恶意Web请求分类的Matlab SOM代码,并使用SOMToolbox 2.1(需修复NARGCHK命令使用的警告,以减少运行时间)。所有代码及数据文件夹必须添加到Matlab路径中。该程序接受数字格式的数据,每行代表一个实例,最后一列是标签。“2”表示正常数据,“n”,其中n>2表示恶意数据。 在HTTPCSIC2010数据集的已处理版本可以在提供的数据文件夹找到,并且通过修改运行脚本中的少量代码可以应用于其他类型的数据。有关示例,请参见“run_http.m”。在此过程中,rpath应该设置为输出文件夹,所有结果将保存于此。 在每个模式对应的.mat文件中会存储所有的运行结果,在这些结果中最重要的变量是dr(检测率)和cmt(混淆矩阵)。
  • 基于SOM算法
    优质
    本项目探讨了自组织映射(SOM)算法的原理及其在数据可视化和聚类分析中的应用,并实现了具体的算法代码。 使用MATLAB编写SOM算法的程序实现方法。
  • Python中SOM算法
    优质
    本简介探讨在Python编程环境中实现自组织映射(SOM)算法的方法与技巧,适用于对数据科学和机器学习感兴趣的读者。 SOM网络是一种无监督的神经网络,采用竞争学习方式运作。它的主要功能是将高维空间中的相似样本映射到输出层相邻的神经元上。 训练过程如下:当接收到一个训练样本时,每个输出层的神经元都会计算该样本与自身权向量之间的距离。其中距离最近的那个神经元被选为获胜者,并称为最佳匹配单元(BMU)。随后,这个最佳匹配单元及其邻近的神经元会更新自己的权向量以减小它们和当前输入样本的距离。这一过程重复进行直到网络收敛。 SOM网络由两个主要部分构成:输入层与输出层(或竞争层)。 在输入层中,假设一个训练样本为X=[x1,x2,x3,…,xn],是一个n维向量,则该层次的神经元个数也为n。输出层中的神经元通常以矩阵形式排列,并且这些单元会参与到上述的竞争与更新过程中去。
  • 基于自编程SOM神经网络进行聚类(Kohonen算法)
    优质
    本研究采用Kohonen算法构建自编程SOM(Self-Organizing Map)神经网络模型,有效实现数据集的无监督学习与高效聚类分析。 该实验利用Kohonen算法对随机生成的样本位置点进行聚类,并最终筛选出有效神经元作为聚类中心;整个过程不依赖于库函数,而是通过自编程在Matlab环境中实现。
  • MATLABedge源代码-SOM-Toolbox: SOM工具箱
    优质
    SOM-Toolbox是基于MATLAB开发的一款自组织映射(SOM)工具箱,包含了一系列用于数据可视化和聚类分析的函数。本仓库提供了MATLAB edge函数的部分源代码,便于用户深入理解和定制SOM算法。 MATLAB的SOM工具箱用于自组织地图(SOM)等相关功能。SOMToolbox2.0是实现自组织地图算法的Matlab5软件库,由EsaAlhoniemi、JohanHimberg、JukkaParviainen和JuhaVesanto版权所有(C)1999年。SOMToolbox2.1是对SOMToolbox在2012年12月进行修订的版本。有关具体更改,请参阅CHANGELOG。 为了使用该工具箱,您需要执行以下命令设置路径:addpath(genpath(SOM-Toolbox));这将把SOM-Toolbox及其所有子文件夹添加到Matlab搜索路径中。 工具箱包含多个目录: -som:包括修订后的版本中的SOM功能。 -gtm:使用Netlab的GTM功能。 -contrib:外部贡献给SOM工具箱的内容。 -demo:演示脚本和数据。 该软件包是免费软件,您可以根据自由软件基金会发布的GNU通用公共许可协议进行分发和修改。
  • Python源代码SOM算法
    优质
    本段介绍基于Python语言实现的一种自组织映射(SOM)算法,通过简洁高效的源码展示SOM在网络聚类、数据可视化等方面的应用。 使用SOM算法进行聚类分析的Python代码实现及结果图表展示。
  • RNN-Time-Series-Anomaly-Detection: 基于RNN时间序列器模型PyTorch
    优质
    本项目是基于递归神经网络(RNN)的时间序列异常检测模型的PyTorch实现,适用于监测和预测各类时间序列数据中的异常情况。 基于RNN的时间序列异常检测器模型在Pytorch中的实现包括两个阶段的策略:时间序列预测与异常分数计算。 该模型要求的操作环境如下: - Ubuntu 16.04+(注意,在Windows 10上报告了错误) - Python版本3.5或以上 - PyTorch版本0.4.0或更高 - Matplotlib库 数据集包括以下几种类型的时间序列数据: 1. 纽约市出租车乘客人数:提供纽约市的出租车乘客数量流,该数据经过预处理(以每半小时为间隔汇总)。 2. 心电图(ECG):ECG数据集中包含单一异常事件,即心室前收缩。 3. 二维手势(视频监控):记录了视频中手势的XY坐标。 4. 呼吸模式:一个病人的呼吸频率(通过胸部扩展测量获得,采样率为10Hz)。 5. 航天飞机Marotta阀时间序列。 这些数据集被用于训练和验证基于RNN的时间序列异常检测器模型。