基于MapReduce的HDFS数据窃取随机检测方法

简介：
本研究提出了一种利用MapReduce技术对Hadoop分布式文件系统(HDFS)进行数据窃取行为的随机性检测方法，旨在增强大数据环境下的信息安全。 为解决分布式云计算存储中的数据窃取检测问题，特别是在处理大量数据以及内部窃取难以发现的情况，本研究以Hadoop分布式文件系统（HDFS）作为研究对象，提出了一种基于MapReduce的数据随机检查算法。通过分析HDFS中因文件夹复制而产生的MAC时间戳特性，确立了能够有效识别并衡量所有类型窃取行为的检测方法，包括内部窃取。该设计还考虑到了适合于MapReduce任务划分的特点，并记录了HDFS中的层次结构信息，从而实现了对海量时间戳数据的有效分析。 实验结果表明，所提出的方法通过分段检查策略可以很好地控制漏检率和误报文件夹的数量，并且具有较高的执行效率以及良好的可扩展性。