基于NoSQL的海量航空物流小文件分布式层级存储方案

简介：
本研究提出一种基于NoSQL技术的分布式层级存储架构，旨在高效管理和处理航空物流中产生的海量小文件数据。 为了应对航空物流领域中小文件存储效率低、访问速度慢的问题，我们提出了一种基于NoSQL的海量小文件分布式多级存储方案。该方法充分考虑了数据时效性、本地化特点、操作并发性和文件间相关性的因素，首先根据这些特性将文件进行合并处理，随后采用分布式的多层次存储策略。具体来说，在内存中使用Redis数据库作为缓存层，并利用HDFS实现持久化的数据存储；同时在访问过程中运用预取机制以提高效率。 实验结果显示，该方案能够显著提升小文件的读写性能和磁盘利用率，有效减少网络带宽占用及集群NameNode的内存消耗。因此，这种方法非常适合解决航空物流领域中的海量小文件高效存储问题。