
Spark中小文件的异步合并工具
5星
- 浏览量: 0
- 大小:None
- 文件类型:None
简介:
简介:本项目提供了一个在Apache Spark环境下处理和优化小文件的异步合并工具,旨在提高数据处理效率及集群资源利用率。
我编写了一个Java版本的Spark小文件合并工具,支持text、parquet、orc等多种格式的数据文件,并愿意分享给有需要的人使用。
全部评论 (0)
还没有任何评论哟~


简介:
简介:本项目提供了一个在Apache Spark环境下处理和优化小文件的异步合并工具,旨在提高数据处理效率及集群资源利用率。
我编写了一个Java版本的Spark小文件合并工具,支持text、parquet、orc等多种格式的数据文件,并愿意分享给有需要的人使用。


