大数据：Sqoop+Hive+MySQL在纽约证券交易所数据集中的应用

简介：
本研究探讨了利用Sqoop、Hive和MySQL技术栈处理纽约证券交易所的大数据集。通过将实时交易数据高效迁移至Hadoop生态系统，并进行复杂查询与分析，为金融数据分析提供强大支持。 该项目将展示在CDH5环境中使用Sqoop的核心概念，并演示如何通过以下步骤操作数据：首先，在MySQL数据库中创建表；然后，利用Sqoop工具从NYSE获取的数据导入到MySQL中；接着，再用Sqoop把数据从MySQL转移至Hive以进行进一步的操作和分析。具体来说，我们将计算每个股票代码的交易量并将结果存储在Hive中的stock_volume表内；最后一步是通过Sqoop将这些数据导回MySQL以便生成报告。 该项目还计划开发Oozie脚本用于导入、操作及导出数据，并设计一个用户界面从MySQL数据库中读取信息并展示相关统计数据。NYSE Hadoop文档详细记录了所有步骤和命令，提供了详细的分步指南；此外还包括了一个tar文件，其中包含示例数据以供参考使用。