全国职业技能大赛大数据竞赛十套试题（shtd）

简介：
本资料汇集了全国职业技能大赛中大数据竞赛的十个精选题目，旨在全面评估参赛者在数据处理、分析及应用等关键领域的技能水平。适合深度学习和实践练习使用。 使用Scala编写Spark工程代码，从MySQL的shtd_store库中的表user_info、sku_info、base_province、base_region、order_info以及order_detail中抽取增量数据，并将这些数据插入到Hive的ods库对应的数据表中。 具体操作为： 1. 抽取shtd_store数据库内用户信息（user_info）表的增量数据，将其导入至Hive ods库中的user_info表。根据ods.user_info表中operate_time或create_time字段作为增量依据（即在MySQL每条记录的数据中选取这两个时间字段的最大值作为增量判断条件），仅将新增的数据插入到目标表里，并且保持原有的字段名称和类型不变，同时添加静态分区，该分区的类型为String型，且其值应设置为比赛前一天日期（格式yyyyMMdd）。最后使用hive cli执行`show partitions ods.user_info`命令并截图结果粘贴至相关报告中。