Spark平台下的电商数据分析

简介：
## 0、环境的介绍： 1. spark 2.4.4 2. scala 2.11.8 3. hive 3.1.2 4. mysql 5.7.28 5. kafka_2.12-2.3.0 6. jdk 1.8.0_192 7. hadoop 2.9.2 8. zookeeper-3.5.5 9. Ubuntu 18.04 10/windows/windows10 ## 1、程序中包的解释： #### commons 包：公共模块包 - conf：配置工具类，默认获取commerce.properties文件中的所有配置信息， 支持以对象方式访问commerce.properties中的所有配置项。 - constant：常量接口，默认包括项目中所需的所有常量。 - model：Spark SQL示例类，默认包含Spark SQL中用户访问动作表、用户信息表、产品表的示例类。 - pool：MySQL连接池，默认通过自定义MySQL连接池实现对MySQL数据库的操作。 - utils： utilities工具类，默认提供日期时间处理工具类、数字格式处理工具类等工具集合， 其中包含了以下几大功能模块： - 数据时间处理功能模块； - 数字格式化处理功能模块； - 参数传递与验证功能模块； - 字符串操作功能模块； - 输入输出验证功能模块等。