淘宝用户行为数据分析项目专注于研究和解析淘宝平台上用户的购物习惯、偏好及互动模式,旨在优化用户体验与提高运营效率。
本项目通过淘宝用户数据集进行统计分析,使用的技术包括Hadoop、Hive、Spark、Hbase以及Python的matplotlib(用于数据展示)。该数据集包含了2017年11月25日至2017年12月3日之间约一百万随机用户的全部行为记录。这些行为涵盖了点击、购买、加购和喜欢等类型,并且每一行代表一个用户的行为,由用户ID、商品ID、商品类目ID、行为类型以及时间戳组成。
数据集的组织形式类似于MovieLens-20M,即每条记录以逗号分隔的方式呈现。原始CSV文件大小为2.05GB,包含1亿零一百五十万八千零七行的行为数据。操作流程包括下载数据集和在Hive中创建表结构如下:
```sql
create table user_behaviors(
userId int,
itemId int,
categoryId int,
behaviorType string,
times string)
row format delimited;
```
以上是项目的主要技术栈、数据来源以及初步的数据处理步骤概述。