阿里大数据竞赛是由阿里巴巴主办的一项高水平数据科学比赛,吸引全球数据科学家解决实际业务挑战。参赛者运用先进的数据分析技术,在真实场景中提出创新解决方案。
阿里巴巴大数据竞赛提供的原始数据文件大小约为4M左右,包含了大约10万条行为记录、涉及千余名天猫用户及数千个品牌的数据。
参赛者需要预测的用户行为类型包括点击(代码为0)、购买(代码为1)、收藏(代码为2)和加入购物车(代码为3)。提交格式要求将预测结果保存在文本段落件中,每个用户的预测结果以user_id开头,并列出其对应的brand_id。例如:user_id \t brand_id , brand_id , brand_id。
比赛强调调整正负样本比例,在逻辑回归的基础上进行RawLR和MRLR(更合理的样本提取)。此外还推荐了时间因子在UserCF与ItemCF的应用,以及利用聚类后的用户或品牌数据进一步优化模型。例如,可以基于频繁项集/购买模式挖掘来改进ItemCF。
关于特征工程方面,观察到某些商品在被购买前后会出现较多的点击次数;同时发现本月有行为的商品很少会在下个月出现于用户的购买列表中。此外,根据数据分析结果可将用户浏览商品的行为分为两类:无目的浏览与有针对性地查找商品。
模型列表包括了多种逻辑回归及线性支持向量机等算法的应用情况,并提供了每种方法的精度、召回率和F1分数等指标。例如,在进行数据二次处理后,某些模型如LR(model=LinearSVC(C=10, loss=l1), alpha=0.7, degree=2) 的Precision可以达到约16%,而相应的F1 Score则约为3%。
这些分析与建模过程为参赛者提供了丰富的参考信息。