基于Hadoop的并行社交网络挖掘系统（2013年）

简介：
本研究开发了一个基于Hadoop平台的并行社交网络挖掘系统，旨在高效地处理大规模社交数据。该系统能够实现快速的数据分析与模式识别，在学术界和工业界均有广泛的应用前景。 近年来,以微博为代表的社交网络迅速发展,这些平台上包含了网民对于各种热点事件的观点、对生活及人际关系的看法等各种有价值的信息资源。由于微博数据庞大且难以获取等原因,如何有效地进行社交网络的数据挖掘成为了近两年研究的重点与热点问题。本工作设计并实现了一个基于Hadoop的并行社交网络挖掘系统，该系统包括分布式数据库、并行爬虫技术、并行数据分析处理以及一系列并行化的数据挖掘算法，能够高效地采集和分析海量的社会网络信息，并为社群结构分析、用户行为研究、用户分类及微博内容分类等工作提供强有力的支持。