原创《基于Hadoop的推荐算法》：本论文可用于Hadoop论文范文参考下载，Hadoop相关论文写作参考研究。
摘 要：本文通过对云计算和推荐系统的研究,构建了一种基于Hadoop平台的混合推荐算法.文*绍了改进的混合推进算法,并结合Hadoop平台的MapReduce编程模型来实现.通过实验验证,该算法能精确的预测用户的偏好,向用户推荐感兴趣的信息.其次,Hadoop能满足对大量数据处理的要求,结合改进的混合推荐算法,能够大大提高推荐系统的性能.
关键词：云计算；推荐算法；混合推荐算法
中图分类号：TP301.6 文献标识码：A
Abstract：In this paper,through studying the recommendation system and cloud computation,we established the hybrid recommendation algorithm based on Hadoop.In this paper,we introduces a improved hybrid recommended algorithm and combine MapReduce programming which is used on Hadoop platform.Through practices,the improved algorithm can accurately acquiring user preferences, provide the user with recommendation when the user browse the web page.Finally Hadoop can meet the demand of massive data processing,and achieve a highly performance system by making use of the data reprocessing method.
Keywords：cloud computing；recommended algorithm；hybrid algorithm
1 引言（Introduction）
随着互联网的迅速发展和Web2.0技术的普及,网络中的信息量急剧上升,从海量的数据中快速找到用户感兴趣或对其有价值的信息,无论对于消费者还是商家来说都是十分重要的,而推荐系统就是一个非常有效的工具.作为一项广泛应用的机器学习技术,推荐系统通过了解用户的历史行为推断用户的喜好,向用户推荐其感兴趣的书、电影、文章等未知项目.如今很多网站都提供了推荐服务,例如：新浪微博、优酷、Amazon、Youtube等.
与搜索引擎不同,推荐系统不需要用户提供明确的搜索要求,而是通过对用户历史行为的记录分析去挖掘其兴趣,从而主动的向用户推荐符合他们兴趣和要求的信息[1].因此,推荐系统需要大量的数据为前提,云计算可以很好地解决大容量数据存储的问题.
Hadoop平台是Apache分布式计算编程系统下的一个开放资源,是目前使用最广泛的云计算平台[2],它主要包含两大方面：分布式文件系统HDFS和分布式计算模型MapReduce[3].由于Hadoop平台具有成本低、效率高等优势,基于Hadoop平台的应用已经在互联网领域迅速发展[4].本文设计并实现了一种基于MapReduce编程模型的混合推荐算法并将其应用到推荐系统中.
2 系统架构设计（Architecture design of system）
2.1 Hadoop平台
Hadoop分布式系统的基础框架由HDFS、MapReduce和HBase组成.其中,HDFS是Hadoop软件框架中的分布式文件系统,MapReduce是用于大规模数据处理的分布式计算模型,HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统[5].Hadoop分布式系统的主要结构如图1所示.
如图1所示,DataNode节点主要负责对Hadoop分布式文件系统的数据进行存储,NameNode节点主要负责管理Hadoop文件系统的命名空间,并控制外部用户对文件系统的访问[6].总之,Hadoop分布式文件系统是一个真实可靠的分布式文件存储系统,用户可以在其中存储他们的信息数据.
2.2 推荐系统的体系结构
推荐系统主要包括三个部分：用户、推荐算法和推荐对象.推荐算法是推荐系统的核心.随着互联网的发展,推荐系统已经被应用到很多领域,它具有比搜索引擎更高的用户体验,推荐系统结合了搜索引擎的优势发现用户的历史搜索并对结果进行排序,根据用户的历史行为收集用户的偏好数据并向用户推荐其感兴趣的内容.一般推荐系统的架构如图2所示.
2.3 基于用户的协同过滤推荐算法
基于用户的协同过滤推荐算法的基本原理是通过收集用户的历史行为,根据用户之间的相似性进行推荐,具体过程[8]详见表1.
2.4 基于项目的推荐算法
基于项目的推荐是从项目之间的相似性中得出的,它与基于用户的推荐类似,具体过程[9]详见表2.
基于项目的推荐算法与基于用户的推荐算法类似,但不完全相同.两者之间最显著的差异在于：基于项目的推荐算法的时间复杂度主要取决于项目的数量,而基于用户的推荐算法的时间复杂度主要取决于用户的数量[10].
3 混合推荐算法的设计（Design of hybrid recommendation algorithm）
通过对基于用户的协同过滤推荐算法和基于项目的推荐算法的比较发现,单纯使用一种推荐方法很难满足大数据量和高准确度的要求.混合推荐算法组合这两种不同的推荐算法并搭载hadoop平台.
如图3所示,混合推荐算法的基本思想是将基于用户的协同过滤推荐算法和基于项目的推荐算法相结合使用.首先,采用基于项目推荐算法来预测用户对目标项目的评分.然后根据预测填补基于用户的协同过滤中的稀疏矩阵,主要是填补矩阵中缺失的数据.这样就有效地解决了协同过滤算法中的数据稀疏问题.
Hadoop论文参考资料：
结论：基于Hadoop的推荐算法为关于本文可作为Hadoop方面的大学硕士与本科毕业论文Hadoop论文开题报告范文和职称论文论文写作参考文献下载。
