基于Python的校园网搜索引擎设计与实现

简介：
本项目旨在开发一个基于Python的校园网络搜索引擎，利用爬虫技术抓取校内资源并建立索引，方便师生高效检索信息。 本段落以燕山大学校园网为研究对象，在分析了网络搜索引擎的原理、核心模块和运行流程的基础上，探索性地研究并实现了一个在Linux平台下基于Python技术的面向校园网的原型搜索引擎。首先，本段落给出了搜索引擎的工作流程概述，并介绍了其中的关键技术和广泛使用的BM25检索模型。接着，利用Scrapy开源爬虫框架和BeautifulSoup网页解析库开发了搜索引擎的爬虫模块，指出了 Scrapy原有的URL去重方法在大规模网站抓取时内存耗费过大的问题，并提出了一种使用布隆过滤器改进该功能的方法。此外，根据实际经验提出了两种防止被ban策略。 随后，利用基于Python语言的Whoosh索引检索库开发了系统的索引模块。考虑到Whoosh对中文分词效果不佳的问题，引入jieba开源分词组件来优化其性能。最后，通过Flask框架实现用户界面，使用户能够通过网页端使用搜索引擎功能。