一款可定制的爬虫工具

简介：
这是一款强大的可定制化网络爬虫工具，用户可以根据需求灵活配置抓取规则和解析方式，适用于各种数据采集场景。 本程序使用Python编写，无需安装。运行Crawler.exe即可看到效果。 若不改动配置，默认会抓取新浪科技的内容；如需更改目标网站，请调整相关设置。 配置文件采用ini格式： - spider_config.ini：用于蜘蛛的配置项包括： - maxThreads: 爬虫线程数量 - startURL: 开始爬行的目标网址 - checkFilter: 指定需要抓取哪些符合条件（使用正则表达式）的URL - urlFilter: 提供给分析器处理的过滤规则 - sucker_config.ini：网页解析器配置项包括： - maxThreads: 分析器线程数量 - pattern parser匹配使用的正则表达式 - parser: 指定用于对应模式(pattern)的具体解析方法 程序支持用户自定义编写分析模块。参考软件包中的NewsParser.py文件，按照相同格式写一个parser（需要具备Python编程基础）。完成后通过compile命令编译为pyc即可使用。