
优秀的好码师-Python: 优秀的Python编码者
5星
- 浏览量: 0
- 大小:None
- 文件类型:None
简介:
本课程旨在培养优秀的Python编程人才,深入讲解Python语言的核心知识与实践技巧,助力学员成为卓越的好码师。
在调研过程中,经常需要对一些网站进行定向抓取。由于Python包含各种强大的库,使用Python来做定向抓取比较简单。请开发一个名为mini_spider.py的迷你定向抓取器,实现种子链接的广度优先抓取,并将URL符合特定模式的网页保存到磁盘上。
程序运行方式为:python mini_spider.py -c spider.conf
配置文件spider.conf的内容如下:
[spider]
url_list_file: ./urls ; 种子文件路径
output_directory: ./output ; 抓取结果存储目录
max_depth: 1 ; 最大抓取深度(种子为0级)
crawl_interval: 1 ; 抓取间隔。单位:秒
crawl_timeout: 1 ; 抓取超时。单位:秒
全部评论 (0)
还没有任何评论哟~


