
Train-Crawler: 12306火车时刻表及车次经停站信息爬虫,包含ADSL反反爬虫机制
5星
- 浏览量: 0
- 大小:None
- 文件类型:None
简介:
Train-Crawler是一款针对12306网站设计的专业爬虫工具,能够获取全国各线路的列车时刻表和站点停留信息。特别整合了ADSL技术以应对并突破网站的反爬策略,确保数据采集过程的稳定性和高效性。
基本介绍:config.py 文件用于存储配置信息;generate_task2db.py 脚本从12306网站下载train_list和station_name数据,并进行初步处理。生成两类任务:车次时刻表信息抓取任务(train_crawler.py)与经停靠站点信息抓取任务(path_stations_crawler.py)。_id作为主键,用于标识每个任务的URL参数;对于车次时刻表信息的任务,该参数包括起始站代码和终点站代码;而对于经停靠站点的信息,则需要提供列车序号train_no、起始站代码及终点站代码。status字段表示任务执行状态:0代表未处理(UN_PROCESSED),1为正在处理(PROCESSING),2则意味着已完成抓取信息。
此外,车次时刻表信息的抓取由train_crawler.py 爬虫脚本完成;而经停靠站点的信息,则通过path_stations_crawler.py 脚本来获取。
全部评论 (0)
还没有任何评论哟~


