爬虫连载系列(3)——利用Selenium和XPath抓取京东数据

简介：
本篇文章是爬虫连载系列的第三篇，主要内容是如何使用Python结合Selenium和XPath技术高效地抓取京东网站的数据。适合有一定编程基础并对网络爬虫感兴趣的读者阅读。 这两天本打算在淘宝上爬取一些数据进行分析的，但没想到淘宝的反爬机制对我这样的新手充满了挑战。先是被复杂的数据格式弄得焦头烂额，好不容易完成一页代码测试后准备大展身手时，却发现自己的IP已经被封了！眼看着与博客更新计划渐行渐远，只好先换个目标转向京东。但这并不代表我会就此放弃淘宝，等自己技术提升后再回来尝试。 下面进入正题吧。这次想做一个关于糖果的分析项目，于是从京东上爬取了大约2700条数据进行研究，应该足够支持我的分析工作了。不过京东的一个问题是每一页的数据加载方式比较特殊，需要特别注意处理这些问题。