CNVDSpider: 利用JavaScript爬取CNVD漏洞库的数据 Crawl CNVD shared vulnerabilities with JavaScript...

简介：
CNVDSpider是一款基于JavaScript开发的工具，用于从CNVD（国家信息安全漏洞共享平台）抓取并分析漏洞数据，助力安全研究人员进行深入研究和预警。 CNVDSpiderCrawl 是一个用于抓取 CNVD 共享漏洞数据的项目。为了撰写论文需要收集这些数据，但该网站设置了反爬机制，导致无法直接获取所有信息。因此，决定使用 JavaScript 来绕过这种限制，并实现以下目标：可以直接访问 GitHub 查看代码。 在开始之前，请确保已经注册并登录了相关网页账号。 需求分析表明我们需要整个漏洞库的数据。然而，在尝试用 Python 编写爬虫时发现会被反爬机制阻止，导致无法自动下载大量数据。鉴于该网站有共享功能，我们考虑从这里入手解决问题。手动逐个点击链接和翻页同样耗时巨大，因此决定使用 JavaScript 脚本来实现这一过程。 具体有两种方法：一是通过脚本逐一控制点击每个链接并进行页面切换；二是直接请求每个链接以获取数据。本段落采用第二种方案，并观察到所有相关网址均为 https:// 开头的格式。