DHT开源爬虫p2pspider（zip文件）
5星
- 浏览量: 0
- 大小:None
- 文件类型：ZIP
简介：
P2PSpider是一款用于分布式哈希表(DHT)网络数据抓取的开源爬虫工具。通过分析和下载特定类型的种子元信息，它为用户提供了强大的数据收集能力。
p2pspider 是一个结合了DHT爬虫与BT客户端的工具，可以从全球DHT网络中嗅探正在被下载的资源，并从远程BT客户端获取这些资源的元数据（即种子的主要信息），生成磁力链接以便用户通过此链接来下载文件。它适用于构建私人种子库或进行资源数据分析。
安装方法如下：
```
git clone https://github.com/Fuck-You-GFW/p2pspider
```
使用说明：
在使用前，请确保您的node版本为0.12.0及以上。
```javascript
use strict;
var P2PSpider = require(../lib);
var p2p = P2PSpider({
nodesMaxSize: 200, // 注意设置大小时需谨慎
maxConnections: 400, // 同上，注意调整连接数可能影响性能
timeout: 5000});
```
在忽略函数中定义是否需要下载元数据。
```javascript
p2p.ignore(function (infohash, rinfo, callback) {
var theInfohashIsExistsInDatabase = false; // 根据数据库中的记录判断，如果存在则不需要再下载
callback(theInfohashIsExistsInDatabase);
});
```
当获取到元数据时，在metadata事件的回调函数中可以提取并保存这些信息至数据库。
```javascript
p2p.on(metadata, function (metadata) {
console.log(metadata); // 输出或处理元数据
});
```
启动服务：
`p2p.listen(6881, 0.0.0.0);`
此工具目前仅支持在具有公网IP的主机上运行，或者通过路由器设置端口转发（默认使用UDP协议和端口号6881）。
全部评论 (0)
