磁力搜索引擎网站搭建2:数据获取

上一篇:磁力搜索引擎网站搭建1:数据保存

本篇介绍一下如何获取磁力链接数据。

磁力链接是获取不完的

我做不到从0开始,只能从之前的代码修改,之前的两个项目都是用Python,那就一条路走到黑。

原计划是打算基于别人的代码修改,结果测试,别人的代码无法实现获取数据和保存到数据库。数据库部分的代码与DHT部分代码有冲突,两者一起导致程序无法运行。

所以本系列采用的方式是别人的Python代码(就是保存到Redis的方式,毕竟已经用它获取了170万条数据了),然后用Python脚本将其解析保存到MySQL数据库中。

下面简单介绍一下Python版的原理和流程,后期会用C++写一个直接获取保存到MySQL的版本。

首先你要了解

模块流程图为

module

数据流为

dht

运行程序

running

这样就会有源源不断的数据填充到数据库表里面,除了本系列之外,MySQL入门、测试也会用到这些表、数据。

数据爬取

经过接近两个月的爬取。获取到了大约3GB的数据,共计5051203条

state state state

那么我们进行下一步

Redis->MySQL

使用脚本将数据从Redis中提取并保存到MySQL中。

数据大约为505万条,单线程耗时12个小时。

导入了5050679条数据,其余524条数据因数据字符问题无法导入。

下一篇:磁力搜索引擎网站搭建3:网站界面


磁力搜索引擎网站搭建2:数据获取
https://feater.top/data/retrive-data-of-torrent-with-dht
作者
JackeyLea
发布于
2021年10月8日
许可协议