求助 urban dictionary网站数据重新抓取 [python]

garypang · 发表于 2018-4-18 10:22:43

本帖最后由 garypang 于 2018-4-18 10:48 编辑

原帖 https://www.pdawiki.com/forum/fo ... hread&tid=13941

作者@imfirefly 附带了抓取、排版、格式化成MDICT（Html）格式的工具,奈何本人完全不会python,暂时也没时间自学,求助python大神帮重新抓取最新数据,或者详细教我怎么使用这个工具傻瓜式抓取(本人python零菜鸟,会Html,CSS,JS,mdx词典修改打包等),

jiaoyidongxi · 发表于 2018-4-18 11:15:38

我倒是一直用的 gd/git 上维护的在线版 py 脚本

hooliganstreet · 发表于 2018-4-18 10:22:44

本帖最后由 hooliganstreet 于 2018-6-1 17:30 编辑

终于完成了，共1.7G，压缩后279M，见附件

UrbanDictionary.part001.rar (9 MB, 下载次数: 15)

UrbanDictionary.part002.rar (9 MB, 下载次数: 6)

UrbanDictionary.part003.rar (9 MB, 下载次数: 6)

UrbanDictionary.part004.rar (9 MB, 下载次数: 6)

UrbanDictionary.part005.rar (9 MB, 下载次数: 6)

UrbanDictionary.part006.rar (9 MB, 下载次数: 6)

UrbanDictionary.part007.rar (9 MB, 下载次数: 6)

UrbanDictionary.part008.rar (9 MB, 下载次数: 7)

UrbanDictionary.part009.rar (9 MB, 下载次数: 7)

UrbanDictionary.part010.rar (9 MB, 下载次数: 6)

UrbanDictionary.part011.rar (9 MB, 下载次数: 7)

UrbanDictionary.part012.rar (9 MB, 下载次数: 6)

UrbanDictionary.part013.rar (9 MB, 下载次数: 10)

UrbanDictionary.part014.rar (9 MB, 下载次数: 9)

UrbanDictionary.part015.rar (9 MB, 下载次数: 10)

UrbanDictionary.part016.rar (9 MB, 下载次数: 10)

UrbanDictionary.part017.rar (9 MB, 下载次数: 6)

UrbanDictionary.part018.rar (9 MB, 下载次数: 6)

UrbanDictionary.part019.rar (9 MB, 下载次数: 6)

UrbanDictionary.part020.rar (9 MB, 下载次数: 6)

UrbanDictionary.part021.rar (9 MB, 下载次数: 6)

UrbanDictionary.part022.rar (9 MB, 下载次数: 7)

UrbanDictionary.part023.rar (9 MB, 下载次数: 6)

UrbanDictionary.part024.rar (9 MB, 下载次数: 6)

UrbanDictionary.part025.rar (9 MB, 下载次数: 6)

UrbanDictionary.part026.rar (9 MB, 下载次数: 7)

UrbanDictionary.part027.rar (9 MB, 下载次数: 6)

UrbanDictionary.part028.rar (9 MB, 下载次数: 6)

UrbanDictionary.part029.rar (9 MB, 下载次数: 6)

UrbanDictionary.part030.rar (9 MB, 下载次数: 6)

UrbanDictionary.part031.rar (9 MB, 下载次数: 6)

UrbanDictionary.part032.rar (1.04 MB, 下载次数: 6)

hooliganstreet · 发表于 2018-4-19 09:34:13

稍安勿躁，正在抓取

我做到第4步就传上来，剩下的就交给你了

garypang · 发表于 2018-4-19 10:56:33

hooliganstreet 发表于 2018-4-19 09:34
稍安勿躁，正在抓取

厉害了哈哈感谢(❁´ω`❁)！

hooliganstreet · 发表于 2018-4-19 16:02:01

garypang 发表于 2018-4-19 10:56
厉害了哈哈感谢(❁´ω`❁)！

第1步已经完成，大约用了半个小时；正在执行第2步，已经用了6个小时了，但远远没有完成，而且错误挺多，按照这个速度算了一下，估计第2步至少需要5天，所以慢慢等待...

garypang · 发表于 2018-4-19 16:55:43

hooliganstreet 发表于 2018-4-19 16:02
第1步已经完成，大约用了半个小时；正在执行第2步，已经用了6个小时了，但远远没有完成，而且错误挺多， ...

辛苦了! 如果太耗时, 也可以教我具体怎么弄,在我电脑上抓取,

hooliganstreet · 发表于 2018-4-19 17:04:25

本帖最后由 hooliganstreet 于 2018-4-19 17:05 编辑

garypang 发表于 2018-4-19 16:55
辛苦了! 如果太耗时, 也可以教我具体怎么弄,在我电脑上抓取,

我觉得应该是网络的原因，慢慢来。如果想自己弄，按照说明，首先需要下载Python 3.4.3（不同的版本可能会有问题），可以参考这儿。
然后在命令行执行

pip install requests

复制代码

pip install BeautifulSoup

复制代码

然后按照说明执行

python UD_wordlists_gen.py

复制代码

python UD_make_mdx.py

复制代码

mergeAllMDXs.bat

复制代码

最后就是运行MdxBuilder了

冰上走的小猫猫 · 发表于 2018-4-22 19:24:51

提示: 该帖被管理员或版主屏蔽

garypang · 发表于 2018-4-22 19:42:58

冰上走的小猫猫发表于 2018-4-22 19:24
我觉得urban 用goldendict的直练功能比较好。
urban数据变更性太大，不适合抓取使用。 ...

国内访问速度堪忧阿,一年抓取一次还是挺方便的呢,

hooliganstreet · 发表于 2018-4-23 10:26:14

garypang 发表于 2018-4-22 19:42
国内访问速度堪忧阿,一年抓取一次还是挺方便的呢,

访问还是有问题，4天了还没完成，而且访问失败的占80%以上

左边是失败的，右边是所有的

garypang · 发表于 2018-4-23 10:48:34

hooliganstreet 发表于 2018-4-23 10:26
访问还是有问题，4天了还没完成，而且访问失败的占80%以上

感谢及时更新进度,实在辛苦了! 失败的大概原因你那边能知晓吗,是网络问题还是urban网站更新了导致抓取程序不能完全匹配造成的呢,

谢谢!

hooliganstreet · 发表于 2018-4-23 10:58:49

garypang 发表于 2018-4-23 10:48
感谢及时更新进度,实在辛苦了! 失败的大概原因你那边能知晓吗,是网络问题还是urban网站更新了导致抓取程 ...

可能是同时请求的太多了

garypang · 发表于 2018-4-23 11:05:54

hooliganstreet 发表于 2018-4-23 10:58
可能是同时请求的太多了

好的,看来还是urban网站做了限制,先全部抓取完成再看看有没其他解决方案,

谢谢!

hooliganstreet · 发表于 2018-4-23 11:52:58

garypang 发表于 2018-4-23 11:05
好的,看来还是urban网站做了限制,先全部抓取完成再看看有没其他解决方案,

谢谢! ...

只好多爬几次了

garypang · 发表于 2018-5-3 11:35:18

hooliganstreet 发表于 2018-4-23 11:52
只好多爬几次了

不知道楼主进度如何了,哈哈,

hooliganstreet · 发表于 2018-5-3 13:36:50

garypang 发表于 2018-5-3 11:35
不知道楼主进度如何了,哈哈,

试了好几次了，觉得网站可能对请求数做了限制，因此改为单线程继续抓取，已经好几天了。

hooliganstreet · 发表于 2018-5-3 13:38:59

上午c盘没空间了，换了个盘，继续。已经抓取535M，比我用的是300多M，看了网站又更新了不少

garypang · 发表于 2018-5-3 13:47:29

hooliganstreet 发表于 2018-5-3 13:38
上午c盘没空间了，换了个盘，继续。已经抓取535M，比我用的是300多M，看了网站又更新了不少
...

哈哈,辛苦了,看来是快要成了~

hooliganstreet · 发表于 2018-5-3 15:15:34

garypang 发表于 2018-5-3 13:47
哈哈,辛苦了,看来是快要成了~

估计还早，我觉得一半都不到，估计至少需要半个月

hooliganstreet · 发表于 2018-5-15 10:31:48

说明一下进度：已经抓取了1.03G的数据，估计还有1/3的数据没有抓取完成，最后的数据估计至少有1.5G左右。时间的话，我估计至少还需要5天以上

garypang · 发表于 2018-5-15 10:38:33

hooliganstreet 发表于 2018-5-15 10:31
说明一下进度：已经抓取了1.03G的数据，估计还有1/3的数据没有抓取完成，最后的数据估计至少有1.5G左右。时 ...

哈哈,辛苦啦! 不急,我目前暂时用在线版用着也还不错,https://www.pdawiki.com/forum/fo ... hread&tid=26863

garypang · 发表于 2018-6-1 17:34:21

hooliganstreet 发表于 2018-6-1 17:28
终于完成了，共1.7G，压缩后279M，见附件

感谢!!!,付出这么多时间和精力,实在辛苦了,迫不及待试用先!

garypang · 发表于 2018-6-1 19:40:11

本帖最后由 garypang 于 2018-6-1 20:09 编辑

hooliganstreet 发表于 2018-4-18 10:22
终于完成了，共1.7G，压缩后279M，见附件

初步测试了下, 存在少量词缺失,比如 adorbs, giant

已打包排版好,
您去资源区发帖分享给大家哈,

链接: https://pan.baidu.com/s/1e6yw2gOpcA137q7TRiqa0Q 密码: gang

hooliganstreet · 发表于 2018-6-2 16:21:56

garypang 发表于 2018-6-1 19:40
初步测试了下, 存在少量词缺失,比如 adorbs, giant

已打包排版好,

版主去分享吧，缺失的部分我有时间看看

[悬赏] 求助 urban dictionary网站数据重新抓取 [python]

最佳答案

点评

评分

评分

评分

评分

评分

评分

评分

评分

评分