查看: 1489|回复: 26
打印 上一主题 下一主题

[悬赏] 求助 urban dictionary网站数据重新抓取 [python]

[复制链接]
  • TA的每日心情
    慵懒
    2018-8-25 12:29
  • 签到天数: 91 天

    [LV.6]常住居民II

    33

    主题

    282

    回帖

    4万

    积分

    版主

    新的一天 , 新的难过

    Rank: 10Rank: 10Rank: 10

    积分
    40688

    灌水大神章笑傲江湖章QQ 章翰林院专用章管理组专用章小蜜蜂章

    QQ
    跳转到指定楼层
    1
    发表于 2018-4-18 10:22:43 | 只看该作者 |只看大图 回帖奖励 |倒序浏览 |阅读模式
    500
    本帖最后由 garypang 于 2018-4-18 10:48 编辑

    原帖 https://www.pdawiki.com/forum/fo ... hread&tid=13941

    作者@imfirefly 附带了抓取、排版、格式化成MDICT(Html)格式的工具,奈何本人完全不会python,暂时也没时间自学,求助python大神帮重新抓取最新数据,或者详细教我怎么使用这个工具傻瓜式抓取(本人python零菜鸟,会Html,CSS,JS,mdx词典修改打包等),

    最佳答案

    查看完整内容

    终于完成了,共1.7G,压缩后279M,见附件
  • TA的每日心情
    奋斗
    2018-7-12 01:46
  • 签到天数: 109 天

    [LV.6]常住居民II

    9

    主题

    146

    回帖

    6728

    积分

    会元

    Rank: 7Rank: 7Rank: 7

    积分
    6728
    来自 2楼
    发表于 2018-4-18 11:15:38 | 只看该作者
    我倒是一直用的 gd/git 上维护的在线版 py 脚本

    点评

    谢谢  发表于 2018-4-19 19:40

    评分

    3

    查看全部评分

  • TA的每日心情
    开心
    3 天前
  • 签到天数: 72 天

    [LV.6]常住居民II

    45

    主题

    182

    回帖

    2726

    积分

    解元

    Rank: 5Rank: 5

    积分
    2726
    3
    发表于 2018-4-18 10:22:44 | 只看该作者
    本帖最后由 hooliganstreet 于 2018-6-1 17:30 编辑

    终于完成了,共1.7G,压缩后279M,见附件

    UrbanDictionary.part001.rar (9 MB, 下载次数: 15)
    UrbanDictionary.part002.rar (9 MB, 下载次数: 6)
    UrbanDictionary.part003.rar (9 MB, 下载次数: 6)
    UrbanDictionary.part004.rar (9 MB, 下载次数: 6)
    UrbanDictionary.part005.rar (9 MB, 下载次数: 6)
    UrbanDictionary.part006.rar (9 MB, 下载次数: 6)
    UrbanDictionary.part007.rar (9 MB, 下载次数: 6)
    UrbanDictionary.part008.rar (9 MB, 下载次数: 7)
    UrbanDictionary.part009.rar (9 MB, 下载次数: 7)
    UrbanDictionary.part010.rar (9 MB, 下载次数: 6)
    UrbanDictionary.part011.rar (9 MB, 下载次数: 7)
    UrbanDictionary.part012.rar (9 MB, 下载次数: 6)
    UrbanDictionary.part013.rar (9 MB, 下载次数: 10)
    UrbanDictionary.part014.rar (9 MB, 下载次数: 9)
    UrbanDictionary.part015.rar (9 MB, 下载次数: 10)
    UrbanDictionary.part016.rar (9 MB, 下载次数: 10)
    UrbanDictionary.part017.rar (9 MB, 下载次数: 6)
    UrbanDictionary.part018.rar (9 MB, 下载次数: 6)
    UrbanDictionary.part019.rar (9 MB, 下载次数: 6)
    UrbanDictionary.part020.rar (9 MB, 下载次数: 6)
    UrbanDictionary.part021.rar (9 MB, 下载次数: 6)
    UrbanDictionary.part022.rar (9 MB, 下载次数: 7)
    UrbanDictionary.part023.rar (9 MB, 下载次数: 6)
    UrbanDictionary.part024.rar (9 MB, 下载次数: 6)
    UrbanDictionary.part025.rar (9 MB, 下载次数: 6)
    UrbanDictionary.part026.rar (9 MB, 下载次数: 7)
    UrbanDictionary.part027.rar (9 MB, 下载次数: 6)
    UrbanDictionary.part028.rar (9 MB, 下载次数: 6)
    UrbanDictionary.part029.rar (9 MB, 下载次数: 6)
    UrbanDictionary.part030.rar (9 MB, 下载次数: 6)
    UrbanDictionary.part031.rar (9 MB, 下载次数: 6)
    UrbanDictionary.part032.rar (1.04 MB, 下载次数: 6)

    评分

    4

    查看全部评分

  • TA的每日心情
    开心
    3 天前
  • 签到天数: 72 天

    [LV.6]常住居民II

    45

    主题

    182

    回帖

    2726

    积分

    解元

    Rank: 5Rank: 5

    积分
    2726
    4
    发表于 2018-4-19 09:34:13 | 只看该作者
    稍安勿躁,正在抓取


    我做到第4步就传上来,剩下的就交给你了

    评分

    1

    查看全部评分

  • TA的每日心情
    慵懒
    2018-8-25 12:29
  • 签到天数: 91 天

    [LV.6]常住居民II

    33

    主题

    282

    回帖

    4万

    积分

    版主

    新的一天 , 新的难过

    Rank: 10Rank: 10Rank: 10

    积分
    40688

    灌水大神章笑傲江湖章QQ 章翰林院专用章管理组专用章小蜜蜂章

    QQ
    5
     楼主| 发表于 2018-4-19 10:56:33 来自手机 | 只看该作者
    hooliganstreet 发表于 2018-4-19 09:34
    稍安勿躁,正在抓取



    厉害了 哈哈 感谢(❁´ω`❁)!
  • TA的每日心情
    开心
    3 天前
  • 签到天数: 72 天

    [LV.6]常住居民II

    45

    主题

    182

    回帖

    2726

    积分

    解元

    Rank: 5Rank: 5

    积分
    2726
    6
    发表于 2018-4-19 16:02:01 | 只看该作者
    garypang 发表于 2018-4-19 10:56
    厉害了 哈哈 感谢(❁´ω`❁)!

    第1步已经完成,大约用了半个小时;正在执行第2步,已经用了6个小时了,但远远没有完成,而且错误挺多,按照这个速度算了一下,估计第2步至少需要5天,所以慢慢等待...

    评分

    1

    查看全部评分

  • TA的每日心情
    慵懒
    2018-8-25 12:29
  • 签到天数: 91 天

    [LV.6]常住居民II

    33

    主题

    282

    回帖

    4万

    积分

    版主

    新的一天 , 新的难过

    Rank: 10Rank: 10Rank: 10

    积分
    40688

    灌水大神章笑傲江湖章QQ 章翰林院专用章管理组专用章小蜜蜂章

    QQ
    7
     楼主| 发表于 2018-4-19 16:55:43 | 只看该作者
    hooliganstreet 发表于 2018-4-19 16:02
    第1步已经完成,大约用了半个小时;正在执行第2步,已经用了6个小时了,但远远没有完成,而且错误挺多, ...

    辛苦了! 如果太耗时, 也可以教我具体怎么弄,在我电脑上抓取,
  • TA的每日心情
    开心
    3 天前
  • 签到天数: 72 天

    [LV.6]常住居民II

    45

    主题

    182

    回帖

    2726

    积分

    解元

    Rank: 5Rank: 5

    积分
    2726
    8
    发表于 2018-4-19 17:04:25 | 只看该作者
    本帖最后由 hooliganstreet 于 2018-4-19 17:05 编辑
    garypang 发表于 2018-4-19 16:55
    辛苦了! 如果太耗时, 也可以教我具体怎么弄,在我电脑上抓取,


    我觉得应该是网络的原因,慢慢来。如果想自己弄,按照说明,首先需要下载Python 3.4.3(不同的版本可能会有问题),可以参考这儿
    然后在命令行执行
    1. pip install requests
    复制代码
    1. pip install BeautifulSoup
    复制代码

    然后按照说明执行
    1. python UD_wordlists_gen.py
    复制代码
    1. python UD_make_mdx.py
    复制代码
    1. mergeAllMDXs.bat
    复制代码

    最后就是运行MdxBuilder了

    评分

    1

    查看全部评分

  • TA的每日心情
    擦汗
    2018-5-10 12:58
  • 签到天数: 53 天

    [LV.5]常住居民I

    38

    主题

    240

    回帖

    -382

    积分

    禁止发言

    积分
    -382
    9
    发表于 2018-4-22 19:24:51 | 只看该作者
    提示: 该帖被管理员或版主屏蔽
  • TA的每日心情
    慵懒
    2018-8-25 12:29
  • 签到天数: 91 天

    [LV.6]常住居民II

    33

    主题

    282

    回帖

    4万

    积分

    版主

    新的一天 , 新的难过

    Rank: 10Rank: 10Rank: 10

    积分
    40688

    灌水大神章笑傲江湖章QQ 章翰林院专用章管理组专用章小蜜蜂章

    QQ
    10
     楼主| 发表于 2018-4-22 19:42:58 | 只看该作者
    冰上走的小猫猫 发表于 2018-4-22 19:24
    我觉得urban 用goldendict的直练功能比较好。
    urban数据变更性太大,不适合抓取使用。 ...

    国内访问速度堪忧阿,一年抓取一次还是挺方便的呢,
  • TA的每日心情
    开心
    3 天前
  • 签到天数: 72 天

    [LV.6]常住居民II

    45

    主题

    182

    回帖

    2726

    积分

    解元

    Rank: 5Rank: 5

    积分
    2726
    11
    发表于 2018-4-23 10:26:14 | 只看该作者
    garypang 发表于 2018-4-22 19:42
    国内访问速度堪忧阿,一年抓取一次还是挺方便的呢,

    访问还是有问题,4天了还没完成,而且访问失败的占80%以上


    左边是失败的,右边是所有的
  • TA的每日心情
    慵懒
    2018-8-25 12:29
  • 签到天数: 91 天

    [LV.6]常住居民II

    33

    主题

    282

    回帖

    4万

    积分

    版主

    新的一天 , 新的难过

    Rank: 10Rank: 10Rank: 10

    积分
    40688

    灌水大神章笑傲江湖章QQ 章翰林院专用章管理组专用章小蜜蜂章

    QQ
    12
     楼主| 发表于 2018-4-23 10:48:34 | 只看该作者
    hooliganstreet 发表于 2018-4-23 10:26
    访问还是有问题,4天了还没完成,而且访问失败的占80%以上

    感谢及时更新进度,实在辛苦了! 失败的大概原因你那边能知晓吗,是网络问题还是urban网站更新了导致抓取程序不能完全匹配造成的呢,

    谢谢!
  • TA的每日心情
    开心
    3 天前
  • 签到天数: 72 天

    [LV.6]常住居民II

    45

    主题

    182

    回帖

    2726

    积分

    解元

    Rank: 5Rank: 5

    积分
    2726
    13
    发表于 2018-4-23 10:58:49 | 只看该作者
    garypang 发表于 2018-4-23 10:48
    感谢及时更新进度,实在辛苦了! 失败的大概原因你那边能知晓吗,是网络问题还是urban网站更新了导致抓取程 ...

    可能是同时请求的太多了
  • TA的每日心情
    慵懒
    2018-8-25 12:29
  • 签到天数: 91 天

    [LV.6]常住居民II

    33

    主题

    282

    回帖

    4万

    积分

    版主

    新的一天 , 新的难过

    Rank: 10Rank: 10Rank: 10

    积分
    40688

    灌水大神章笑傲江湖章QQ 章翰林院专用章管理组专用章小蜜蜂章

    QQ
    14
     楼主| 发表于 2018-4-23 11:05:54 | 只看该作者
    hooliganstreet 发表于 2018-4-23 10:58
    可能是同时请求的太多了

    好的,看来还是urban网站做了限制,先全部抓取完成再看看有没其他解决方案,

    谢谢!
  • TA的每日心情
    开心
    3 天前
  • 签到天数: 72 天

    [LV.6]常住居民II

    45

    主题

    182

    回帖

    2726

    积分

    解元

    Rank: 5Rank: 5

    积分
    2726
    15
    发表于 2018-4-23 11:52:58 | 只看该作者
    garypang 发表于 2018-4-23 11:05
    好的,看来还是urban网站做了限制,先全部抓取完成再看看有没其他解决方案,

    谢谢! ...

    只好多爬几次了
  • TA的每日心情
    慵懒
    2018-8-25 12:29
  • 签到天数: 91 天

    [LV.6]常住居民II

    33

    主题

    282

    回帖

    4万

    积分

    版主

    新的一天 , 新的难过

    Rank: 10Rank: 10Rank: 10

    积分
    40688

    灌水大神章笑傲江湖章QQ 章翰林院专用章管理组专用章小蜜蜂章

    QQ
    16
     楼主| 发表于 2018-5-3 11:35:18 | 只看该作者

    不知道楼主进度如何了,哈哈,
  • TA的每日心情
    开心
    3 天前
  • 签到天数: 72 天

    [LV.6]常住居民II

    45

    主题

    182

    回帖

    2726

    积分

    解元

    Rank: 5Rank: 5

    积分
    2726
    17
    发表于 2018-5-3 13:36:50 | 只看该作者
    garypang 发表于 2018-5-3 11:35
    不知道楼主进度如何了,哈哈,

    试了好几次了,觉得网站可能对请求数做了限制,因此改为单线程继续抓取,已经好几天了。

    评分

    1

    查看全部评分

  • TA的每日心情
    开心
    3 天前
  • 签到天数: 72 天

    [LV.6]常住居民II

    45

    主题

    182

    回帖

    2726

    积分

    解元

    Rank: 5Rank: 5

    积分
    2726
    18
    发表于 2018-5-3 13:38:59 | 只看该作者
    上午c盘没空间了,换了个盘,继续。已经抓取535M,比我用的是300多M,看了网站又更新了不少

    评分

    1

    查看全部评分

  • TA的每日心情
    慵懒
    2018-8-25 12:29
  • 签到天数: 91 天

    [LV.6]常住居民II

    33

    主题

    282

    回帖

    4万

    积分

    版主

    新的一天 , 新的难过

    Rank: 10Rank: 10Rank: 10

    积分
    40688

    灌水大神章笑傲江湖章QQ 章翰林院专用章管理组专用章小蜜蜂章

    QQ
    19
     楼主| 发表于 2018-5-3 13:47:29 | 只看该作者
    hooliganstreet 发表于 2018-5-3 13:38
    上午c盘没空间了,换了个盘,继续。已经抓取535M,比我用的是300多M,看了网站又更新了不少
    ...

    哈哈,辛苦了,看来是快要成了~
  • TA的每日心情
    开心
    3 天前
  • 签到天数: 72 天

    [LV.6]常住居民II

    45

    主题

    182

    回帖

    2726

    积分

    解元

    Rank: 5Rank: 5

    积分
    2726
    20
    发表于 2018-5-3 15:15:34 | 只看该作者
    garypang 发表于 2018-5-3 13:47
    哈哈,辛苦了,看来是快要成了~

    估计还早,我觉得一半都不到,估计至少需要半个月
  • TA的每日心情
    开心
    3 天前
  • 签到天数: 72 天

    [LV.6]常住居民II

    45

    主题

    182

    回帖

    2726

    积分

    解元

    Rank: 5Rank: 5

    积分
    2726
    21
    发表于 2018-5-15 10:31:48 | 只看该作者
    说明一下进度:已经抓取了1.03G的数据,估计还有1/3的数据没有抓取完成,最后的数据估计至少有1.5G左右。时间的话,我估计至少还需要5天以上

    评分

    2

    查看全部评分

  • TA的每日心情
    慵懒
    2018-8-25 12:29
  • 签到天数: 91 天

    [LV.6]常住居民II

    33

    主题

    282

    回帖

    4万

    积分

    版主

    新的一天 , 新的难过

    Rank: 10Rank: 10Rank: 10

    积分
    40688

    灌水大神章笑傲江湖章QQ 章翰林院专用章管理组专用章小蜜蜂章

    QQ
    22
     楼主| 发表于 2018-5-15 10:38:33 | 只看该作者
    hooliganstreet 发表于 2018-5-15 10:31
    说明一下进度:已经抓取了1.03G的数据,估计还有1/3的数据没有抓取完成,最后的数据估计至少有1.5G左右。时 ...

    哈哈,辛苦啦! 不急,我目前暂时用在线版用着也还不错,https://www.pdawiki.com/forum/fo ... hread&tid=26863
  • TA的每日心情
    慵懒
    2018-8-25 12:29
  • 签到天数: 91 天

    [LV.6]常住居民II

    33

    主题

    282

    回帖

    4万

    积分

    版主

    新的一天 , 新的难过

    Rank: 10Rank: 10Rank: 10

    积分
    40688

    灌水大神章笑傲江湖章QQ 章翰林院专用章管理组专用章小蜜蜂章

    QQ
    23
     楼主| 发表于 2018-6-1 17:34:21 | 只看该作者
    hooliganstreet 发表于 2018-6-1 17:28
    终于完成了,共1.7G,压缩后279M,见附件

    感谢!!!,付出这么多时间和精力,实在辛苦了,迫不及待试用先!
  • TA的每日心情
    慵懒
    2018-8-25 12:29
  • 签到天数: 91 天

    [LV.6]常住居民II

    33

    主题

    282

    回帖

    4万

    积分

    版主

    新的一天 , 新的难过

    Rank: 10Rank: 10Rank: 10

    积分
    40688

    灌水大神章笑傲江湖章QQ 章翰林院专用章管理组专用章小蜜蜂章

    QQ
    24
     楼主| 发表于 2018-6-1 19:40:11 | 只看该作者
    本帖最后由 garypang 于 2018-6-1 20:09 编辑
    hooliganstreet 发表于 2018-4-18 10:22
    终于完成了,共1.7G,压缩后279M,见附件



    初步测试了下, 存在少量词缺失,比如 adorbs, giant

      已打包排版好,
    您去资源区发帖分享给大家哈,

    链接: https://pan.baidu.com/s/1e6yw2gOpcA137q7TRiqa0Q 密码: gang

    评分

    1

    查看全部评分

  • TA的每日心情
    开心
    3 天前
  • 签到天数: 72 天

    [LV.6]常住居民II

    45

    主题

    182

    回帖

    2726

    积分

    解元

    Rank: 5Rank: 5

    积分
    2726
    25
    发表于 2018-6-2 16:21:56 | 只看该作者
    garypang 发表于 2018-6-1 19:40
    初步测试了下, 存在少量词缺失,比如 adorbs, giant

      已打包排版好,

    版主去分享吧,缺失的部分我有时间看看