查看: 31731|回复: 723
打印 上一主题 下一主题

[英英] [2019/8/18全网首发] urbandictionary.com城市俚语词典 完美版

  [复制链接]
  • TA的每日心情
    开心
    2022-9-21 16:52
  • 签到天数: 821 天

    [LV.10]以坛为家III

    3

    主题

    1376

    回帖

    1万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    11511
    跳转到指定楼层
    1
    发表于 2019-8-19 15:11:51 | 只看该作者 |只看大图 回帖奖励 |倒序浏览 |阅读模式
    记录付费主题, 价格: 100 粒米
    本帖最后由 scmeiqy 于 2019-8-21 17:36 编辑
    一、致谢:
    1.感谢@imfirefly
    抓取所用Python源码来源于[at]imfirefly[/at]  https://www.pdawiki.com/forum/forum.php?mod=viewthread&tid=13941 略作修改  
    2.感谢@garypang
    CSS文件,来源于[at]garypang[/at]  https://www.pdawiki.com/forum/forum.php?mod=viewthread&tid=28101  略作修改

    二、词典制作信息:
    1.MDX打包信息
    Begining loading source file...
    Done
    Time used for this section: 182 seconds
    Sorting dictionary...
    Done!
    Begin processing index...
    Done!
    Original index size = 38821KB, compressed size = 17237KB, compression ratio = 44%
    Time used for this section: 7 seconds
    Begin processing data contents...
    Done!
    Original text size = 7399860KB, compressed size = 1419682KB, compression ratio = 19%
    Time used for this section: 878 seconds
    Number of entries: 1985713
    Conversion succeed!
    2.制作过程记录
    1) 两台机器,24小时不间断,前后共历时一月有余,困难在于抓取过程中,满版的返回:429,10054
    2) wordlist,首次产生于:2019.07.26 21:04;2019.08.18上午,在内容抓取完成后,又进行了一次wordlist的抓取。
    3) 根据两次wordlist词条及数目:1,976,998,1,984,386,进行了对比,发现多处发生了变化,取重要的8882条,又进行了增补抓取。
    4) 其中词条释义为空的数目为:166+1=167条。
    5) 总词条数目为:(1,976,998-166)+(8882-1)=1,985,713。
    6) 总词条数居然比20190818的wordlist词条数多出:1,985,713-1,984,386=1327。
    7) wordlist来自于www.urbandictionary.com;词条释义及例句等来自于:api.urbandictionary.com。
    3.堪称完美版
    理由上一步已叙述。
    基于上步第7条制作的urbandictionary,据其词条内容完整性、词条数目完整性来说,后来者,只能模仿并无限接近,不可能超越!!
    4.欢迎对CSS改版,但不欢迎改动MDX文件!!也不欢迎转载!!!
    mdx内容,本身文档结构简单,能精简的,几乎精简到极致!
    比如:为了节省空间:Class的类名,我全部重新规划成了两个字符!这个一看CSS文档就明白了。
    三、图片展示:











    四、这部词典不能镇宅,更不能镇手持移动设备,如果嫌米粒收得太多,就别下载了。
    上面给出链接中有免费版的。
    五、下载链接及解压密码:





    本帖隐藏的内容




    链接:https://pan.baidu.com/s/13OlpVtePPwJR-iO56GoztQ



    提取码:hfq3



    解压密码:
    qepyr[*^%$##@@)(^%$$afzvcxbv,{}asdf


    评分

    24

    查看全部评分

    本帖被以下淘专辑推荐:

  • TA的每日心情
    开心
    2021-1-14 12:30
  • 签到天数: 450 天

    [LV.9]以坛为家II

    4

    主题

    1197

    回帖

    8万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    81433

    笑傲江湖章灌水大神章

    推荐
    发表于 2019-8-19 15:22:07 | 只看该作者
    感谢分享!50米不多啊。建议300米。

    点评

    慎下残次品。好多词下面10个解释中只有一两个正确,其它为衍生词解释。你每查一个,还要花时间看例句检查解释正确否。直接弃。但谢楼主花时间。  发表于 2019-8-25 07:23
    你有权限帮我改么?我最高只能设置50。谢谢!  发表于 2019-8-19 15:23
  • TA的每日心情
    开心
    2022-9-21 16:52
  • 签到天数: 821 天

    [LV.10]以坛为家III

    3

    主题

    1376

    回帖

    1万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    11511
    推荐
     楼主| 发表于 2019-8-22 18:40:39 | 只看该作者
    woaini123 发表于 2019-8-22 15:49
    今天查词发现一个问题:

    查 eyeshadow 的解释和官网不一致。2018 年的版本跟官网一致,对比了一些词条解释 ...

    下午4点多,回复敲了一半,结果断电了…………
    现在重新再来:
    首先非常感谢您抽出时间来反馈!

    我查了您提出问题:
    1、根据
    https://www.urbandictionary.com/define.php?term=eyeshadow
    的返回,的确如您最上面的截图。
    2、根据
    http://api.urbandictionary.com/v0/define?term=eyeshadow
    的返回,也的确如您最下面的截图。
    3、本次制作,我认真翻看了前辈们的经验,最后为了求全,
    采用的策略是:
    http://api.urbandictionary.com/v0/define?term=
    的返回,不加取舍,全部采信。
    4、我本来以为,对少于10条释义的词条,其api接口10条返回一定会包括网站正文www返回的内容!
    当时,抽样了几条,也的确如此,就没有再仔细深究下去。
    5、现在看来,api接口的返回质量,还不如一年前的返回质量哈。(当然,这个结论是假设了2018年版也没采用www接口取值)。
    一年前,至少网站正文的3条内容,还在其返回值中;而这次,api接口返回值中,只有第一条是网站正文内容,还有两条都不见了!
    6、如此看来,这类问题很多的话,就越证明api接口的质量不可靠了。
    7、有空,可以看看我在50楼的回复。或许下一版的制作,连api接口都不能采信了!
  • TA的每日心情

    昨天 00:54
  • 签到天数: 344 天

    [LV.8]以坛为家I

    1

    主题

    700

    回帖

    1万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    12761
    推荐
    发表于 2019-8-19 23:54:40 | 只看该作者
    本帖最后由 mtaa 于 2019-8-19 23:57 编辑

    api有关键字word,会指出这属于哪个词条。api里tasteful的第一条释义里"word":"tasteful",第二条释义里"word":"TAST",第三条释义里"word":"Tasting"。每条释义都有这个word关键字,可以用这个区分。

  • TA的每日心情
    开心
    2022-9-21 16:52
  • 签到天数: 821 天

    [LV.10]以坛为家III

    3

    主题

    1376

    回帖

    1万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    11511
    推荐
     楼主| 发表于 2019-8-19 20:09:55 | 只看该作者
    本帖最后由 scmeiqy 于 2019-8-20 11:22 编辑
    mtaa 发表于 2019-8-19 19:44
    发现个很严重的问题,就是没有提取。比如你查"tasteful”,实际只有第一条释义是属于解释tasteful的,而之 ...

    关于您指出的这个问题:
    您可以试试这个:
    http://api.urbandictionary.com/v0/define?term=tasteful
    https://api.urbandictionary.com/v0/define?term=tasteful

    其返回内容,同于我给出的----您展示的图片内容.

    而不是我杜撰,或者制作不严谨发生的词条粘连!
    我没有判断json数据中词条是否与请求的词条内容完全一致,而是默认了网站返回是对的。

    关于这个问题,的确是一个问题!
    我查了网站正文内容:
    https://www.urbandictionary.com/define.php?term=tasteful
    的确只有一条解释!

    但是:粗略翻看了一下,估计词条内容少于10条的应该是少数。所以……

    加入这个判断本身不难,难在找出哪些词条的释义少于10条!

    另外:
    我随手抽取了一条
    http://api.urbandictionary.com/v0/define?term=X%20Sexual
    https://www.urbandictionary.com/define.php?term=X%20Sexual

    前一个的返回中,只有一条包含:
    "word":"X Sexual"如果对比关键词的话,就只会保留一条。舍弃9条。
    后一个的返回中,就有三条。
    这就存在一个取舍的问题,如何权衡?

    如果基于https://www.urbandictionary.com/define.php?term=?来制作,不是不行!但是:有很多词条大大超出10条释义,为了取前10条,如何解决排序问题?甚至有个别词条多达几十页,更没法整!!


    所以:我的初步结论:
    套用某名人的话:
    女士们先生们,喜欢这部词典,连同它的瑕疵,因为所有的方案都是会有瑕疵的。



    ——除非您能给出没有瑕疵的方案!



    点评

    如果把“不欢迎改动MDX文件!!也不欢迎转载!”去除,或许有人可以修改出来。  发表于 2019-8-26 13:39

    评分

    1

    查看全部评分

  • TA的每日心情
    擦汗
    2020-5-3 14:27
  • 签到天数: 3 天

    [LV.2]偶尔看看I

    0

    主题

    14

    回帖

    67

    积分

    白身

    Rank: 1

    积分
    67
    推荐
    发表于 2020-3-25 23:14:25 | 只看该作者
    同样现实mdx文件损坏,希望s兄有时间能查看一下。

    微信截图_20200325231337.png (14.72 KB, 下载次数: 0)

    微信截图_20200325231337.png
  • TA的每日心情
    郁闷
    2022-11-24 07:44
  • 签到天数: 28 天

    [LV.4]偶尔看看III

    0

    主题

    98

    回帖

    1420

    积分

    解元

    Rank: 5Rank: 5

    积分
    1420
    推荐
    发表于 2020-3-24 18:36:14 | 只看该作者
    mdx文件已损坏,解压不成功。感谢lz辛勤劳动,方便时麻烦查看下吧,非常感谢:)

    点评

    目前还没有其他人说这个问题.你先检查一下吧.  发表于 2020-3-25 10:03
  • TA的每日心情
    开心
    2022-9-21 16:52
  • 签到天数: 821 天

    [LV.10]以坛为家III

    3

    主题

    1376

    回帖

    1万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    11511
    推荐
     楼主| 发表于 2019-8-20 14:39:58 | 只看该作者
    本帖最后由 scmeiqy 于 2019-8-20 14:42 编辑
    Howard345 发表于 2019-8-20 12:49
    首先对楼主制作词典花费的巨大时间和精力表示钦佩,并感谢您的分享。
    然后想提一个小问题,楼主是不是限定 ...

    是基于
    http://api.urbandictionary.com/v0/define?term=grey%27s%20anatomy
    制作的.
    这个接口,最多返回10条记录.

    不知道这个接口到底是如何运转的.


  • TA的每日心情
    奋斗
    2022-6-23 03:47
  • 签到天数: 774 天

    [LV.10]以坛为家III

    8

    主题

    1441

    回帖

    1万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    12073

    QQ 章

    推荐
    发表于 2019-8-20 12:49:40 | 只看该作者
    本帖最后由 Howard345 于 2019-8-20 12:55 编辑

    首先对楼主制作词典花费的巨大时间和精力表示钦佩,并感谢您的分享。
    然后想提一个小问题,楼主是不是限定了所有的词条解释不超过10呀,比如我查grey's anatomy,网站上面有3页共20条,对比了楼主的词典,也并不完全是按网站的顺序提取前10条(取网站的1-5和7-11条)。
  • TA的每日心情
    奋斗
    2020-11-29 09:19
  • 签到天数: 435 天

    [LV.9]以坛为家II

    15

    主题

    487

    回帖

    9198

    积分

    进士

    Rank: 8Rank: 8

    积分
    9198

    笑傲江湖章灌水大神章推广专家

    推荐
    发表于 2019-8-19 16:45:31 | 只看该作者
    感谢分享。Danke
  • TA的每日心情
    开心
    2022-9-21 16:52
  • 签到天数: 821 天

    [LV.10]以坛为家III

    3

    主题

    1376

    回帖

    1万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    11511
    推荐
     楼主| 发表于 2019-8-19 16:19:28 | 只看该作者
    关于第1楼,最后两张图片:
    是同样这部词典的另一个版本。类似于网页上有很多内部跳转链接。

    就加了一个功能,居然多了足足2个多G!!!
    所以,别小看几个字符的简单重复,当重复到千万次以上,产生的效应有多大!!!
  • TA的每日心情
    开心
    2022-9-21 16:52
  • 签到天数: 821 天

    [LV.10]以坛为家III

    3

    主题

    1376

    回帖

    1万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    11511
    2
     楼主| 发表于 2019-8-19 15:22:01 | 只看该作者
    求助版主大人哈,怎么最高只能设置
    50
    米粒?

    其他人不是可以设置500米粒么?
    这个也有权限设置?
  • TA的每日心情
    慵懒
    2020-4-10 13:19
  • 签到天数: 269 天

    [LV.8]以坛为家I

    16

    主题

    897

    回帖

    1万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    13141

    QQ 章

    4
    发表于 2019-8-19 15:22:59 | 只看该作者
    感谢分享制作词典

    该用户从未签到

    539

    主题

    3046

    回帖

    25万

    积分

    翰林院编修

    Rank: 11Rank: 11Rank: 11Rank: 11

    积分
    251286

    翰林院专用章灌水大神章笑傲江湖章小蜜蜂章管理组专用章

    5
    发表于 2019-8-19 15:24:58 | 只看该作者
    最新数据,排版好看……

    楼主缺米就说!鼓励原创
  • TA的每日心情
    奋斗
    12 小时前
  • 签到天数: 1625 天

    [LV.Master]伴坛终老

    73

    主题

    4466

    回帖

    6万

    积分

    翰林院孔目

    Rank: 10Rank: 10Rank: 10

    积分
    60587

    灌水大神章小蜜蜂章笑傲江湖章翰林院专用章管理组专用章

    6
    发表于 2019-8-19 15:25:50 | 只看该作者
    谢谢scmeiqy的好资源!!!
  • TA的每日心情
    开心
    12 小时前
  • 签到天数: 1059 天

    [LV.10]以坛为家III

    7

    主题

    2431

    回帖

    5万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    54185

    笑傲江湖章灌水大神章

    7
    发表于 2019-8-19 15:26:14 | 只看该作者
    挺不错的  谢谢分享。
  • TA的每日心情
    慵懒
    2022-10-27 16:11
  • 签到天数: 326 天

    [LV.8]以坛为家I

    130

    主题

    3638

    回帖

    2万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    20089

    灌水大神章小蜜蜂章笑傲江湖章

    8
    发表于 2019-8-19 15:29:36 | 只看该作者
    感谢楼主制作最新城市俚语,这个解压密码是?

    点评

    稍等,我在等待版主大人帮我改售卖米粒数。  发表于 2019-8-19 15:32
  • TA的每日心情
    慵懒
    2020-4-10 13:19
  • 签到天数: 269 天

    [LV.8]以坛为家I

    16

    主题

    897

    回帖

    1万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    13141

    QQ 章

    9
    发表于 2019-8-19 15:30:37 | 只看该作者
    您好,这个解压密码是什么呢?只看到了提取码啊

    点评

    稍等,我在等待版主大人帮我改售卖米粒数。  发表于 2019-8-19 15:34
  • TA的每日心情
    慵懒
    2020-4-10 13:19
  • 签到天数: 269 天

    [LV.8]以坛为家I

    16

    主题

    897

    回帖

    1万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    13141

    QQ 章

    10
    发表于 2019-8-19 15:35:04 | 只看该作者
    我爱深蓝 发表于 2019-8-19 15:30
    您好,这个解压密码是什么呢?只看到了提取码啊

    好的,没问题,感谢辛苦制作词典
  • TA的每日心情
    开心
    2019-12-22 15:23
  • 签到天数: 188 天

    [LV.7]常住居民III

    3

    主题

    720

    回帖

    2万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    23008

    QQ 章

    11
    发表于 2019-8-19 15:37:52 | 只看该作者
    我转5000米给楼主。非常感谢,这么辛苦。词典又这么完美。

    点评

    对大佬们来说,米粒都是浮云!此浮云非彼浮云!  发表于 2019-8-19 15:44
    哈哈,感谢哈!我本来想收500米粒的哈。但是最高只能50!!!  发表于 2019-8-19 15:43
  • TA的每日心情
    开心
    2019-12-17 15:32
  • 签到天数: 384 天

    [LV.9]以坛为家II

    0

    主题

    629

    回帖

    1万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    17944

    QQ 章

    12
    发表于 2019-8-19 15:40:47 | 只看该作者
    感谢制作,赞一个。190w词头啊。
  • TA的每日心情
    开心
    2019-12-22 15:23
  • 签到天数: 188 天

    [LV.7]常住居民III

    3

    主题

    720

    回帖

    2万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    23008

    QQ 章

    13
    发表于 2019-8-19 15:45:18 | 只看该作者
    linzi 发表于 2019-8-19 15:37
    我转5000米给楼主。非常感谢,这么辛苦。词典又这么完美。

    已转5000,请查收.更感谢楼主。

    点评

    非常感谢!收到。正等米下锅!!!  发表于 2019-8-19 15:50
  • TA的每日心情
    开心
    8 小时前
  • 签到天数: 1696 天

    [LV.Master]伴坛终老

    3

    主题

    2806

    回帖

    7万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    72567
    14
    发表于 2019-8-19 15:46:19 | 只看该作者
    Thanks for your wonderful sharing!
  • TA的每日心情
    开心
    2020-4-12 13:04
  • 签到天数: 453 天

    [LV.9]以坛为家II

    41

    主题

    2084

    回帖

    3万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    36418

    灌水大神章QQ 章笑傲江湖章

    15
    发表于 2019-8-19 15:48:42 | 只看该作者
    是否会考虑也罢Vocabulary.com和Dictionary.com也重新抓取制作呢.

    点评

    留给其它人们去做吧!!!  发表于 2019-8-19 15:56
  • TA的每日心情
    慵懒
    2021-11-4 14:19
  • 签到天数: 395 天

    [LV.9]以坛为家II

    41

    主题

    1527

    回帖

    1万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    12565

    笑傲江湖章推广专家灌水大神章

    16
    发表于 2019-8-19 15:52:55 | 只看该作者
    厉害了,新数据新排版
  • TA的每日心情
    开心
    2022-9-21 16:52
  • 签到天数: 821 天

    [LV.10]以坛为家III

    3

    主题

    1376

    回帖

    1万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    11511
    17
     楼主| 发表于 2019-8-19 15:55:06 | 只看该作者
    楼上诸位大佬们,首先非常感谢你们的慷慨!!

    解压密码,请至原贴取哈!!————另起一行,是为了复制产生前后空格!!!
    注意:前后无空格!!!

    整了半天,都没改成了。先这样算了吧!!

  • TA的每日心情
    开心
    2020-4-12 13:04
  • 签到天数: 453 天

    [LV.9]以坛为家II

    41

    主题

    2084

    回帖

    3万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    36418

    灌水大神章QQ 章笑傲江湖章

    18
    发表于 2019-8-19 15:57:58 | 只看该作者
    xiaorenhao 发表于 2019-8-19 15:48
    是否会考虑也罢Vocabulary.com和Dictionary.com也重新抓取制作呢.

    哈哈。谢谢大佬回复。
  • TA的每日心情
    慵懒
    2022-10-27 16:11
  • 签到天数: 326 天

    [LV.8]以坛为家I

    130

    主题

    3638

    回帖

    2万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    20089

    灌水大神章小蜜蜂章笑傲江湖章

    19
    发表于 2019-8-19 16:07:37 | 只看该作者
    scmeiqy 发表于 2019-8-19 15:55
    楼上诸位大佬们,首先非常感谢你们的慷慨!!

    解压密码,请至原贴取哈!!————另起一行,是为了复制产 ...

    想问下楼主,这个文件体积为什么比 2018 版的urban dictionary大这么多,18版的mdx文件只有400多M,这个是1.3G。
  • TA的每日心情
    开心
    2022-9-21 16:52
  • 签到天数: 821 天

    [LV.10]以坛为家III

    3

    主题

    1376

    回帖

    1万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    11511
    20
     楼主| 发表于 2019-8-19 16:09:20 | 只看该作者
    本帖最后由 scmeiqy 于 2019-8-19 16:12 编辑
    woaini123 发表于 2019-8-19 16:07
    想问下楼主,这个文件体积为什么比 2018 版的urban dictionary大这么多,18版的mdx文件只有400多M,这个 ...

    对于这个问题:
    不想作过多回复哈!

    我能解释的是:可能Win7系统对utf-8格式txt文件,太Fat了???

    制作信息中已给出了原始txt文件大小:
    Original text size = 7399860KB

  • TA的每日心情
    慵懒
    2022-10-27 16:11
  • 签到天数: 326 天

    [LV.8]以坛为家I

    130

    主题

    3638

    回帖

    2万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    20089

    灌水大神章小蜜蜂章笑傲江湖章

    21
    发表于 2019-8-19 16:10:33 | 只看该作者
    scmeiqy 发表于 2019-8-19 16:09
    对于这个问题:
    不想作过多回复哈!

    哦,谢谢回复!!
  • TA的每日心情

    2022-3-20 21:35
  • 签到天数: 148 天

    [LV.7]常住居民III

    2

    主题

    419

    回帖

    3709

    积分

    贡士

    Rank: 6Rank: 6

    积分
    3709

    QQ 章

    22
    发表于 2019-8-19 16:18:10 | 只看该作者
    楼主腻害了 ,感谢分享呦
    bbs 该用户已被删除
    25
    发表于 2019-8-19 16:47:35 | 只看该作者
    scmeiqy 发表于 2019-8-19 15:22
    求助版主大人哈,怎么最高只能设置
    50
    米粒?

    跟你等级有关吧。多多评分加米一样的。整体排版挺好的,只是红配黑,那个红色用浅一点的颜色会不会更好。