[2016.07.23]Urban Dictionary美国俚语词典[开源]

imfirefly · 发表于 2015-7-20 13:12:11

本帖最后由 imfirefly 于 2021-1-10 11:51 编辑

===制作说明：===
先简单介绍一下 Urban Dictionary ，：

urban dictionary中文译名为“城市词典”，是一个美国在线俚语词典，该词典收录了很多常规词典里面查不到的流行英文俚语俗语，中国的网络流行语“no zuo no die（不作死就不会死）”被收入其中，最新出现的还有“you can you up（你行你上啊）”和配套“附赠”的“no can no BB（不行就别乱喷）”等。

（出自百度百科）

之前搜过，论坛里只有一个“Urban Dictionary 7.1-20130919” ，数据不新不说了，原作者也没有提供抓取制作的工具，目前网络上也没有现成的工具可用。因此本人边学Python边做了一个抓取、排版、格式化成MDICT（Html）格式的工具，然后使用MdxBuilder处理一下即可。（在这里，同时也建议其他的词典制作者分享自己制作的词典制作工具，“授人以鱼，不如授人以渔”）

目前的排版配色参考了论坛里的Collins COBUILD，在此表示感谢！

===下载地址：===
Python源码、使用说明、Mdx+Mdd格式词典文件放在百度网盘：
链接：http://pan.baidu.com/s/1o6oqpv0
密码：zbay

===排版显示效果：===
上图：

BlueDict(Android)

Mdict(Windows)

===补充说明：===

Urban Dictionary 词条全部由来自世界各地的网友在www.urbandictionary.com编写而成，词条质量上不可能像那些知名的正式的大辞典有保证，且多为俚语、网络流行语，甚至部分单词在书面语上很平常但是在俚语/流行文化里有性暗示或4-letter words 的含义，所以个人觉得这样一部词典不太适合正式场合的学习，作为参考还行吧；
抓取时每个词条取最多10条解释和例句（部分没有编写例句），按照赞同/反对投票结果从高到低排序（和网页查询显示的排序效果一样）。对于解释为空的词条，不管有没有例句都视为不合格，该条解释和例句舍去；如果全部解释例句都不合格，该词语舍去；
本次（指的是 2015.07.20）采集单词列表使用的入口是：http://www.urbandictionary.com/browse.php?character=XXX ，由于网站本身的原因，该入口并不会囊括目前所有的词语列表，也就是说目前从该入口采集的单词会比该网站总共收录的单词要少（根据STFU抓的结果来说，大概要少20～30万左右个词汇）。这个问题本人已经反馈给网站负责人，等待修复。（感谢 STFU 指出）
词条目前尚不支持联网发音，具体原因见这里，感兴趣的朋友也可以自己摸索尝试制作离线发音库。
使用BlueDict 7.3.1以前的版本会出现部分词条页内特殊符号的锚点无法跳转甚至导致词典软件崩溃，反馈给深蓝开发者后，在7.3.1中该问题已修复。请出现问题的朋友将BlueDict升级到7.3.1及最新版本即可。
本人不保证多久会更新一次词典数据，程序源码也已经在上面的网盘里，各位可以自行研究修改、下载制作词典数据，具体请参考“说明.txt”和程序源码注释。如有bug，也欢迎留言指出、或发邮件与我联系（词典信息里有联系方式）

===更新记录：===

2015.07.20
原网站原始词条数：1419085，制作词条数：1419011，丢弃词条数： 74（词条解释例句不合格，丢弃原因见“补充说明”的第二点）
2016.07.23
原网站原始词条数：1625692，制作词条数：1617221，丢弃词条数： 8471（词条解释例句不合格，丢弃原因见“补充说明”的第二点）
注：此次尝试用 UD_wordlists_gen(UNIQUE).py 获取自1999.12.09（该网站开始录入词汇的日期）开始至今的所有词汇作为列表，所以词汇量比以前的入口（“补充说明”的第三点）要采集的多一些。

SharkW · 发表于 2015-7-20 17:40:33

谢楼主分享!不过个人觉得还是不要学习这些词语。有点旁门左道的味道。You can you up.这样的词语各大词典都不收录，已经说明了问题。

kyletruman · 发表于 2016-3-26 11:21:35

但我还是觉得擅自删里面的内容不好，城市词典网urban dictionay(www.urbandictionary.com)编写很严格(因为我以前参加过编纂，但我编写的没有通过审核)，而且相当复杂。一般公布出来的内容是通过城市词典网总编审核通过才发布出来。编纂的词条及释义对大家有用，才会得到公布。其实，有很多人都在城市词典网上编纂词条，但很多人都没通过。

eeejj · 发表于 2015-7-21 02:42:18

谢谢分享！

发现一个问题，安卓mdict联合查询模式下，Urban Dictionary在不展开时会在下面出现一行多余空白，如图：

peterdocter · 发表于 2015-7-20 13:21:03

不错，如果STFU提供了工具。。。
想一下，你还会去学习python吗？

有时候，学习是逼出来的

STFU · 发表于 2015-7-21 15:46:26

imfirefly 发表于 2015-7-21 14:30
从大部分输出的情况来看，API查询最多能输出10个解释（如果一个词语有10个以上的解释的话），并且这些解 ...

確實不錯
我以為是這個
http://api.urbandictionary.com/v0/tooltip?term=word
搞錯了
不過你用的那api他並不會自動redirect
我現在都是抓網站最後redirect的url再轉成詞

另外list你可以考慮從這裡抓
http://www.urbandictionary.com/yesterday.php
比browse那邊還要多字

至於聲音部分你可以先提取所有連結之後
再來下載變成離線版本

imfirefly · 发表于 2015-7-21 14:30:54

STFU 发表于 2015-7-21 14:06
你點評我沒法回復

為什麼要從API那邊抓呢

从大部分输出的情况来看，API查询最多能输出10个解释（如果一个词语有10个以上的解释的话），并且这些解释都是按照赞同/反对数和比例从高到低排列的，如：http://api.urbandictionary.com/v0/define?term=word

对于一个词语来说，尤其是由网友参与投票的词语解释，最多10个解释个人觉得基本已经够用了。

并且相对于抓取页面、解析这种方式，API查询能只取结果，数据量小、解析还方便、还没限制，为什么不用呢？

-----
另外，API方式输出结果里还有发音文件的链接，由于第一次做、不太懂怎么弄，我做字典文件时暂时没有加入“联网发音”……

STFU · 发表于 2015-7-21 14:06:40

你點評我沒法回復

為什麼要從API那邊抓呢
那邊只能抓第一個解釋
而且第一個解釋很多時候不是想要的答案

不過像我兩年前抓全部解釋又太多
所以這次我只抓第一頁

STFU · 发表于 2015-7-21 11:28:37

本帖最后由 STFU 于 2015-7-21 12:08 编辑

這麼巧
最近我也重寫來重製作

以前我寫的方法很爛還開一堆視窗來下載
這次寫的方法比較好點
但是耗時太長
我掛了兩天還沒下完
一開始每秒可以抓快40個字
但是後來越來越慢
每秒不到10個字

你這個總共花多久時間可以下完?

imfirefly · 发表于 2015-7-21 09:01:25

经典与古典发表于 2015-7-20 19:34
Python好学吗？怎么入门，想让初二的孩子学习。

怎么说呢，看他自己喽，这东西靠兴趣、靠需求、靠自我坚持，因为不用考试、学会了也不会有人奖励……

wwoxxoyy · 发表于 2015-7-21 04:39:29

感谢楼主无私分享。。。

tsiank · 发表于 2015-7-20 13:21:32

又一大作问世，作者辛苦

fuxy526 · 发表于 2015-7-20 13:44:50

感谢，楼主幸苦了！

liuyunrushui · 发表于 2015-7-20 13:51:08

神作！

感谢楼主！

yangxiups · 发表于 2015-7-20 14:51:11

本帖最后由 yangxiups 于 2015-7-20 14:53 编辑

astonishing!

谢谢火飞！

skydan05 · 发表于 2015-7-20 16:11:11

这个一定要谢谢！！！

kevinmzm · 发表于 2015-7-20 16:49:30

Thank you very very much!

fanziyu · 发表于 2015-7-20 17:18:46

感激和谢谢imfirefly

zhu1234 · 发表于 2015-7-20 17:41:49

楼主厉害。这个东东真好，且排版赏心悦目。

经典与古典 · 发表于 2015-7-20 19:34:30

Python好学吗？怎么入门，想让初二的孩子学习。

houbible · 发表于 2015-7-20 19:51:55

谢谢楼主分享，辛苦了。

Rjccc · 发表于 2015-7-20 20:28:31

感谢看来 HTML CSS PYTHON 是必学第三外语

dave · 发表于 2015-7-20 20:40:02

楼主辛苦，向你学习！

onlyXXenglish · 发表于 2015-7-21 03:17:56

一大早的来顶起，感谢分享

[英英] [2016.07.23]Urban Dictionary美国俚语词典[开源]

评分

本帖被以下淘专辑推荐:

点评

点评

点评

点评