为什么 tsiank 版比 bt4baidu 版词条数多？

Oeasy · 发表于 2015-9-17 07:34:39

首先要感谢 tsiank 和 bt4baidu 两位的精彩作品。
这里 https://pdawiki.com/forum/forum. ... &fromuid=147948
坛友提到

这个dictionary和thesaurus的词条数加起来为什么只有12万多？我对比了tsiank基于premium的移动版制作的dictionary，光这个dictionary就有15万多，那个thesaurus有4万多。

我也好奇地研究了下。
[数据来自 http://www.merriam-webster.com/ 2015] bt4baidu [英-英] 【合集】MərrïamーWeßstër's Super Deluxe Bundle, 2015 https://pdawiki.com/forum/forum.php?mod=viewthread&tid=14138
[数据来自 Android APP ] tsiank [英-英] [0520updated]ODE2015 and MW2014 https://pdawiki.com/forum/forum.php?mod=viewthread&tid=13665 [Merriam-Webster's Collegiate Dictionary and theasaurus 2014 based on M-W-Dictionary-Premium v.3.1.1.apk]
Dictionary + Thesaurus
tsiank 版 keywords 数目去重后是 155607 。
bt4baidu 版 keywords 数目去重后是 120417 。

原因其实很简单，tsiank 版本提取自 APP ，keywords 包含了构词法，比如单复数、比较级、过去式完成时等，还有特殊字符转为一般字符方便查询的情况。
bt4baidu 版本则来自在线版本，keywords 来自 http://www.merriam-webster.com/browse/dictionary/a.htm ，并没有包含上述各类变形情况。
比如，查 books 、 booked ， tsiank 版给出 book 的内容，而 bt4baidu 版则没有结果。
但是，查 cowy、 crampy , tsiank 版则没有结果， bt4baidu 版给出 cow、cramp 条。
也就是说， bt4baidu 的词头索引 keywords 是包含了 derivatives 但没有包含 inflections ，而 tsiank 版包含了 inflections 却没有包含 derivatives 。
附上 keywords 。

kw.zip (1.02 MB, 下载次数: 86)

bt4baidu · 发表于 2015-9-17 09:25:04

大韦合并不同词性后，真实词条数是91224，提取28000多Link后达到12万
根据本人制作一系列词典时的统计数据：
现代英语，不算各种变形、派生，也不算专业词汇，单词数为9~10万，如果再去掉地名、人名、百科等专有词汇，大约8万上下。主流的大学级别词典MWC、AHD、WNWCD、ODE等都是这个水平
超过这个数的，多出来的部分基本上都是用单复数、派生词、词组搭配等充数的
这8万词里面，最经常用到的不超过4万，也就是advanced leaner's词典的水平。这部分词最核心，变形、派生也最多，所以主流高阶词典大体上都是6万左右的词头=4万左右的原词+2万多变形、派生

可以说，非专业文章里出现的词汇，包括Time这样以用词艰深闻名的，一部advanced leaner词典就可以覆盖九成以上，不信可以拿朗文5试一试

足本词典，动辄20万、30万，收了很多“之乎者也”式的古词，最近50年出版的所有报章书籍加起来可能也出现不了几次

词典编纂这行，尤其是英文词典，现在已经进化得很科技了，每家都有巨大的语料库，完全不用担心“漏词/不够用”

tonyone · 发表于 2017-1-19 00:09:13

bt4baidu 发表于 2015-9-17 09:25
大韦合并不同词性后，真实词条数是91224，提取28000多Link后达到12万
根据本人制作一系列词典时的统计数据 ...

竟然现在才看到15年留言。。恨晚。。想请教词汇量从25k（testyourvocab上测的）提升到4w有什么好的途径吗？目前不排斥背词汇书（之前背过gre词汇的福荫吧。。。），虽不知能否行动并坚持下来。。还是只能靠阅读？
个人背词儿的动力可能就是来自阅读时无生词的畅快&以及偶有的能显摆时的别人那小惊讶的神情——我去这么牛这都认识：）有些低趣味，但渴望成长哈~
望回复。

zhu1234 · 发表于 2015-9-17 08:15:43

研究有深度、有厚度、有速度。

woaini123 · 发表于 2015-9-17 08:23:12

O大果然细心

woaini123 · 发表于 2015-9-17 08:31:45

不知道bt4baidu版有没有漏词条呢？韦氏大学dictionary加thesaurus（词条中还包括衍生词）真的只有12万？这样算起来的话，估计“大红”总词条数不超过10万，是不是同量级的词典中除韦氏新世界之外词条数最少的？好像新牛津、柯林斯、兰登韦氏、美国传统5都多于这个数量吧？

belleyeah · 发表于 2015-9-17 10:46:14

一般来说，COCA 6万词就囊括了母语人士的方方面面，这6万还包括了词性、变形等重复的情况。估计有效的就是bt4baidu说的：不超过4万。所以我最常用的就是COCA＋MW联合模式。超过COCA60000的基本不看。

woaini123 · 发表于 2015-9-17 12:46:39

基本同意大神观点，高阶词典对于新闻报刊杂志之类的词汇量覆盖是基本够用的，但是词义的解释方面往往不地道准确，毕竟是面向学习者，以便于理解的简白解释为主，而且由于解释词汇所限，有时候词义很绕很模糊。在面对专业性、行业性的资料（如网站上的宣传资料、客户内部专业资料等），尤其是IT、汽车等高速发展行业，往往会遇到很多jargon、很多隐喻或者简略性的说法，这时候ODE、兰登韦氏加WBD、AHD最能派上用场，必要时还需要借助维基百科或维基英文，对不同行业的用法覆盖更广、更全面。

woaini123 · 发表于 2015-9-17 12:48:59

belleyeah 发表于 2015-9-17 10:46
一般来说，COCA 6万词就囊括了母语人士的方方面面，这6万还包括了词性、变形等重复的情况。估计有效的就是b ...

COCA指的哪部词典？

cracode · 发表于 2015-9-17 13:04:08

woaini123 发表于 2015-9-17 12:48
COCA指的哪部词典？

Corpus of Contemporary American

pollow · 发表于 2015-10-1 15:25:53

版主耐心赞一个！！！！

guomian · 发表于 2015-10-31 18:02:22

虽然短短几行，但是研究复杂，楼主很有耐心啊~

tiaffftia · 发表于 2015-11-12 17:20:35

谢谢O大，明白啦~选择适合自己的下载

tz0004 · 发表于 2015-11-18 20:04:25

版主耐心赞一个！！！！

无限风光 · 发表于 2016-1-1 10:31:29

感谢楼主的辛勤劳动！

wudehai · 发表于 2016-2-22 15:36:56

这还真是体力活，需要下点功夫才能比对。

xmcblood · 发表于 2016-3-22 20:38:25

多谢楼主的资源！

灰色蜗牛 · 发表于 2016-7-29 10:57:29

楼主真有考据精神

Littlebush · 发表于 2016-7-29 23:05:46

我咋感觉高阶词典对付主流点的报刊是很不够用的？例如NYT WSJ（这个好点），economist，the Atlantic，new Yorker等，不少时候college这个级别的都不是很够，big word很多

kawsy · 发表于 2016-8-24 19:08:01

感觉好腻害的样子啊 O大威武

逆行者 · 发表于 2016-10-12 21:59:38

很有意义的交流。

bobonana · 发表于 2016-11-1 10:22:18

感谢奉献精品

suyi_88 · 发表于 2017-1-11 20:10:59

那到底用哪个版本好呢

[词典求助] 为什么 tsiank 版比 bt4baidu 版词条数多？