[3.13]最大口语词频排名-基于IMDB影视库字幕6亿单词

garypang · 发表于 2019-3-11 16:50:15

本帖最后由 garypang 于 2019-4-12 17:48 编辑

自己统计的，目前最大的口语词频库基于IMDB影视库10W字幕共6亿单词统计而来，是 The TV Corpus 的1.5倍

数据已整合至 多功能百宝箱词典 - The little dict

更新：1.优化源数据，以及部分规则
2.所统计词中增加词中含有特殊字符-/&的单词，且'允许出现在词尾

没有做人工筛选，可能出现个别词排名不合理的情况，一般是名字，地名中的某个词，或者字幕中特有的词，如无障碍词，使用过程中请自行剔除

所做处理：

行去重

去除字幕中用于无障碍的词如：murmuring，chanting，gibbering，cackles, etc. 可能有遗漏

只统计2个字母以上的单词，过滤所有数字

复数，过去式，过去分词等都做了还原成原型处理后都算在原型里，不单独参与排名,规则来源 https://lexically.net/downloads/BNC_lemmafile10.txt

基于最常见的的1W英文名做了英文名过滤，可能还存在个别遗漏的名字参与了排名,有些可做人名的常用词可能被误去除.

请勿私下传播

前1-35000 售价500米下载所需权限:80：

本帖隐藏的内容

Word list.zip (393.99 KB, 下载次数: 258, 售价: 500 粒米)

VimVim · 发表于 2019-3-12 09:06:46

部分lemma的处理有点问题，如：
379 I 205440 mine[191640] mined[1011] mines[7544] mining[5245]

BNC_lemmafile10的对应规则是：
I -> IS,ME,MINE,MY
MINE -> MINED,MINES,MINING

因此，mined[1011] mines[7544] mining[5245] 只能归结为mine，但不能归结为I；当然mine是保持原型还是I，这是个难题。

世纪末的风 · 发表于 2020-2-5 16:00:40

谢谢分享

MathildaMeow · 发表于 2020-12-10 12:16:25

提示: 该帖被管理员或版主屏蔽

BAT2018 · 发表于 2019-3-11 16:56:34

这个厉害了！楼主作品大赞啊！

msmypda · 发表于 2019-3-11 16:57:27

这个做出来会很有效果的。

喬治兄 · 发表于 2019-3-11 17:06:33

謝謝 garypang 兄的發現與創作.......讚

sabrina2111 · 发表于 2019-3-11 17:06:44

看看是什么宝贝？谢谢

perfquan · 发表于 2019-3-11 17:08:02

谢谢分享，赶紧体验一下！

Nobodycaresme · 发表于 2019-3-11 17:10:24

觉得可以扔下COCA了？试试看！谢谢分享！

doudou0818 · 发表于 2019-3-11 17:19:54

楼主辛苦谢谢分享

lymnet · 发表于 2019-3-11 17:26:30

来看看楼主的大作，谢谢分享

jonah_w · 发表于 2019-3-11 17:27:24

这个规则文件不错的，一直在找类似的东西… 可以基于这个优化几乎所有的现有词典…

liuyunrushui · 发表于 2019-3-11 17:42:24

感谢楼主大神！

太棒了！

oversky · 发表于 2019-3-11 17:42:52

You 在 BNC 只排第 15 ，没想到在口语中竟然比 the 高。

dfsfd · 发表于 2019-3-11 17:44:23

太感谢了，几天又出了一部一个重磅

jm2018 · 发表于 2019-3-11 17:55:20

这个词频很实用，感谢老大制作。

chunchun123 · 发表于 2019-3-11 18:04:05

最近g大出了两个新作啦，谢谢分享

Japhet · 发表于 2019-3-11 18:10:27

今天最大的礼物。

Life1997 · 发表于 2019-3-11 18:15:18

大赞，支持楼主~

鄉村大神 · 发表于 2019-3-11 18:23:02

感謝樓主無私的分享喔，口語詞頻非常有用，謝謝了！

498018591 · 发表于 2019-3-11 18:28:15

哇，谢谢g大分享。

duancj · 发表于 2019-3-11 18:28:40

感谢楼主制作和分享

pad · 发表于 2019-3-11 18:43:03

感谢辛苦制作分享

言叶之庭 · 发表于 2019-3-11 19:07:08

又是一部惊世之作。

[词汇] [3.13]最大口语词频排名-基于IMDB影视库字幕6亿单词

本帖隐藏的内容

评分

本帖被以下淘专辑推荐: