查看: 21521|回复: 452
打印 上一主题 下一主题

[词汇] [3.13]最大口语词频排名-基于IMDB影视库字幕6亿单词

  [复制链接]
  • TA的每日心情
    慵懒
    2018-8-25 12:29
  • 签到天数: 91 天

    [LV.6]常住居民II

    33

    主题

    282

    回帖

    4万

    积分

    版主

    新的一天 , 新的难过

    Rank: 10Rank: 10Rank: 10

    积分
    40705

    灌水大神章笑傲江湖章QQ 章翰林院专用章管理组专用章小蜜蜂章

    QQ
    跳转到指定楼层
    1
    发表于 2019-3-11 16:50:15 | 只看该作者 |只看大图 回帖奖励 |倒序浏览 |阅读模式
    本帖最后由 garypang 于 2019-4-12 17:48 编辑


    自己统计的,目前最大的口语词频库 基于IMDB影视库10W字幕共6亿单词统计而来,是 The TV Corpus 的1.5倍

    数据已整合至
    多功能百宝箱词典 - The little dict

    更新:1.优化源数据,以及部分规则
              2.所统计词中增加词中含有特殊字符-/&的单词,且'允许出现在词尾

    没有做人工筛选,可能出现个别词排名不合理的情况,一般是名字,地名中的某个词,或者字幕中特有的词,如无障碍词,使用过程中请自行剔除

    所做处理:

    行去重


    去除字幕中用于无障碍的词 如:murmuring,chanting,gibbering,cackles, etc. 可能有遗漏

    只统计2个字母以上的单词,过滤所有数字

    复数,过去式,过去分词等都做了还原成原型处理后都算在原型里,不单独参与排名,规则来源 https://lexically.net/downloads/BNC_lemmafile10.txt

    基于最常见的的1W英文名做了英文名过滤,可能还存在个别遗漏的名字参与了排名,有些可做人名的常用词可能被误去除.


    请勿私下传播



    前1-35000 售价500米 下载所需权限:80:

    本帖隐藏的内容

    Word list.zip (393.99 KB, 下载次数: 258, 售价: 500 粒米)


















    评分

    3

    查看全部评分

    本帖被以下淘专辑推荐:

  • TA的每日心情
    奋斗
    2019-10-13 07:34
  • 签到天数: 209 天

    [LV.7]常住居民III

    73

    主题

    1552

    回帖

    9万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    97191

    QQ 章笑傲江湖章灌水大神章推广专家

    推荐
    发表于 2019-3-12 09:06:46 | 只看该作者
    部分lemma的处理有点问题,如:
    379            I        205440            mine[191640] mined[1011] mines[7544] mining[5245]

    BNC_lemmafile10的对应规则是:
    I -> IS,ME,MINE,MY
    MINE -> MINED,MINES,MINING

    因此,mined[1011] mines[7544] mining[5245]  只能归结为mine,但不能归结为I;当然mine是保持原型还是I,这是个难题。


  • TA的每日心情
    开心
    昨天 03:18
  • 签到天数: 115 天

    [LV.6]常住居民II

    0

    主题

    255

    回帖

    1583

    积分

    解元

    Rank: 5Rank: 5

    积分
    1583
    推荐
    发表于 2020-2-5 16:00:40 | 只看该作者
    谢谢分享                                 
  • TA的每日心情
    擦汗
    昨天 01:17
  • 签到天数: 542 天

    [LV.9]以坛为家II

    1

    主题

    597

    回帖

    9372

    积分

    进士

    Rank: 8Rank: 8

    积分
    9372

    QQ 章

    推荐
    发表于 2020-12-10 12:16:25 | 只看该作者
    提示: 该帖被管理员或版主屏蔽
  • TA的每日心情
    开心
    2021-1-14 12:30
  • 签到天数: 450 天

    [LV.9]以坛为家II

    4

    主题

    1197

    回帖

    8万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    81433

    笑傲江湖章灌水大神章

    2
    发表于 2019-3-11 16:56:34 | 只看该作者
    这个厉害了!楼主作品大赞啊!
  • TA的每日心情
    奋斗
    2022-10-1 16:47
  • 签到天数: 391 天

    [LV.9]以坛为家II

    1

    主题

    444

    回帖

    1万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    11489
    3
    发表于 2019-3-11 16:57:27 | 只看该作者
    这个做出来会很有效果的。
  • TA的每日心情
    开心
    2018-8-8 03:13
  • 签到天数: 1 天

    [LV.1]初来乍到

    254

    主题

    4264

    回帖

    7万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    79549

    小蜜蜂章笑傲江湖章灌水大神章QQ 章

    QQ
    5
    发表于 2019-3-11 17:06:33 | 只看该作者
    謝謝 garypang 兄 的發現與創作.......讚
  • TA的每日心情
    无聊
    2023-3-13 11:45
  • 签到天数: 1538 天

    [LV.Master]伴坛终老

    81

    主题

    4493

    回帖

    1万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    11560
    6
    发表于 2019-3-11 17:06:44 | 只看该作者
    看看是什么宝贝?谢谢
  • TA的每日心情
    擦汗
    3 天前
  • 签到天数: 975 天

    [LV.10]以坛为家III

    1

    主题

    1821

    回帖

    6783

    积分

    会元

    Rank: 7Rank: 7Rank: 7

    积分
    6783
    8
    发表于 2019-3-11 17:08:02 | 只看该作者
    谢谢分享,赶紧体验一下!
  • TA的每日心情
    奋斗
    2020-10-16 19:10
  • 签到天数: 211 天

    [LV.7]常住居民III

    1

    主题

    274

    回帖

    1万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    12118
    9
    发表于 2019-3-11 17:10:24 | 只看该作者
    觉得可以扔下COCA了?试试看!谢谢分享!
  • TA的每日心情
    无聊
    2020-5-14 10:09
  • 签到天数: 191 天

    [LV.7]常住居民III

    6

    主题

    241

    回帖

    1166

    积分

    解元

    Rank: 5Rank: 5

    积分
    1166

    QQ 章

    10
    发表于 2019-3-11 17:19:54 | 只看该作者
    楼主辛苦 谢谢分享
  • TA的每日心情
    开心
    6 分钟前
  • 签到天数: 1925 天

    [LV.Master]伴坛终老

    1

    主题

    1890

    回帖

    3万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    37702

    灌水大神章

    11
    发表于 2019-3-11 17:26:30 | 只看该作者
    来看看楼主的大作,谢谢分享
  • TA的每日心情
    奋斗
    2019-4-14 02:12
  • 签到天数: 93 天

    [LV.6]常住居民II

    250

    主题

    2966

    回帖

    53万

    积分

    状元

    吃水不忘挖井人

    Rank: 9Rank: 9Rank: 9

    积分
    534407

    灌水大神章笑傲江湖章推广专家QQ 章

    12
    发表于 2019-3-11 17:27:24 | 只看该作者
    这个规则文件不错的,一直在找类似的东西… 可以基于这个优化几乎所有的现有词典…
  • TA的每日心情
    开心
    2018-1-27 00:16
  • 签到天数: 1 天

    [LV.1]初来乍到

    99

    主题

    1477

    回帖

    3万

    积分

    翰林院孔目

    Rank: 10Rank: 10Rank: 10

    积分
    35789

    灌水大神章小蜜蜂章笑傲江湖章翰林院专用章管理组专用章

    14
    发表于 2019-3-11 17:42:24 | 只看该作者
    感谢楼主大神!

    太棒了!
  • TA的每日心情
    无聊
    2022-9-25 21:09
  • 签到天数: 1136 天

    [LV.10]以坛为家III

    17

    主题

    3151

    回帖

    2万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    25224

    灌水大神章

    15
    发表于 2019-3-11 17:42:52 | 只看该作者
    You 在 BNC 只排第 15 ,没想到在口语中竟然比 the 高。
  • TA的每日心情
    开心
    2020-2-19 01:15
  • 签到天数: 340 天

    [LV.8]以坛为家I

    42

    主题

    511

    回帖

    2万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    24960

    灌水大神章笑傲江湖章QQ 章推广专家

    16
    发表于 2019-3-11 17:44:23 | 只看该作者
    太感谢了,几天又出了一部一个重磅
  • TA的每日心情
    开心
    2022-3-4 20:55
  • 签到天数: 556 天

    [LV.9]以坛为家II

    0

    主题

    1352

    回帖

    1万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    16586
    17
    发表于 2019-3-11 17:55:20 | 只看该作者
    这个词频很实用,感谢老大制作。
  • TA的每日心情

    2020-5-27 13:41
  • 签到天数: 220 天

    [LV.7]常住居民III

    0

    主题

    677

    回帖

    3万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    32457

    灌水大神章

    18
    发表于 2019-3-11 18:04:05 | 只看该作者
    最近g大出了两个新作啦,谢谢分享
  • TA的每日心情
    开心
    2018-10-23 09:01
  • 签到天数: 153 天

    [LV.7]常住居民III

    102

    主题

    876

    回帖

    4万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    49940
    19
    发表于 2019-3-11 18:10:27 | 只看该作者
    今天最大的礼物。
  • TA的每日心情
    擦汗
    2020-2-3 10:15
  • 签到天数: 63 天

    [LV.6]常住居民II

    7

    主题

    409

    回帖

    1万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    10405

    QQ 章

    20
    发表于 2019-3-11 18:15:18 | 只看该作者
    大赞,支持楼主~
  • TA的每日心情
    擦汗
    2022-12-15 20:00
  • 签到天数: 799 天

    [LV.10]以坛为家III

    6

    主题

    1000

    回帖

    1万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    16943
    21
    发表于 2019-3-11 18:23:02 | 只看该作者
    感謝樓主無私的分享喔,口語詞頻非常有用,謝謝了!
  • TA的每日心情
    郁闷
    2021-7-16 22:15
  • 签到天数: 90 天

    [LV.6]常住居民II

    14

    主题

    740

    回帖

    9824

    积分

    进士

    Rank: 8Rank: 8

    积分
    9824

    QQ 章

    22
    发表于 2019-3-11 18:28:15 | 只看该作者
    哇,谢谢g大分享。
  • TA的每日心情
    慵懒
    2023-1-10 21:48
  • 签到天数: 802 天

    [LV.10]以坛为家III

    3

    主题

    2373

    回帖

    2万

    积分

    禁止发言

    积分
    20562

    小蜜蜂章笑傲江湖章灌水大神章

    23
    发表于 2019-3-11 18:28:40 | 只看该作者
    感谢楼主制作和分享
  • TA的每日心情
    开心
    2022-12-20 11:47
  • 签到天数: 1307 天

    [LV.10]以坛为家III

    33

    主题

    1576

    回帖

    4万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    44290

    灌水大神章笑傲江湖章

    24
    发表于 2019-3-11 18:43:03 | 只看该作者
    感谢辛苦制作分享
  • TA的每日心情
    开心
    昨天 00:30
  • 签到天数: 1991 天

    [LV.Master]伴坛终老

    3

    主题

    3447

    回帖

    4万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    45677

    灌水大神章

    25
    发表于 2019-3-11 19:07:08 | 只看该作者
    又是一部惊世之作。