查看: 4210|回复: 144
打印 上一主题 下一主题

[英英] (6.29更新!!)Word Rank(word frequency)合集

  [复制链接]
  • TA的每日心情
    开心
    2020-9-5 18:00
  • 签到天数: 215 天

    [LV.7]常住居民III

    19

    主题

    413

    回帖

    1万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    10837

    灌水大神章小蜜蜂章笑傲江湖章

    跳转到指定楼层
    1
    发表于 2020-6-26 09:05:30 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
    记录付费主题, 价格: 10 粒米
    本帖最后由 Niaaan 于 2020-6-29 22:58 编辑

    6.29更新:
    有老哥说coca6万的词频更贴近实际,所以我加进来了。
    coca36万的数据好像来自这个帖子https://www.pdawiki.com/forum/forum.php?mod=viewthread&tid=36345&highlight=coca。数据怎么来的请到里面查看。
    我再说说对词频按词性分类统计的看法
    如果是搞学术研究或者单纯的想知道某个单词到底哪个词性更常用,自然应该按词性分类进行统计。
    如果只是平常看看单词是否常用,按词性分类其实是不对的。举个简单的例子,单词A和单词B,我们假定他们出现的频率一样。也就是说他们一样的常见。按词频排序,他们应该排在一个位置。现在假设A单词有两个词性,且每个词性出现的频率一样。这样再按词性分类排序,A的排名就会比B落后很多。这就和实际情况不一致了。所以词频这东西,随便看看就好,不用过度纠结是不是准确的。

    上一个版本部分词条有严重问题,比如run。请下载新版本!!!

    关于词频词典的应用
    在本论坛接触词频词典以来,就一直在使用。之前一直觉得这个数据就是满足一下自己的好奇心,除此以外似乎没什么用。但是最近这段时间,我隐约的感觉到,词频数据似乎可以大致确定一个人的词汇量。
    假定某个人地词汇量是5000(为了简化模型,我们假定他认识的就是排名前5000的单词)。这样的话第5001和5002他就不认识。由生产单词排名的原则可知,5001出现的次数高于5002,也就是说将来某一天这位同学可能查询5001的概率高于查询5002的概率,5002又高于5003。随着单词排名的下降,这个概率随之下降。经过一段时间的积累,这位同学就会发现他经常查询的单词的词频会更多的落在5000附近。
    所以大家在使用词频词典的时候,看看自己查询的单词更多地落在什么区间,你的词汇量大概就在这个区间。


    关于本词典的说明
    合集的意思在于,不同语料库的数据差距可能会比较大,几个合在一起,方便去除一个最高,去除一个最低,最终得到的数据可能就会比较靠谱。
    1. 合并了iweb anc bnc coca的rank数据。删除了frequency和百分比的数据。因为实际使用下来,这两个数据对我完全没用,还占空间。
    2. 测试平台为欧路和mdict电脑版。电脑版mdict上显示字体过小,请自行调整。颜色也自己改吧。家里随便找个大品牌的包装袋或者瓶瓶罐罐,参考一下别人的配色。
    1. /*width为每个格子的宽度*/
    2. .dof span{
    3.         display:inline-block;
    4.         width:6em
    5. }
    6. /*字体大小为iweb后面词性标签字体的大小*/
    7. strong{
    8. line-height:1.5em;
    9.          font-size:60%;
    10. }
    复制代码


    3. 数据的表现形式为表格,但是实际不是表格。所以不知道会不会有兼容性问题。之前一直没排出我喜欢的样式。这个排版样式是偶然弄出来的但是我觉得看起来还不错,也省空间。
    4. 词典封面图片随便百度的,和这个词典本身没关系。
    5. 数据均来自与本论坛。不过这东西已经折腾了很久了,原帖地址就不去找了。



    度盘
    提取码:
    如果您要查看本帖隐藏内容请回复


    评分

    3

    查看全部评分

    本帖被以下淘专辑推荐:

    • · E|主题: 478, 订阅: 114
  • TA的每日心情
    开心
    2020-9-5 18:00
  • 签到天数: 215 天

    [LV.7]常住居民III

    19

    主题

    413

    回帖

    1万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    10837

    灌水大神章小蜜蜂章笑傲江湖章

    推荐
     楼主| 发表于 2020-6-26 09:39:24 | 只看该作者
    喬治兄 发表于 2020-6-26 09:17
    謝謝Niaaan 兄分享word rank 合集,哇!,仁兄大膽用色令人為之一振

    颜色要sao才好
  • TA的每日心情
    擦汗
    2021-2-3 10:35
  • 签到天数: 327 天

    [LV.8]以坛为家I

    16

    主题

    597

    回帖

    5783

    积分

    会元

    Rank: 7Rank: 7Rank: 7

    积分
    5783

    灌水大神章

    推荐
    发表于 2020-7-10 16:39:00 | 只看该作者
    本帖最后由 helloit 于 2020-7-30 03:11 编辑
    Niaaan 发表于 2020-7-10 14:35
    下不了。直接发代码出来吧
    1. * {
    2.     word-wrap: break-word !important;
    3. }

    4. body {
    5.     border-left: 10px solid deepskyblue;
    6.     display: inline !important;
    7.     font-size: 14px;
    8.     line-height: 1.4em !important;
    9.     font-family: Helvetica, sans-serif;
    10. }
    11. div, .gdarticle, .mdict {
    12.     display: inline !important;
    13. }
    14. .rank {
    15.     background: linear-gradient(-45deg, transparent 4px, lightgray 0);
    16.     display: block;
    17.     text-align: center;
    18.     font-weight: bold;
    19.     margin-top: -1px;
    20.     color: mediumvioletred;
    21. }

    22. .title {
    23.     padding: 1px 16px;
    24.     font-size: 12px;
    25.     font-weight: bold;
    26.     background: #333;
    27.     color: snow;
    28. }
    29. .pos {
    30.     border-left: 1px solid snow;
    31. }
    32. .dof, .pos {
    33.     display: inline-table;
    34. }
    35. strong {
    36.     background: crimson;
    37.     line-height: 1.5em;
    38. }
    复制代码
  • TA的每日心情
    开心
    2020-4-12 13:04
  • 签到天数: 453 天

    [LV.9]以坛为家II

    41

    主题

    2084

    回帖

    3万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    36425

    灌水大神章QQ 章笑傲江湖章

    推荐
    发表于 2020-6-28 08:04:04 | 只看该作者
    Niaaan 发表于 2020-6-28 00:00
    我这个数据是用的lgmcw做的那个100万词的里面的数据。他的数据来源于coca36万词那个版本,不是2万也不是6 ...

    是的。我之前在他的帖子里也反馈过。你研究一下会发现COCA20000比较贴近实际。
    而这份数据偏离实际太多。我研究过基本上实际词频排序大约在7000的。这份数据都在10000以上。
    论坛里那份COCA60000的数据和COCA20000更接近实际。
  • TA的每日心情
    擦汗
    6 天前
  • 签到天数: 956 天

    [LV.10]以坛为家III

    0

    主题

    1457

    回帖

    3万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    33699
    推荐
    发表于 2020-6-26 12:21:56 | 只看该作者
    谢谢楼主分享
  • TA的每日心情
    开心
    6 小时前
  • 签到天数: 1854 天

    [LV.Master]伴坛终老

    40

    主题

    4278

    回帖

    6万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    67236
    推荐
    发表于 2020-6-26 11:56:18 | 只看该作者
    Thanks for sharing...
  • TA的每日心情
    开心
    10 小时前
  • 签到天数: 1875 天

    [LV.Master]伴坛终老

    0

    主题

    3800

    回帖

    6万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    60135

    小蜜蜂章笑傲江湖章灌水大神章

    推荐
    发表于 2020-6-26 11:13:28 | 只看该作者
    下来看看,谢谢你
  • TA的每日心情
    开心
    2023-3-12 09:42
  • 签到天数: 1268 天

    [LV.10]以坛为家III

    3

    主题

    2573

    回帖

    3万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    34849
    推荐
    发表于 2020-6-26 10:56:31 | 只看该作者
    太好了,非常用得着!!
  • TA的每日心情
    无聊
    2022-7-21 15:56
  • 签到天数: 216 天

    [LV.7]常住居民III

    25

    主题

    646

    回帖

    1万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    16844
    推荐
    发表于 2020-6-26 10:37:58 | 只看该作者
    谢谢分享词频词典
  • TA的每日心情
    开心
    2022-3-14 06:14
  • 签到天数: 260 天

    [LV.8]以坛为家I

    1

    主题

    477

    回帖

    4804

    积分

    贡士

    Rank: 6Rank: 6

    积分
    4804
    推荐
    发表于 2020-6-26 10:25:23 | 只看该作者
    非常感谢你的付出。
  • TA的每日心情
    开心
    1 小时前
  • 签到天数: 1219 天

    [LV.10]以坛为家III

    14

    主题

    2594

    回帖

    1万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    16160
    推荐
    发表于 2020-6-26 10:19:02 | 只看该作者
    感谢楼主分享
  • TA的每日心情
    开心
    2019-10-10 05:35
  • 签到天数: 328 天

    [LV.8]以坛为家I

    12

    主题

    2675

    回帖

    4万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    46073
    10
    发表于 2020-6-26 09:14:34 | 只看该作者
    哇,厉害。自己想做没能力做的宝贝,多谢多谢。
  • TA的每日心情
    开心
    2021-4-30 05:36
  • 签到天数: 1 天

    [LV.1]初来乍到

    27

    主题

    1336

    回帖

    1万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    13277

    笑傲江湖章灌水大神章

    11
    发表于 2020-6-26 09:15:22 | 只看该作者
    谢谢楼主辛苦制作,学习一下
  • TA的每日心情
    开心
    2018-8-8 03:13
  • 签到天数: 1 天

    [LV.1]初来乍到

    254

    主题

    4264

    回帖

    7万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    79252

    小蜜蜂章笑傲江湖章灌水大神章QQ 章

    QQ
    12
    发表于 2020-6-26 09:17:53 | 只看该作者
    本帖最后由 喬治兄 于 2020-6-26 09:20 编辑

    謝謝Niaaan 兄分享word rank 合集,哇!,仁兄大膽用色令人為之一振
  • TA的每日心情
    无聊
    2023-3-13 11:45
  • 签到天数: 1538 天

    [LV.Master]伴坛终老

    81

    主题

    4430

    回帖

    1万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    12018
    13
    发表于 2020-6-26 09:25:30 | 只看该作者
    谢谢楼主分享,保存了
  • TA的每日心情
    开心
    2019-5-18 18:07
  • 签到天数: 521 天

    [LV.9]以坛为家II

    12

    主题

    1322

    回帖

    1万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    15559

    灌水大神章

    14
    发表于 2020-6-26 09:26:43 | 只看该作者
    好东东,谢谢分享
  • TA的每日心情
    开心
    8 小时前
  • 签到天数: 1077 天

    [LV.10]以坛为家III

    1

    主题

    1377

    回帖

    3万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    38384

    QQ 章

    15
    发表于 2020-6-26 09:31:07 | 只看该作者
    感谢,第一次接触,看看是什么。
  • TA的每日心情
    开心
    1 小时前
  • 签到天数: 1060 天

    [LV.10]以坛为家III

    7

    主题

    2432

    回帖

    5万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    54200

    笑傲江湖章灌水大神章

    17
    发表于 2020-6-26 09:46:15 | 只看该作者
    谢谢大侠分享 辛苦啦。
  • TA的每日心情
    开心
    7 小时前
  • 签到天数: 1674 天

    [LV.Master]伴坛终老

    0

    主题

    2747

    回帖

    4万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    42874

    笑傲江湖章灌水大神章

    18
    发表于 2020-6-26 09:46:38 | 只看该作者
    楼主最近分享了不少作品,感谢感谢!
  • TA的每日心情
    开心
    15 小时前
  • 签到天数: 1991 天

    [LV.Master]伴坛终老

    3

    主题

    3446

    回帖

    4万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    45838

    灌水大神章

    19
    发表于 2020-6-26 09:47:53 | 只看该作者
    赶紧收藏,多谢大神。
  • TA的每日心情
    慵懒
    2020-4-10 13:19
  • 签到天数: 269 天

    [LV.8]以坛为家I

    16

    主题

    897

    回帖

    1万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    13141

    QQ 章

    20
    发表于 2020-6-26 09:52:51 | 只看该作者
    看看词典效果如何
  • TA的每日心情
    慵懒
    2021-11-4 14:19
  • 签到天数: 395 天

    [LV.9]以坛为家II

    41

    主题

    1527

    回帖

    1万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    12565

    笑傲江湖章推广专家灌水大神章

    21
    发表于 2020-6-26 09:55:43 | 只看该作者
    佳作难得,十分感谢!
  • TA的每日心情
    开心
    2 小时前
  • 签到天数: 1584 天

    [LV.Master]伴坛终老

    0

    主题

    1805

    回帖

    2万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    23821
    22
    发表于 2020-6-26 10:06:37 | 只看该作者
    谢谢辛苦制作 Word Rank合集
    感谢感谢