查看: 13257|回复: 711
打印 上一主题 下一主题

[英汉] 【2016.08.28 ● 完结版】《21世纪大英汉词典》有道全新数据 词条:334,621

  [复制链接]

该用户从未签到

47

主题

323

回帖

1万

积分

状元

Rank: 9Rank: 9Rank: 9

积分
11400

灌水大神章小蜜蜂章笑傲江湖章

跳转到指定楼层
1
发表于 2016-7-7 13:08:28 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
本帖最后由 qiuhao1112 于 2016-8-30 19:53 编辑

【2016.08.28 ● 完结版】《21世纪大英汉词典》有道全新数据 词条:334,621




近日因个人拙见以及不当观点,导致论坛发生了一些不愉快的争议, 还请各位大神不要太在意在下的不妥行为和言论。

大熊部落说的很好:“心量放宽一点,并学会过滤噪音,世界会变得更美好。”        本人很是受教。

最后,本人在论坛发布的所有拙作均已公开分享。

Bye, pdawiki...




链接:http://pan.baidu.com/s/1c2gaYas 密码:好孩子看不见 gdga

备用地址
        链接:http://pan.baidu.com/s/1sld8A3F 密码:好孩子看不见 frlr
        https://yunpan.cn/cM2h3FAceVuNW  访问密码 好孩子看不见 945f









==================
2016.08.28

一直拖到了现在,终于可以完结了。。。。
更新了数据,补充词条,整合旧版含特殊字符的短语词条以及罕见词条,词条数总数为 334,621,已完全覆盖旧版

==================



=====================

百度云最近抽风。。。链接已补。。。



==================
2016.08.02

更新CSS,Mdict显示给力,Bluedict显示不错;词典主内容已去重。
其余常见词条缺少后续再补充。
==================
2016.08.01

词条越多,词典数据越大,抓取制作也就越麻烦,于是一拖再拖。。。
本次更新如下:
①更新数据,更新CSS,Bluedict较好地显示排版效果,新版Mdict无法正常显示,但不影响使用,后续再优化。
②即使用词典本身的词条抓取也避免不了内容重复;过几天再去重。
③剩余一万多罕见专业词条或包含特殊字符的短语联网抓取不到,后续将从旧版补充过来。

==================
2016.07.14

闭关完善数据中,暂不提供链接,请耐心等待。。。
==================
2016.07.11

根据网友反应的各种问题,blablabla,尤其针对词条因区分大小写而导致词条内容重复的问题,我会想办法写个去重复词条内容的脚本,确保词条的内容不重复。等处理好了再发布。
==================
次日更新

①感谢9楼kyletruman以及其他网友的反馈,有关提及到的问题我会及时修正。
②另外如果有道官网缺失一些词条数据(例如“about”以及词条包含”\“、”或“、”(“、”)“等特殊字符的短语习语这类词条)而在旧版词典有这个词条的数据,为尽力保证新版词典数据的完整,所有无内容的词条我会经再次筛选并进行二次抓取以补充新数据,在尽力保证抓取的网页版词典数据比较完整之后,我会把所有包含特殊字符这类词从旧版中提取到新版中来进行补充(其实包含特殊字符的短语习语这类词条在内容上旧版与新版无任何差别)。
③撇弃有道官网的CSS,官网CSS文件太大又复杂,也不利于喜欢自己动手的同学修改,干脆重新建了个CSS,大致粗略了排版一下,释义编号问题已解决,请重新下载.CSS文件,需要个性样式请自己修改。
==================


旧版《21世纪大英汉词典》在释义分支部分均缺少内容,一直以来有很多网友都在反馈这个问题;
以及以O大犀利的独具慧眼察觉到,旧版词典例句是有删减的,例如test词条:

去年接触到Mdict,今年1月份刚学CSS便对论坛里的《21世纪大英汉词典》做了个排版。对于词典排版,仅靠那点CSS微薄基础加上正常的审美感官,基本上还是能排出比较不错的词典,然而对于数据抓取那时侯只能说还是个遥远奢望。

那个时候学习Python半个月,集中花了很多时间,然而后来也感觉没学到什么,甚至抓几个简单网页都成问题。这次我也同样断断续续花了两周时间,好在还是搞定了。我想了想为什么第一次花的时间更多却没什么结果,我觉得还是个目标的问题,这次就是为了专门抓取网页数据而学习Python,所有学习的内容都是为了解决在实际中遇到的问题,有了这个方向,于是才一步步离目标越来越近。

----------------

本次抓取使用旧版词典的36万个词条,抓了大概半天时间,抓取过程中对所有抓取成功和失败(以及失败原因)的词条都进行了记录,成功抓了29万多的词条的数据,其余没有成功的词条基本上是在有道上查询不到的,以及词条包含‘\’反斜杠、‘或’等字符也查询不到,就不得不把这些特殊字符拆掉分开后分别再抓取一遍,还有就是有道干脆把一些极个别特殊的专业词汇标上了不同的id,导致Python认为没该词典有这个词条的内容便给过滤掉了,这样的词条我日后在补充更新;如果在使用过程中发现缺少某个词条而在有道上能查到,可以给我反馈我会及时更新;同时为了得到更全的数据,接下来我会用bt大的22万柯林斯单词表,用Python过滤掉所有已经下载成功的词条,用没有抓取成功的词条再在有道上搜刮一遍并补充更新。

这次抓取的词典数据在HTML结构上与旧版有很大不同,比如旧版词典的短语框内的短语与释义是分别放在不同标签内的,而有道版词典数据的短语框内的短语与释义是堆在同一个标签内,这就给词典排版以及短语的单独提取制作造成很大困难,实际上把短语与释义分开来并放置在不同的标签内也不是不可能的,利用正则就能做到;但我考虑到这部词典的内容需要更新,日后多次频繁替换操作极为繁琐,同时我个人也没有太大的需求。

基于以上种种原因,抓取的词典源码数据我没有作任何修改,以及词典的排版我便直接使用有道的CSS,仅仅做了小幅修改可适用于手机,需要个性化排版的朋友还请自己动手。


若使用过程中发现有缺词,请先确认在有道词典上能够查询到21世纪大英汉词典包含有该词条再回贴反馈。


Thanks for commenting!




以下是词典截图(Mdict PC & Bluedict):





评分

1

查看全部评分

本帖被以下淘专辑推荐:

  • TA的每日心情
    慵懒
    2022-8-25 13:10
  • 签到天数: 613 天

    [LV.9]以坛为家II

    5

    主题

    494

    回帖

    1万

    积分

    版主

    不忘初心

    Rank: 10Rank: 10Rank: 10

    积分
    11122

    灌水大神章QQ 章笑傲江湖章管理组专用章推广专家

    QQ
    推荐
    发表于 2017-4-6 20:13:05 来自手机 | 只看该作者
    本帖最后由 977501900 于 2018-3-5 21:25 编辑

    补链:  21世纪大英汉词典 有道数据 - 完结版
    https://pan.baidu.com/wap/init?surl=c249pBy 密码:xxmy

    点评

    非常感谢!  发表于 2018-10-11 00:39
    这个补发太给力了,非常感谢。  发表于 2017-6-1 00:15

    评分

    1

    查看全部评分

  • TA的每日心情
    开心
    2020-4-9 21:10
  • 签到天数: 54 天

    [LV.5]常住居民I

    8

    主题

    85

    回帖

    740

    积分

    举人

    Rank: 4

    积分
    740
    推荐
    发表于 2017-5-7 00:27:51 | 只看该作者
    感谢作者!
    我也发个备用链接
    链接:http://pan.baidu.com/s/1jIkLQFc 密码:ncd7

    该用户从未签到

    0

    主题

    19

    回帖

    60

    积分

    白身

    Rank: 1

    积分
    60
    推荐
    发表于 2016-8-3 20:14:07 | 只看该作者
    本帖最后由 kath000erine 于 2016-8-3 20:16 编辑

    链接已被吞,求补链~非常感谢

    点评

    建议楼主把分享网盘改为国外的mega网盘,国内很多网盘不值得信任!  发表于 2016-8-4 15:22
    不是楼主取消链接,是有小人举报!有些不是词典分享的链接都被删......  发表于 2016-8-4 15:15

    该用户从未签到

    5

    主题

    107

    回帖

    386

    积分

    禁止发言

    积分
    386
    推荐
    发表于 2016-7-8 12:26:19 | 只看该作者
    本帖最后由 大大傻子 于 2016-7-8 12:28 编辑

    有道网页上最后会有一个用于展开更多项的”更多结果“按钮,这个在词典显示上是多余的,可否删掉呢?

    还有”以上来源于:《21世纪大英汉词典》“ 的显示,也是多余的显示,删掉比较好

    另外建议字体在稍微调小一格

    点评

    请仔细看楼主的首帖,楼主是用的有道官网的css, 排版跟官网一样,你若觉得看起来不太舒服,可自行优化css  发表于 2016-7-8 13:16
    楼主这部词典在欧路词典和深蓝词典上的字体大小没有问题  发表于 2016-7-8 13:11
    删除“更多结果”后,很多词条下的释义都看不全  发表于 2016-7-8 13:08
    不是多余的,点击“更多结果”可以看到某一词条下的所有释义,不能删除  发表于 2016-7-8 13:05
  • TA的每日心情
    慵懒
    6 天前
  • 签到天数: 1183 天

    [LV.10]以坛为家III

    1

    主题

    1254

    回帖

    2万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    24288

    笑傲江湖章灌水大神章

    推荐
    发表于 2016-7-7 15:52:35 | 只看该作者
    楼主辛苦!感谢分享!
  • TA的每日心情
    开心
    2023-1-18 23:24
  • 签到天数: 211 天

    [LV.7]常住居民III

    427

    主题

    4539

    回帖

    9万

    积分

    超级版主

    Rank: 12Rank: 12Rank: 12

    积分
    92011

    灌水大神章小蜜蜂章笑傲江湖章翰林院专用章管理组专用章城管大队长

    推荐
    发表于 2016-7-7 14:09:21 | 只看该作者
    本帖最后由 kyletruman 于 2016-7-12 20:06 编辑

    谢谢楼主完善数据。
    (最近有道官网频繁更新数据和频繁改动排版,经常用网页版都不好区分大号字体的阿拉伯数字和小号字体的阿拉伯数字,楼主能把数据抓下来,已经很不错了,谢谢楼主!)

    有道官网在不断更新21世纪大英汉词典的数据,这是好事!


    最近在反复对照有道官网的数据与有道apk的数据,发现有道官网上的柯林斯双解数据比有道apk上的数据新,比如查grieve;
    但是,虽然有道apk上的21世纪大英汉词典数据不太全和比不上有道官网的数据新(但比论坛上公布的数据完整),但有道apk上的21世纪大英汉词典数据本身出的问题比较少(还是有部分数据缺失)。

    该用户从未签到

    0

    主题

    213

    回帖

    4831

    积分

    贡士

    Rank: 6Rank: 6

    积分
    4831
    推荐
    发表于 2016-7-7 16:16:11 | 只看该作者
    感谢楼主分享

    该用户从未签到

    0

    主题

    230

    回帖

    4659

    积分

    贡士

    Rank: 6Rank: 6

    积分
    4659

    笑傲江湖章灌水大神章

    推荐
    发表于 2016-7-7 15:39:29 | 只看该作者
    謝謝樓主無私的分享!!
  • TA的每日心情
    开心
    2020-5-14 18:49
  • 签到天数: 81 天

    [LV.6]常住居民II

    1

    主题

    548

    回帖

    7805

    积分

    会元

    Rank: 7Rank: 7Rank: 7

    积分
    7805

    笑傲江湖章灌水大神章QQ 章

    推荐
    发表于 2016-7-7 15:07:15 | 只看该作者
    感谢您的分享

    该用户从未签到

    43

    主题

    448

    回帖

    3793

    积分

    贡士

    Rank: 6Rank: 6

    积分
    3793

    灌水大神章小蜜蜂章笑傲江湖章

    推荐
    发表于 2016-7-7 15:05:15 | 只看该作者
    谢谢所有努力制作词典的机油
  • TA的每日心情
    难过
    2021-4-5 19:43
  • 签到天数: 535 天

    [LV.9]以坛为家II

    2

    主题

    907

    回帖

    2万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    23344

    QQ 章

    2
    发表于 2016-7-7 13:11:27 | 只看该作者
    好东西,谢谢
  • TA的每日心情
    慵懒
    2018-6-21 01:43
  • 签到天数: 13 天

    [LV.3]偶尔看看II

    2

    主题

    243

    回帖

    542

    积分

    禁止发言

    积分
    542
    3
    发表于 2016-7-7 13:15:50 | 只看该作者

    好东西,谢谢
  • TA的每日心情

    2018-6-17 08:57
  • 签到天数: 49 天

    [LV.5]常住居民I

    26

    主题

    555

    回帖

    7177

    积分

    会元

    Rank: 7Rank: 7Rank: 7

    积分
    7177

    灌水大神章

    4
    发表于 2016-7-7 13:39:21 | 只看该作者
    很牛啊,多谢了
  • TA的每日心情
    开心
    昨天 00:32
  • 签到天数: 1736 天

    [LV.Master]伴坛终老

    2

    主题

    2050

    回帖

    7195

    积分

    会元

    Rank: 7Rank: 7Rank: 7

    积分
    7195

    灌水大神章

    5
    发表于 2016-7-7 13:46:41 | 只看该作者
    牛啊,多谢了

    该用户从未签到

    7

    主题

    818

    回帖

    1万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    12678

    灌水大神章小蜜蜂章笑傲江湖章

    6
    发表于 2016-7-7 13:53:18 | 只看该作者
    支持 辛苦啦
  • TA的每日心情
    开心
    2018-8-15 07:35
  • 签到天数: 22 天

    [LV.4]偶尔看看III

    2

    主题

    880

    回帖

    1万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    16296

    灌水大神章

    7
    发表于 2016-7-7 13:55:17 | 只看该作者
    这个词典非常好,非常感谢!
  • TA的每日心情
    慵懒
    2023-2-4 11:26
  • 签到天数: 579 天

    [LV.9]以坛为家II

    12

    主题

    1027

    回帖

    1万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    12103

    灌水大神章

    8
    发表于 2016-7-7 13:58:23 | 只看该作者
    楼主太棒了,支持
  • TA的每日心情

    2018-6-16 22:17
  • 签到天数: 63 天

    [LV.6]常住居民II

    0

    主题

    111

    回帖

    2156

    积分

    禁止发言

    积分
    2156

    灌水大神章

    11
    发表于 2016-7-7 14:13:33 | 只看该作者
    谢谢分享,好词典!

    该用户从未签到

    0

    主题

    153

    回帖

    604

    积分

    禁止发言

    积分
    604
    12
    发表于 2016-7-7 14:13:56 | 只看该作者
    《21世纪大英汉词典》全新数据 抓取自有道
  • TA的每日心情
    奋斗
    昨天 09:58
  • 签到天数: 1625 天

    [LV.Master]伴坛终老

    73

    主题

    4466

    回帖

    6万

    积分

    翰林院孔目

    Rank: 10Rank: 10Rank: 10

    积分
    60593

    灌水大神章小蜜蜂章笑傲江湖章翰林院专用章管理组专用章

    13
    发表于 2016-7-7 14:23:48 | 只看该作者
    谢谢楼主qiuhao1112!!!
  • TA的每日心情
    开心
    3 天前
  • 签到天数: 362 天

    [LV.8]以坛为家I

    1

    主题

    475

    回帖

    3718

    积分

    贡士

    Rank: 6Rank: 6

    积分
    3718

    灌水大神章QQ 章

    14
    发表于 2016-7-7 14:24:06 | 只看该作者
    楼主辛苦!感谢分享!!!!
    lunarcheng 该用户已被删除
    15
    发表于 2016-7-7 14:31:10 | 只看该作者
    其实我觉得这种排版看着就挺舒服……
  • TA的每日心情
    开心
    2022-4-30 22:41
  • 签到天数: 53 天

    [LV.5]常住居民I

    10

    主题

    385

    回帖

    3万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    37579

    灌水大神章

    18
    发表于 2016-7-7 14:55:47 | 只看该作者
    终于可以换了,多谢