【2016.08.28 ● 完结版】《21世纪大英汉词典》有道全新数据词条：334,621

qiuhao1112 · 发表于 2016-7-7 13:08:28

本帖最后由 qiuhao1112 于 2016-8-30 19:53 编辑

【2016.08.28 ● 完结版】《21世纪大英汉词典》有道全新数据词条：334,621

近日因个人拙见以及不当观点，导致论坛发生了一些不愉快的争议, 还请各位大神不要太在意在下的不妥行为和言论。

大熊部落说的很好：“心量放宽一点，并学会过滤噪音，世界会变得更美好。” 本人很是受教。

最后，本人在论坛发布的所有拙作均已公开分享。

Bye, pdawiki...

链接：http://pan.baidu.com/s/1c2gaYas 密码：好孩子看不见 gdga

备用地址
链接：http://pan.baidu.com/s/1sld8A3F 密码：好孩子看不见 frlr
https://yunpan.cn/cM2h3FAceVuNW 访问密码好孩子看不见 945f

==================
2016.08.28
一直拖到了现在，终于可以完结了。。。。
更新了数据，补充词条，整合旧版含特殊字符的短语词条以及罕见词条，词条数总数为 334,621，已完全覆盖旧版。

==================

=====================

百度云最近抽风。。。链接已补。。。

==================
2016.08.02
更新CSS，Mdict显示给力，Bluedict显示不错；词典主内容已去重。
其余常见词条缺少后续再补充。
==================
2016.08.01
词条越多，词典数据越大，抓取制作也就越麻烦，于是一拖再拖。。。
本次更新如下：
①更新数据，更新CSS，Bluedict较好地显示排版效果，新版Mdict无法正常显示，但不影响使用，后续再优化。
②即使用词典本身的词条抓取也避免不了内容重复；过几天再去重。
③剩余一万多罕见专业词条或包含特殊字符的短语联网抓取不到，后续将从旧版补充过来。

==================
2016.07.14
闭关完善数据中，暂不提供链接，请耐心等待。。。
==================
2016.07.11
根据网友反应的各种问题，blablabla，尤其针对词条因区分大小写而导致词条内容重复的问题，我会想办法写个去重复词条内容的脚本，确保词条的内容不重复。等处理好了再发布。
==================
次日更新
①感谢9楼kyletruman以及其他网友的反馈，有关提及到的问题我会及时修正。
②另外如果有道官网缺失一些词条数据（例如“about”以及词条包含”\“、”或“、”（“、”）“等特殊字符的短语习语这类词条）而在旧版词典有这个词条的数据，为尽力保证新版词典数据的完整，所有无内容的词条我会经再次筛选并进行二次抓取以补充新数据，在尽力保证抓取的网页版词典数据比较完整之后，我会把所有包含特殊字符这类词从旧版中提取到新版中来进行补充（其实包含特殊字符的短语习语这类词条在内容上旧版与新版无任何差别）。
③撇弃有道官网的CSS，官网CSS文件太大又复杂，也不利于喜欢自己动手的同学修改，干脆重新建了个CSS，~~大致粗略了排版一下~~，释义编号问题已解决，请重新下载.CSS文件，需要个性样式请自己修改。
==================

旧版《21世纪大英汉词典》在释义分支部分均缺少内容，一直以来有很多网友都在反馈这个问题；
以及以O大犀利的独具慧眼察觉到，旧版词典例句是有删减的，例如test词条：

去年接触到Mdict，今年1月份刚学CSS便对论坛里的《21世纪大英汉词典》做了个排版。对于词典排版，仅靠那点CSS微薄基础加上正常的审美感官，基本上还是能排出比较不错的词典，然而对于数据抓取那时侯只能说还是个遥远奢望。

那个时候学习Python半个月，集中花了很多时间，然而后来也感觉没学到什么，甚至抓几个简单网页都成问题。这次我也同样断断续续花了两周时间，好在还是搞定了。我想了想为什么第一次花的时间更多却没什么结果，我觉得还是个目标的问题，这次就是为了专门抓取网页数据而学习Python，所有学习的内容都是为了解决在实际中遇到的问题，有了这个方向，于是才一步步离目标越来越近。
----------------

本次抓取使用旧版词典的36万个词条，抓了大概半天时间，抓取过程中对所有抓取成功和失败（以及失败原因）的词条都进行了记录，成功抓了29万多的词条的数据，其余没有成功的词条基本上是在有道上查询不到的，以及词条包含‘\’反斜杠、‘或’等字符也查询不到，就不得不把这些特殊字符拆掉分开后分别再抓取一遍，还有就是有道干脆把一些极个别特殊的专业词汇标上了不同的id,导致Python认为没该词典有这个词条的内容便给过滤掉了，这样的词条我日后在补充更新；如果在使用过程中发现缺少某个词条而在有道上能查到，可以给我反馈我会及时更新；同时为了得到更全的数据，接下来我会用bt大的22万柯林斯单词表，用Python过滤掉所有已经下载成功的词条，用没有抓取成功的词条再在有道上搜刮一遍并补充更新。

这次抓取的词典数据在HTML结构上与旧版有很大不同，比如旧版词典的短语框内的短语与释义是分别放在不同标签内的，而有道版词典数据的短语框内的短语与释义是堆在同一个标签内，这就给词典排版以及短语的单独提取制作造成很大困难，实际上把短语与释义分开来并放置在不同的标签内也不是不可能的，利用正则就能做到；但我考虑到这部词典的内容需要更新，日后多次频繁替换操作极为繁琐，同时我个人也没有太大的需求。

基于以上种种原因，抓取的词典源码数据我没有作任何修改，以及词典的排版我便直接使用有道的CSS，仅仅做了小幅修改可适用于手机，需要个性化排版的朋友还请自己动手。

若使用过程中发现有缺词，请先确认在有道词典上能够查询到21世纪大英汉词典包含有该词条再回贴反馈。

Thanks for commenting!

以下是词典截图（Mdict PC & Bluedict）:

977501900 · 发表于 2017-4-6 20:13:05

本帖最后由 977501900 于 2018-3-5 21:25 编辑

补链: 21世纪大英汉词典有道数据 - 完结版
https://pan.baidu.com/wap/init?surl=c249pBy 密码：xxmy

iouiou18 · 发表于 2017-5-7 00:27:51

感谢作者！
我也发个备用链接
链接：http://pan.baidu.com/s/1jIkLQFc 密码：ncd7

kath000erine · 发表于 2016-8-3 20:14:07

本帖最后由 kath000erine 于 2016-8-3 20:16 编辑

链接已被吞，求补链~非常感谢

大大傻子 · 发表于 2016-7-8 12:26:19

本帖最后由大大傻子于 2016-7-8 12:28 编辑

有道网页上最后会有一个用于展开更多项的”更多结果“按钮，这个在词典显示上是多余的，可否删掉呢？

还有”以上来源于：《21世纪大英汉词典》“ 的显示，也是多余的显示，删掉比较好

另外建议字体在稍微调小一格

afuku · 发表于 2016-7-7 15:52:35

楼主辛苦！感谢分享！

kyletruman · 发表于 2016-7-7 14:09:21

本帖最后由 kyletruman 于 2016-7-12 20:06 编辑

谢谢楼主完善数据。
(最近有道官网频繁更新数据和频繁改动排版，经常用网页版都不好区分大号字体的阿拉伯数字和小号字体的阿拉伯数字，楼主能把数据抓下来，已经很不错了，谢谢楼主！)

有道官网在不断更新21世纪大英汉词典的数据，这是好事！

最近在反复对照有道官网的数据与有道apk的数据，发现有道官网上的柯林斯双解数据比有道apk上的数据新，比如查grieve;
但是，虽然有道apk上的21世纪大英汉词典数据不太全和比不上有道官网的数据新(但比论坛上公布的数据完整)，但有道apk上的21世纪大英汉词典数据本身出的问题比较少(还是有部分数据缺失)。

stevefreeman · 发表于 2016-7-7 16:16:11

感谢楼主分享

lilospook · 发表于 2016-7-7 15:39:29

謝謝樓主無私的分享!!

路人甲一 · 发表于 2016-7-7 15:07:15

感谢您的分享

zhlpen · 发表于 2016-7-7 15:05:15

谢谢所有努力制作词典的机油

usword · 发表于 2016-7-7 13:11:27

好东西，谢谢

pangyinglai · 发表于 2016-7-7 13:15:50

好东西，谢谢

mahuangyihao · 发表于 2016-7-7 13:39:21

很牛啊，多谢了

qwertzui · 发表于 2016-7-7 13:46:41

牛啊，多谢了

mitkyg · 发表于 2016-7-7 13:53:18

支持辛苦啦

wawxing · 发表于 2016-7-7 13:55:17

这个词典非常好，非常感谢！

865052004 · 发表于 2016-7-7 13:58:23

楼主太棒了，支持

浮生志远 · 发表于 2016-7-7 14:13:33

谢谢分享，好词典！

leungks2005 · 发表于 2016-7-7 14:13:56

《21世纪大英汉词典》全新数据抓取自有道

skydan05 · 发表于 2016-7-7 14:23:48

谢谢楼主qiuhao1112！！！

linting928 · 发表于 2016-7-7 14:24:06

楼主辛苦！感谢分享！！！！

只看该作者 · 发表于 2016-7-7 14:31:10

其实我觉得这种排版看着就挺舒服……

Tony89 · 发表于 2016-7-7 14:55:47

终于可以换了，多谢

[英汉] 【2016.08.28 ● 完结版】《21世纪大英汉词典》有道全新数据词条：334,621

评分

本帖被以下淘专辑推荐:

点评

评分

点评

点评

[英汉] 【2016.08.28 ● 完结版】《21世纪大英汉词典》有道全新数据 词条：334,621

评分

本帖被以下淘专辑推荐:

点评

评分

点评

点评

[英汉] 【2016.08.28 ● 完结版】《21世纪大英汉词典》有道全新数据词条：334,621