从光盘版提取数据制作 mdx 的难度[20160118]

Oeasy · 发表于 2016-1-18 22:45:37

本帖最后由 Oeasy 于 2016-1-18 23:57 编辑

制作 mdx ，数据很关键，巧妇难为无米之炊。
遇到能提供新的数据的，我都屁颠屁颠像过年一样。
新数据是很难得的，由于你懂的一些原因，尤其是天朝，词典数据现在都是加密加密又加密，上锁上锁又上锁，出版社没有绝对的把握，是不会出电子版的，出电子版甚至有奇葩的图片版。
这里也呼吁一下，大家有条件的话，请支持正版纸版和电子版。广大 mdx 制作者发布 mdx ，很难讲是为了大家省钱的，主要是自己用着方便，顺便分享。传播版权品是违法的，不过目前违法成本不高，而且发布的很多要么本身无版权，要么版权所有者。。。不懂中文，所以……
我这儿也有点站着说话不腰疼了，大家懂我的意思就好。要说盗版的传播者和受益者，我在本论坛可以说首屈一指了，所以你看我多久没发东西了。。。
根据我对版权法的研究，其实只要你购买了正版书籍、电子版，再下个相应的 mdx ，那就无所谓侵权了，you buy it, you own it 。但是传播者、牟利者就不一定了，这说起来就很复杂了。
以上是题外话。
言归正传。

从光盘版提取数据制作 mdx 的难度[20160118]
答案：肯定是可以的，但是难度一般是很大的。

成功的案例：

〇、
ru-board 上某几位大神，几年前提取、制作了大量的 Lingvo 格式的词库，很多都来源于光盘软件版，但是从来没有公开过方法。当然，其实不同的光盘、软件，有着不同的提取方法，公开了方法，没有深厚的基础，也是看不懂、用不来的。
公开了方法，反而给自己找麻烦，一则版权方可能来骚扰，二则小白们不停上门“求教”、“求助”，相当于要教小学生做拉普拉斯变换，正常人哪来那么多时间和兴致，习大大会和你我探讨治国方略吗？

一、
superfan89 是论坛里的提取大神，最早的《牛津高階英漢雙解詞典》（第 7 版）、LDOCE5 等，有道词典里的《21世纪大英汉词典》等等等等等等都是他提取的。
IDMSKconv 是 superfan 分享的一个工具，https://github.com/superfan89/IDMSKconv ，可以提取早年 IDM 出品的一些光盘，如 OALD7/8、LDOCE5 等。OALD9 等已经不能用这程序提取了，其他非 IDM 家的软件，那肯定是用不了的，一把钥匙配一把锁，这奔驰的钥匙哪能开宝马啊。

二、
Hugh 版 SOED6 https://www.pdawiki.com/forum/fo ... hread&tid=11746
大家知道，很多 mdx 其实都是从 dsl 转过来的，但是 Hugh 版 SOED6 并不是，ru-board 上那个不太好看的公开的 SOED6 的数据还是我不小心提供出去的。
SOED6 光盘版数据的提取者某神有着二十余年的编程经验，也花了不少功夫才提取出来，这其中难度，大家可以想象。

----
向大神们致敬。很多事情，非不能也，实不为也。
其实学习、制作 mdx 的黄金时间是学生时代，尤其本科时间，论坛一些大神就是学生阶段做了不少，一则有这方面的需求，二则有时间，三则顺便也学点计算机技术。等到工作了，现实、生活各种压力就来了，提取、制作工作需要大块大块的连续时间，哪去找那时间。

我只是个小人物而已，其实根本没有强大的技术，提取基本不会，爬虫通了两窍，还有就是会发些水贴而已。

我也在绞尽脑汁想办法，思考如何能吸引大神的注意力，希望能“霸占”多点他们时间，技术难学，人才难得啊。

----
制作的难度，我用金钱量化一下，更加直观，我这里只是做一个说明。
抓网页吧，我以前向专门搞这个的公司了解过，一条一分钱，而且不给处理，特殊的（比如制作为 mdx ）更要加价，当然，找兼职、在校同学的可能要便宜些。
提取软件数据，这就有价无市了，报价几百几千几万的都有，但是，能真正提取出来的，那是一个没遇到。
所以这事儿，还得靠兴趣。有兴趣，有技术，无敌了。
时间成本，那就更大了。如果我能花钱找到另一个我，帮我做 mdx 、敲字、校对、索引的话，我是丝毫不会犹豫的。制作 mdx 这个过程，我并不怀念，也并不享受。当然，看到成品的那一刻，还是稍微有点喜悦的。
排版制作一个像 Hugh 版 SOED6 那样的 mdx ，光算排版时间，一百小时那还算少的。甚至还涉及到讨论、请教、沟通。sunsmile 的 RegEx Dotext https://www.pdawiki.com/forum/fo ... hread&tid=11430 ，如果我没记错的话，当时就是专门为排版 SOED6 设计的工具。

----
最后再科普下。
mdx 来源比较多，参考：
chigre 制作MDX词典的简略经验 https://www.pdawiki.com/forum/fo ... hread&tid=10203

①在线词典离线化
②实体词典电子化
③从其他词典格式转

①在线词典离线化
这个难度要看是什么样的在线词典。有的在线词典很容易，有的就很难甚至不可以制作。
爬虫这个东西，精通的话，年薪**不是梦，有兴趣的同学可以去问问某大年薪多少。

②实体词典电子化
这个事情，花钱都找不到合适的人干。
http://tieba.baidu.com/p/2331683268

③从其他词典格式转
从 lsd/dsl 、bgl 、ld2、mobi/epub 等转制，难度其实不大，当然，要排版得精致、漂亮，也不容易，需要很多时间、耐心。
从 PDF 转制，难度不小，扫描版 PDF ，要做文字版，那就难于登天了，相当于把砖头变黄金。
从 app 转制，有的难度不大，有的难度非常大。
从光盘/软件版转制，有的难度不大，有的难度非常大，类似于去瑞士银行撬保险柜，有这个技术的程序员，对数据加密解密、对计算机的理解，那是深不可测，放到市场上，那都抢着要。

-------
以上信息供参考。

meigen · 发表于 2016-1-19 08:39:28

还是隔壁的词典好，从以前的epwing，到现在某三大公司制作的apple词典，提取难度几乎为0。可能是霓虹金的版权意识很高吧，干脆数据就不加密了，大家也开心

Hugh · 发表于 2016-1-18 23:12:57

难得这个论坛永远有新鲜的空气。

Hugh · 发表于 2016-1-18 23:13:19

难得这个论坛永远有新鲜的空气。

所以这事儿，还得靠兴趣。有兴趣，有技术，无敌了。

喬治兄 · 发表于 2016-1-19 00:15:50

本帖最后由喬治兄于 2016-1-19 00:18 编辑

Oeasy 版大:
您點到重點也提到痛點
重點

很难讲是为了大家省钱的，主要是自己用着方便，顺便分享。

痛點...........

在不知mdx之前
小弟曾用最蠢的土法煉鋼的法把某字典數據灌出一些來,花了相當的心力,也搞得人仰馬翻
後來又看到有同樣的mdx比了一下才知只灌出一半的數據
但這一詞典也成了我最常用的辭典了

誠如 Oeasy 兄說的

主要是自己用着方便

自己發的時間心力和精神都絕對足以買好幾十套
但為什如此辛苦,若字典的平台不好查或查的方法很多限制
那不就是好的字典或平台
不支持萬用字查詢,全文搜查,只能查一本,,,,,{現在市面上還很多這種字典,比比皆是}
這些缺失都是促成使用者更換字典平台和字典
和自己動手製作

這些過程都充滿著樂趣和挑戰

transport · 发表于 2016-1-19 08:25:47

真得感谢大神们，这个活肯定是非常难，主要是兴趣，否则很难坚持下去。

dothu · 发表于 2017-4-13 08:53:12

说的不错，只有动过手的人才知道。

guoyuying · 发表于 2018-1-30 16:41:26

非常感谢大神分享！

大橙子 · 发表于 2018-1-31 08:20:58

对于 app、软件之类，是不是也可以类似抓取网页那样，一个个输入词条，把结果保存下来。这样只要有个词头列表就可以了。比破解数据加密之类的简单吧。

[讨论] 从光盘版提取数据制作 mdx 的难度[20160118]

点评