查看: 20343|回复: 386
打印 上一主题 下一主题

[工具] ⚜【支持超大文件】Python MDX词典打包工具 2019-11-19更新

  [复制链接]
  • TA的每日心情
    奋斗
    2020-11-15 11:37
  • 签到天数: 249 天

    [LV.8]以坛为家I

    20

    主题

    1368

    回帖

    4万

    积分

    状元

    牛津爱好者

    Rank: 9Rank: 9Rank: 9

    积分
    41348

    灌水大神章小蜜蜂章笑傲江湖章QQ 章推广专家

    跳转到指定楼层
    1
    发表于 2019-10-9 03:46:36 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
    本帖最后由 lgmcw 于 2020-11-19 22:31 编辑

    这帖target的是硬核玩家,希望对有需要的人有所帮助。代码比较乱,拖了好久都懒得整理,正好朋友又找我需要,趁着一鼓作气整理出来就正好也贴在论坛里吧。我这里不跟进你那边的环境调试了,如果有运行错误自己修一下(python3可参考楼下的修改经验);不过还是鼓励回帖反馈。对我以后做新人友好版有帮助。
    以后我会做一款带GUI的,针对小白玩家。

    入口文件,运行genMDX_ox4.py即可开始打包,附了一个牛津4的txt源码,我已经调试好,确保在我这里能工作,下载后可以直接运行用来测试程序。我的所有字典都是用这个程序打包,暂时没什么大问题。词条数最多我试过的简明英汉400多万词头;体积最大的OED,txt源码就有2.4G;这些打包都毫无压力。不过我这边还在用老古董python2.7;python3应该也能用,如果报错,可能需要自己debug一下。
    genMDX_ox4.py is the entrance file you want to use in CMD/terminal. I've also enlcosed a OALD4_azure.txt for testing purpose.



    Windows下运行举例(需安装python):


    相较于原版我主要改了两个地方:
    1. 在代码里,以前一个字典的key只能对应唯一个value。而MDict完全支持多个相同词头对应多个意思。所以我改了代码,让一个字典的key可以对应多个value
    2. 修改排序算法,原版是用的默认python排序,输出的文件在MDict简直不能查。GD勉强能查。



    Python实现的txt转MDX代码:

    本帖隐藏的内容

    链接:https://pan.baidu.com/s/1wdRZXRvQBfyS3AVDGmiD0g  提取码:avqf

    欢迎提建议
    ⚜ 感兴趣可以看看我的其他字典,绝大部分都公开分享。






    评分

    5

    查看全部评分

    本帖被以下淘专辑推荐:

    该用户从未签到

    3

    主题

    46

    回帖

    3524

    积分

    贡士

    Rank: 6Rank: 6

    积分
    3524
    来自 281楼
    发表于 2021-7-23 14:38:37 | 只看该作者
    python3.8.9调试成功!

    做了如下修改:

    1.genMDX_ox4.py

    (1)注释掉前三行# -*- coding: GBK -*-  # coding: utf-8  # encoding=utf8,解决SyntaxError: encoding problem: GBK

    (2)注释掉import sys  reload(sys)  sys.setdefaultencoding('utf-8'),python3不需要了

    (3)打开、写入的文件加上当前路径(import os;current_path = os.path.dirname(__file__);current_path+"/OALD4_azure.txt",),解决No such file or directory:

    (4)大神提示OALD4_azure.txt、about_OX4.txt使用utf-8格式。我试了下,两个文件转换为gb2312,代码修改为encoding='ANSI',也可以成功。另外,goldendict可以打开这两种编码的mdx,mdictpc版只能打开ANSI编码的mdx文件。

    2.writemdict.py

    修改 from cgi import escape为 from html import escape,解决cannot import name 'escape' from 'cgi' ,因为python3 cgi.py里面已经没有escape了。换成html,可以用,暂未发现问题。

    评分

    1

    查看全部评分

  • TA的每日心情
    郁闷
    2023-2-14 10:00
  • 签到天数: 496 天

    [LV.9]以坛为家II

    7

    主题

    908

    回帖

    9574

    积分

    进士

    Rank: 8Rank: 8

    积分
    9574
    推荐
    发表于 2019-12-6 14:19:04 | 只看该作者
    我的是Python3.7的,genMDX_ox4.py文件里面的
    imp.reload(sys)改为:
    import importlib
    importlib.reload(sys)
    然后删掉:sys.setdefaultencoding("utf-8")
    测试通过。

    但是生成的词典,用SourceEditor打不开,PC版GoldenDict,安卓版欧路可以打开。汇报完毕。

    评分

    1

    查看全部评分

    该用户从未签到

    0

    主题

    30

    回帖

    103

    积分

    童生

    Rank: 2

    积分
    103
    推荐
    发表于 2023-3-9 22:28:50 | 只看该作者
    好的,感谢老铁啊

    该用户从未签到

    0

    主题

    10

    回帖

    44

    积分

    白身

    Rank: 1

    积分
    44
    推荐
    发表于 2023-3-8 14:04:03 | 只看该作者
    感谢大神分享
  • TA的每日心情
    慵懒
    2 小时前
  • 签到天数: 46 天

    [LV.5]常住居民I

    0

    主题

    83

    回帖

    2104

    积分

    解元

    Rank: 5Rank: 5

    积分
    2104
    推荐
    发表于 2023-2-14 11:51:09 | 只看该作者
    感谢楼主分享

    该用户从未签到

    1

    主题

    110

    回帖

    793

    积分

    举人

    Rank: 4

    积分
    793
    推荐
    发表于 2022-12-30 17:34:07 | 只看该作者
    谢谢高手无私分享这么好的教程
  • TA的每日心情
    开心
    2021-11-18 11:26
  • 签到天数: 3 天

    [LV.2]偶尔看看I

    22

    主题

    170

    回帖

    617

    积分

    举人

    Rank: 4

    积分
    617
    推荐
    发表于 2022-12-28 10:39:48 | 只看该作者
    试试看,谢谢大佬
  • TA的每日心情

    2022-5-16 09:51
  • 签到天数: 208 天

    [LV.7]常住居民III

    1

    主题

    389

    回帖

    3275

    积分

    贡士

    Rank: 6Rank: 6

    积分
    3275
    推荐
    发表于 2019-12-9 09:53:05 | 只看该作者
    反馈个问题,直接跑大佬的源码,在mac上会报如下错误:
    Traceback (most recent call last):
      File "genMDX_ox4.py", line 14, in <module>
        reload(sys)
    NameError: name 'reload' is not defined

    解决:
    注释掉文件line14和line15,即可

    点评

    应该是python3和python2.7的区别  发表于 2019-12-9 10:15

    评分

    1

    查看全部评分

  • TA的每日心情
    慵懒
    2023-1-18 13:13
  • 签到天数: 539 天

    [LV.9]以坛为家II

    14

    主题

    1495

    回帖

    1万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    17223

    灌水大神章QQ 章

    推荐
    发表于 2019-10-9 08:44:33 | 只看该作者
    谢谢L大,等了1年了。
  • TA的每日心情
    郁闷
    2022-12-3 17:14
  • 签到天数: 1 天

    [LV.1]初来乍到

    0

    主题

    8

    回帖

    13

    积分

    白身

    Rank: 1

    积分
    13
    推荐
    发表于 前天 17:40 | 只看该作者
    谢谢大佬 都是好东西来晚了 就看到要关站
  • TA的每日心情
    开心
    2023-2-21 17:06
  • 签到天数: 227 天

    [LV.7]常住居民III

    6

    主题

    544

    回帖

    4万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    44848

    QQ 章

    2
    发表于 2019-10-9 06:37:56 | 只看该作者
    先收藏再研究,谢谢分享
  • TA的每日心情
    无聊
    2021-8-13 07:38
  • 签到天数: 195 天

    [LV.7]常住居民III

    0

    主题

    657

    回帖

    3157

    积分

    贡士

    Rank: 6Rank: 6

    积分
    3157
    4
    发表于 2019-10-9 07:00:20 | 只看该作者
    thanks a lot
  • TA的每日心情
    开心
    2018-8-8 03:13
  • 签到天数: 1 天

    [LV.1]初来乍到

    254

    主题

    4264

    回帖

    7万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    79050

    小蜜蜂章笑傲江湖章灌水大神章QQ 章

    QQ
    5
    发表于 2019-10-9 07:09:48 | 只看该作者
    感謝 lgmcw 兄:
    分享
    【支持超大文件】Python打包MDX词典工具

    非常需要此超大文件打包, 有的文件再合併後再用 mdxbuilder 打包MDX弄不出來
    謝謝仁兄分享此重量級工具
  • TA的每日心情
    擦汗
    2022-5-20 11:41
  • 签到天数: 222 天

    [LV.7]常住居民III

    1

    主题

    555

    回帖

    7322

    积分

    会元

    Rank: 7Rank: 7Rank: 7

    积分
    7322

    灌水大神章

    6
    发表于 2019-10-9 07:54:53 | 只看该作者
    謝謝分享資源
  • TA的每日心情
    开心
    昨天 07:35
  • 签到天数: 1955 天

    [LV.Master]伴坛终老

    0

    主题

    2541

    回帖

    2万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    25504

    灌水大神章QQ 章

    7
    发表于 2019-10-9 08:05:03 | 只看该作者
    好东西,学习学习,谢谢楼主分享技术
  • TA的每日心情
    开心
    2020-1-5 08:04
  • 签到天数: 50 天

    [LV.5]常住居民I

    307

    主题

    854

    回帖

    3万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    34219

    QQ 章

    8
    发表于 2019-10-9 08:19:19 | 只看该作者
    謝謝分享此重量級工具,感谢 !

    点评

    如果是古籍文献,有可能需要用UTF-16。要自己摸索一下修改入口文件。  发表于 2019-10-10 01:04
  • TA的每日心情
    开心
    2022-1-21 00:52
  • 签到天数: 699 天

    [LV.9]以坛为家II

    17

    主题

    1754

    回帖

    1万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    19738
    9
    发表于 2019-10-9 08:28:06 | 只看该作者
    学习,谢谢楼主分享技术,争取以后逐步从小白玩家进化到硬核玩家。
  • TA的每日心情
    无聊
    2020-12-19 21:10
  • 签到天数: 21 天

    [LV.4]偶尔看看III

    1

    主题

    93

    回帖

    9850

    积分

    进士

    Rank: 8Rank: 8

    积分
    9850
    11
    发表于 2019-10-9 09:06:01 | 只看该作者
    谢谢l大,准备考研结束后就折腾折腾
  • TA的每日心情
    奋斗
    2021-3-15 08:06
  • 签到天数: 585 天

    [LV.9]以坛为家II

    5

    主题

    967

    回帖

    6428

    积分

    禁止发言

    积分
    6428
    12
    发表于 2019-10-9 09:07:57 | 只看该作者
    非常感谢你的分享。
  • TA的每日心情
    奋斗
    2023-2-19 20:22
  • 签到天数: 682 天

    [LV.9]以坛为家II

    2

    主题

    736

    回帖

    1万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    13024
    13
    发表于 2019-10-9 09:21:53 | 只看该作者
    好东西 谢谢分享
  • TA的每日心情
    无聊
    2022-9-25 21:09
  • 签到天数: 1136 天

    [LV.10]以坛为家III

    17

    主题

    3142

    回帖

    2万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    25289

    灌水大神章

    14
    发表于 2019-10-9 09:30:46 | 只看该作者
    請問 mdxbuilder 目前能處理的文檔大概是多大?
  • TA的每日心情

    2019-9-20 08:37
  • 签到天数: 214 天

    [LV.7]常住居民III

    18

    主题

    664

    回帖

    2万

    积分

    翰林院编修

    Rank: 11Rank: 11Rank: 11Rank: 11

    积分
    25831

    灌水大神章小蜜蜂章笑傲江湖章翰林院专用章管理组专用章

    15
    发表于 2019-10-9 10:06:07 | 只看该作者
    还是可以指定输入文件的命令行方式不较好
    比如 python genMDX.py source.txt about.txt
  • TA的每日心情

    2022-12-14 17:52
  • 签到天数: 301 天

    [LV.8]以坛为家I

    2

    主题

    536

    回帖

    3602

    积分

    贡士

    Rank: 6Rank: 6

    积分
    3602

    QQ 章

    16
    发表于 2019-10-9 10:14:53 | 只看该作者
    emmm论坛有个excel转mdx的工具很不好用。。。
  • TA的每日心情
    开心
    前天 18:05
  • 签到天数: 708 天

    [LV.9]以坛为家II

    28

    主题

    1178

    回帖

    2万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    27051
    17
    发表于 2019-10-9 16:54:33 | 只看该作者
    感谢分享,看看,学习一下
  • TA的每日心情
    奋斗
    2020-11-15 11:37
  • 签到天数: 249 天

    [LV.8]以坛为家I

    20

    主题

    1368

    回帖

    4万

    积分

    状元

    牛津爱好者

    Rank: 9Rank: 9Rank: 9

    积分
    41348

    灌水大神章小蜜蜂章笑傲江湖章QQ 章推广专家

    18
     楼主| 发表于 2019-10-10 01:02:33 | 只看该作者
    HMPT 发表于 2019-10-9 10:06
    还是可以指定输入文件的命令行方式不较好
    比如 python genMDX.py source.txt about.txt ...

    这个其实改一下入口文件就能实现,应该不难的。
  • TA的每日心情
    奋斗
    2020-11-15 11:37
  • 签到天数: 249 天

    [LV.8]以坛为家I

    20

    主题

    1368

    回帖

    4万

    积分

    状元

    牛津爱好者

    Rank: 9Rank: 9Rank: 9

    积分
    41348

    灌水大神章小蜜蜂章笑傲江湖章QQ 章推广专家

    19
     楼主| 发表于 2019-10-10 01:03:25 | 只看该作者
    本帖最后由 lgmcw 于 2019-10-10 01:58 编辑
    oversky 发表于 2019-10-9 09:30
    請問 mdxbuilder 目前能處理的文檔大概是多大?

    你可以咨询一下@喬治兄 ,他可是屡屡遇到上限。
  • TA的每日心情
    无聊
    2022-9-25 21:09
  • 签到天数: 1136 天

    [LV.10]以坛为家III

    17

    主题

    3142

    回帖

    2万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    25289

    灌水大神章

    20
    发表于 2019-10-10 07:27:37 | 只看该作者
    lgmcw 发表于 2019-10-10 01:03
    你可以咨询一下@喬治兄 ,他可是屡屡遇到上限。

    谢谢您的指引。

    该用户从未签到

    1

    主题

    19

    回帖

    63

    积分

    白身

    Rank: 1

    积分
    63
    21
    发表于 2019-10-10 11:24:07 | 只看该作者
    很有用的工具
  • TA的每日心情
    开心
    2021-4-24 17:14
  • 签到天数: 119 天

    [LV.6]常住居民II

    1

    主题

    225

    回帖

    2192

    积分

    解元

    Rank: 5Rank: 5

    积分
    2192
    22
    发表于 2019-10-10 11:45:08 | 只看该作者
    非常感谢分享!
  • TA的每日心情
    奋斗
    2020-11-15 11:37
  • 签到天数: 249 天

    [LV.8]以坛为家I

    20

    主题

    1368

    回帖

    4万

    积分

    状元

    牛津爱好者

    Rank: 9Rank: 9Rank: 9

    积分
    41348

    灌水大神章小蜜蜂章笑傲江湖章QQ 章推广专家

    23
     楼主| 发表于 2019-10-12 12:38:31 | 只看该作者
    喬治兄 发表于 2019-10-9 07:09
    感謝 lgmcw 兄:
    分享  
    非常需要此超大文件打包, 有的文件再合併後再用 mdxbuilder 打包MDX弄不出來

    兄弟可测试通过,此工具可还好用?
  • TA的每日心情
    开心
    2018-8-8 03:13
  • 签到天数: 1 天

    [LV.1]初来乍到

    254

    主题

    4264

    回帖

    7万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    79050

    小蜜蜂章笑傲江湖章灌水大神章QQ 章

    QQ
    24
    发表于 2019-10-12 12:48:11 | 只看该作者
    lgmcw 发表于 2019-10-12 12:38
    兄弟可测试通过,此工具可还好用?

    謝謝 lgmcw 兄關心,小弟還未試呀,小弟會盡快試試,若有困難再向仁兄請益,謝謝啦!
  • TA的每日心情
    开心
    2019-3-26 21:36
  • 签到天数: 178 天

    [LV.7]常住居民III

    16

    主题

    549

    回帖

    2万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    26462

    QQ 章

    25
    发表于 2019-10-12 15:33:11 | 只看该作者
    本帖最后由 流星冲击 于 2019-10-12 15:37 编辑

    1. 在代码里,以前一个字典的key只能对应唯一个value。而MDict完全支持多个相同词头对应多个意思。所以我改了代码,让一个字典的key可以对应多个value。

    之前我和zzzz_sleep讨论过“以前一个字典的key只能对应唯一个value”的问题,他给出的方法是让类Mdict套壳的软件/app的作者去解决,例如用@@@link和a href=词头#锚跳相混合实现查询多个value的方式(具体zzzz_sleep给出的代码的用法我也忘记了,不过印象中还是基于一个key对应一个value的用法),现在楼主这个工具直接从代码层修改一个key对应多个value,这个要给个赞!

    2. 修改排序算法,原版是用的默认python排序,输出的文件在MDict简直不能查。GD勉强能查。

    我没用Mdict_PC来查询生成的mdx,对于GoldenDict,我看了某些帖子的说法,GD是全部提取mdx的headwords为一个缓存文件而不依赖原生的mdx算法的排序的,相同词头(例如a和A)是以类似多本词典联合查询单词的方式在一个页面内列出所有a和A词头的内容的,如果GD不依赖原生的mdx算法排序,楼主说“GD勉强能查”是单词基本能查询,不过不按照Azure排序(dot,doT,dOt...)这样排列下来?
    手机端的app,以Azure排序,单本词典查询的模式下,安卓mdcit和平典app(平典app可能有些带符号的单词查不到什么的,平典以前的国庆版本就查不到楼主你用python生成的新牛津v2.3.0 beta的单词词头)查询是完美支持这种排序的,而不是原生A再到a这样下来。深蓝dict不能单本词典模式查词,所以不能看到多个a和A,a和A的内容会挤在一个界面,由于不能单本查词,ff大的朗文5++ v1.3.5的气球在滑动单词页面时不能固定在右下角(直接在单词页面最右下角,对于长内容,需要滑动到页面最底部)。欧路app未测试。