查看: 52327|回复: 107
打印 上一主题 下一主题

[工具] 分享:i-wiki的中文WJ新引擎及教程

[复制链接]

该用户从未签到

7

主题

81

回帖

2460

积分

解元

Rank: 5Rank: 5

积分
2460

灌水大神章小蜜蜂章笑傲江湖章

跳转到指定楼层
1
发表于 2012-7-15 11:37:27 | 只看该作者 |只看大图 回帖奖励 |倒序浏览 |阅读模式
本帖最后由 i-wiki 于 2013-4-9 08:59 编辑

四月至今,发布了两个WJ百科词典,参见:
https://pdawiki.com/forum/thread-8946-1-6.html
https://pdawiki.com/forum/thread-9378-1-1.html
你还期待i-wiki继续发布新的吗?
谢谢大家的支持!可是,也许要让大家失望了,我不会再继续更新,除非有新的突破。
所以,今后大家要自己制作词典了。古语有云:“授人鱼,不如授人以渔”。虽然i-wiki不再发布新的词典,但是他自制的中文维基引擎就要和大家分享了,你也一样可以制作出精美的维基词典!

之前也有坛友问到试用引擎的事,可是程序还不完善,不好意思拿出来和大家见面。经过这一段时间的修改,自我感觉基本可用了,加上现在程序编写也遇到了瓶颈,索性就放出来让大家一起来试用,在使用中逐步改进。
如果你能容忍6-13版的缺点,那么请接着往下看。
先上图,揭开新引擎的面纱。




一、硬件要求:
配置总之越高越好。我自己制作2012-6-13版时用的笔记本是几年前的ThinkPad X200,CPU是酷睿II双核P8200(2.2GHz),内存2GB。大家现在的配置应该比这更好。

二、软件环境:
在Windows XP中新引擎是绿色的,无需安装可直接运行。XP前的系统恐怕不行,之后的其他系统我没有测试,大家不妨试一试。

三、操作步骤:
1、先下载中文维基文档,解压为XML;
2、将此大文档分解为若干个100M左右的小文档;
3、复制本程序到xml文档所在目录,或生成与本程序同名的.ini文本文件:
    src=待处理的XML文件目录
    tar=输出目录
    xml文件名列表
4、运行本程序,处理完毕后可执行生成的.bat批处理文件将输出文件合并
5、将生成的cfg文件复制到MdxBuilder目录
6、运行MdxBuilder.exe,制作词典。

四、简要说明:
  A.本程序主要用于解析维基百科的Dump数据文件,生成符合MDict格式的Html文本文件。
  B.Dump数据文件必须分割为小于128MB的部分以便处理,超过128MB的文件会被忽略。
  C.操作步骤是可选的,点击链接可执行相应的步骤,第6步包含了第5步的复制操作。
  D.如直接点击处理按钮则相当于从第3步开始,即对程序所在目录下的XML文件转换。
  E.本程序遵循Copyleft规范,详见维基百科中的相关条目。

新引擎在这里
W2T.part1.rar (507.81 KB, 下载次数: 389)
W2T.part2.rar (497.51 KB, 下载次数: 403)

五、文件说明:
下载后只有1个主文件W2T.exe,Examples目录是给大家测试用的。运行后会在程序目录生成:
E2C.ini        英中对照表。想到好多坛友都是英语高手,所以放出来让大家帮忙修改,如果看到条目中信息框中翻译得不好的、没有翻译的,大家就在这个表中修改、添加。
W2T.ini        待处理XML文件列表。运行完毕会删除。
在源文件夹下,执行“分解”操作后会生成:(如Dumps解压文件为w.xml)
w01.xml        <128MB的分块
w02.xml

w.idx        索引文件。没有它也可以的,就按article中的关键字生成超链接,但是有些链接(在线维基中的红色关键字)实际没有相应条目。
在目标文件夹下,运行后会生成:
w01.xml.txt
w02.xml.txt

wiki.bat        合并生成wiki.txt的批处理程序
mdxconfig.cfg
还有数据文件夹
data\
其中包含三个文件:
wiki.css        层叠样式表,大家可以修改成你喜欢的格式。
link.gif
wiki.png
和很多两字母命名的文件夹,里面是公式图片

因为论坛里附件不能下载的原因,所以想尝试的朋友可以到网盘
http://pan.baidu.com/share/link?shareid=253240&uk=19473610

评分

2

查看全部评分

本帖被以下淘专辑推荐:

该用户从未签到

1

主题

18

回帖

101

积分

童生

Rank: 2

积分
101

灌水大神章小蜜蜂章笑傲江湖章

推荐
发表于 2014-7-12 15:15:03 | 只看该作者
本帖最后由 abdallha 于 2014-7-14 15:24 编辑
他乡游子 发表于 2013-6-17 12:55
有些词无法解析
如:藍岩鬣蜥
    神韵艺术团


我正在转换20140705的dump,在第17个文件碰到了“藍岩鬣蜥”,和楼上同学反映的一样程序出错了。经过反复试验,发现是在这一句中出错的:
  1. “ 另外,傳統的農地變更成畜牧的草場也影響藍岩鬣蜥的次級棲息地。<ref name="iucn">{{IUCN2006|assessors=Burton, F.J.|year=2004|id=44275|title=Cyclura lewisi|downloaded=9 May 2006}}</ref>”
复制代码
仔细研究后发现是该句中的标签<ref name="iucn">漏了加斜杠符号。于是用Ultraedit编辑该xml文件,将该标签改成<ref name="iucn"/>,以UTF-8格式保存,重新运行i-wiki引擎,就顺利通过了。

然后在第26个文件碰到“神韵艺术团”,报同样错。发现是在:
  1. “還有扇子、筷子和水袖等。<ref name="=A dazzling show with a clear message"/><ref name="Women flow like water in spectacle"/>{{cite news|language= {{en}} | author = Sid Smith | coauthors = | url =http://articles.chicagotribune.com/2008-01-28/features/0801270151_1_dance-chinese-traditional |title = Women flow like water in spectacle |publisher =Chicago tribune | pages =| date = 2008-01-28|accessdate = 2012-12-29|In many respects, the Chinese New Year Spectacular resoundingly lives up to its name. The term "spectacular" may whiff of self-promotion, but the show, which played Arie Crown Theater over the weekend, is indisputably a spectacle. Dozens of dancers and musicians flood the stage in a parade of brightly colored, intricately detailed silken costumes, while the instrumentation ranges from traditional drums to bunches of chopsticks.}}</ref>”
复制代码
这句出错,仔细研究后发现是该句中的标签<ref name="Women flow like water in spectacle"/>多加了一个斜杠符号,删去该斜杠,保存,重新运行,OK了。
  • TA的每日心情
    开心
    2022-5-1 20:57
  • 签到天数: 13 天

    [LV.3]偶尔看看II

    0

    主题

    19

    回帖

    882

    积分

    举人

    Rank: 4

    积分
    882
    推荐
    发表于 2021-11-11 22:56:03 | 只看该作者
    请问大家,把XML分割成128M一下大小文件,用的什么工具。我在网络上找了几款,比如WXR FILE SPLITTER等,把XML导入后程序都是卡住不动,
    我现在用的版本是2021年11月1号的,大小2.12G,解压缩后的XML达到9.41G。
    谢谢啦
  • TA的每日心情
    开心
    2018-4-28 13:02
  • 签到天数: 1 天

    [LV.1]初来乍到

    2

    主题

    19

    回帖

    229

    积分

    童生

    Rank: 2

    积分
    229
    推荐
    发表于 2014-10-28 22:07:13 | 只看该作者
    glsgls123 发表于 2012-8-21 14:15
    楼主~转换日文wiki,到part7 “捕手”出现这个怎么办?在google上查了一下,有一种可能是地区码设置引起 ...

    直接在源文件里把这个捕手条目删除就好了。有2个。

    该用户从未签到

    2

    主题

    502

    回帖

    1062

    积分

    解元

    Rank: 5Rank: 5

    积分
    1062

    灌水大神章

    2
    发表于 2012-7-15 12:33:50 | 只看该作者
    本帖最后由 2000ml 于 2012-7-18 10:00 编辑

    当然期待!在大侠你有时间和精力的前提下,希望可以精益求精、与时并进。感谢!//可是,做一名优秀的渔夫也需要潜质和条件…//还是谢谢楼主用心良苦!
  • TA的每日心情
    慵懒
    2020-12-11 08:19
  • 签到天数: 104 天

    [LV.6]常住居民II

    30

    主题

    2044

    回帖

    1万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    11260

    灌水大神章小蜜蜂章笑傲江湖章

    3
    发表于 2012-7-15 12:40:58 | 只看该作者
    期待中!

    该用户从未签到

    3

    主题

    123

    回帖

    672

    积分

    禁止发言

    积分
    672
    4
    发表于 2012-7-15 15:43:57 | 只看该作者
    挺好的啊,我两个都下了,因为我对公式很关注,所以公式一般就是我评判好坏的唯一标准
    6月13的版本可以说公式已经非常完美了,和superfan的相同,也是用图片来表示公式的,而且图片比superfan老大的小一些清晰一些,这个我感觉非常好,但是整体来说,总感觉排版没有superfan老大的清爽,可能和字体的选择和大小有关,楼主可以拿“导数”词条做个对比
    我用的是手机,640*480的屏,供楼主参考
    非常感谢,感觉以后应该会更好

    该用户从未签到

    13

    主题

    454

    回帖

    3027

    积分

    贡士

    Rank: 6Rank: 6

    积分
    3027

    灌水大神章

    5
    发表于 2012-7-15 16:32:52 | 只看该作者
    我打算在9月份以后先HTTP请求简体中文页面,做一个图文版。到时公开数据包的文件路径,这样大家就可以制作图文版。

    以下为废话……
    我的Wiki引擎还在构思中,目前的难题是解析模板和函数。至于数学公式,我想自学下Latex相关部分。
  • TA的每日心情

    2018-6-16 00:08
  • 签到天数: 197 天

    [LV.7]常住居民III

    16

    主题

    1663

    回帖

    6575

    积分

    禁止发言

    积分
    6575

    小蜜蜂章笑傲江湖章灌水大神章

    6
    发表于 2012-7-15 17:48:29 | 只看该作者
    当然当然,非常期待哈。
  • TA的每日心情
    郁闷
    2018-5-28 23:05
  • 签到天数: 1 天

    [LV.1]初来乍到

    0

    主题

    33

    回帖

    739

    积分

    举人

    Rank: 4

    积分
    739
    7
    发表于 2012-7-15 18:42:28 | 只看该作者
    期待图文版
  • TA的每日心情

    2018-1-21 02:01
  • 签到天数: 2 天

    [LV.1]初来乍到

    4

    主题

    27

    回帖

    398

    积分

    秀才

    Rank: 3Rank: 3

    积分
    398
    8
    发表于 2012-7-15 19:33:03 | 只看该作者
    很期待,你做的比所有的XD做的都要精美一些,如果可能,希望XD 能一直更新哪!

    该用户从未签到

    18

    主题

    130

    回帖

    1220

    积分

    解元

    Rank: 5Rank: 5

    积分
    1220
    9
    发表于 2012-7-15 21:56:43 | 只看该作者
    非常期待! 跪求!
  • TA的每日心情
    奋斗
    2020-11-29 07:39
  • 签到天数: 1 天

    [LV.1]初来乍到

    14

    主题

    930

    回帖

    981

    积分

    举人

    Rank: 4

    积分
    981
    10
    发表于 2012-7-15 23:47:05 | 只看该作者
    太强大了

    就有些名词词组,例如,HTC发布的很多机型的的词条重新定向,点击链接后,就单独个词条在那里,而没有具体内容……
  • TA的每日心情
    开心
    2018-7-14 15:08
  • 签到天数: 11 天

    [LV.3]偶尔看看II

    34

    主题

    875

    回帖

    4729

    积分

    贡士

    Rank: 6Rank: 6

    积分
    4729

    笑傲江湖章灌水大神章

    11
    发表于 2012-7-16 06:31:35 | 只看该作者
    挺好的啊,我两个都下了,因为我对公式很关注,所以公式一般就是我评判好坏的唯一标准
    6月13的版本可以说公式已经非常完美了,和superfan的相同,也是用图片来表示公式的,而且图片比superfan老大的小一些清晰一些, ...
    glacierrr 发表于 2012-7-15 15:43


    期待着,Superfan制作的也非常精美,一直是我常常使用的,他也说过要写一个详细的教程,可是我等呀,等呀%……

    该用户从未签到

    4

    主题

    41

    回帖

    447

    积分

    秀才

    Rank: 3Rank: 3

    积分
    447
    12
    发表于 2012-7-16 09:16:28 | 只看该作者
    非常期待,希望LZ能在下个版本中修复点击链接转跳,只有一个空的词条的bug。

    该用户从未签到

    7

    主题

    81

    回帖

    2460

    积分

    解元

    Rank: 5Rank: 5

    积分
    2460

    灌水大神章小蜜蜂章笑傲江湖章

    13
     楼主| 发表于 2012-7-16 09:23:12 | 只看该作者
    谢谢大家的支持!可是,可能要让大家失望,我不会再继续更新了。

    该用户从未签到

    7

    主题

    81

    回帖

    2460

    积分

    解元

    Rank: 5Rank: 5

    积分
    2460

    灌水大神章小蜜蜂章笑傲江湖章

    14
     楼主| 发表于 2012-7-16 09:32:49 | 只看该作者
    4# glacierrr

    你的视角很独特,公式的确是维基百科中重要的组成部分,刚开始我没有注意到的,经坛友提醒才发现问题。还好,这个难题用图片解决了。与Superfan类似,用Tex工具生成图片来处理。

    该用户从未签到

    7

    主题

    81

    回帖

    2460

    积分

    解元

    Rank: 5Rank: 5

    积分
    2460

    灌水大神章小蜜蜂章笑傲江湖章

    15
     楼主| 发表于 2012-7-16 09:49:11 | 只看该作者
    本帖最后由 i-wiki 于 2012-7-16 10:32 编辑

    5# 惟吾无为

    无为老弟的百度百科不错,几十GB的东西是很难下载和处理的,可你做到了。用Http方式也许是获得最接近在线维基版式的一种方法,期待你的加入,不过要考虑G.F.W会有一点影响。

    该用户从未签到

    93

    主题

    314

    回帖

    1642

    积分

    解元

    Rank: 5Rank: 5

    积分
    1642

    灌水大神章小蜜蜂章笑傲江湖章

    16
    发表于 2012-7-16 10:09:39 | 只看该作者
    很期待 高作

    该用户从未签到

    7

    主题

    81

    回帖

    2460

    积分

    解元

    Rank: 5Rank: 5

    积分
    2460

    灌水大神章小蜜蜂章笑傲江湖章

    17
     楼主| 发表于 2012-7-16 10:31:11 | 只看该作者
    12# qiyue2001 10# xianjue114

    经查看,的确是一个BUG。因为每一个关键字都要验证在索引中是否存在,如不存在则不作链接处理。程序中对于英文字串的比较有BUG,已修改。

    该用户从未签到

    13

    主题

    454

    回帖

    3027

    积分

    贡士

    Rank: 6Rank: 6

    积分
    3027

    灌水大神章

    18
    发表于 2012-7-16 13:15:05 | 只看该作者
    15# i-wiki


    只是设想,而且为了保证不影响服务器,到时会每个页面等待几秒,图片亦同。所以整体速度会慢些。
    到时先请求社区帮助,不然就只有逐个页面下载了。

    该用户从未签到

    7

    主题

    81

    回帖

    2460

    积分

    解元

    Rank: 5Rank: 5

    积分
    2460

    灌水大神章小蜜蜂章笑傲江湖章

    19
     楼主| 发表于 2012-7-16 17:48:25 | 只看该作者
    除非有新的突破,否则我不会再继续更新了。

    该用户从未签到

    7

    主题

    81

    回帖

    2460

    积分

    解元

    Rank: 5Rank: 5

    积分
    2460

    灌水大神章小蜜蜂章笑傲江湖章

    20
     楼主| 发表于 2012-7-17 08:49:46 | 只看该作者
    所以,今后大家要自己制作词典了。

    该用户从未签到

    7

    主题

    81

    回帖

    2460

    积分

    解元

    Rank: 5Rank: 5

    积分
    2460

    灌水大神章小蜜蜂章笑傲江湖章

    21
     楼主| 发表于 2012-7-17 17:18:32 | 只看该作者
    2012-07-16 05:26:45 zhwiki: Dump complete

    最新的数据你下载了没有?

    该用户从未签到

    26

    主题

    418

    回帖

    3370

    积分

    贡士

    Rank: 6Rank: 6

    积分
    3370

    灌水大神章小蜜蜂章笑傲江湖章

    22
    发表于 2012-7-17 18:16:35 | 只看该作者
    收藏一个先,可以直接做意大利文的维基百科吗?

    该用户从未签到

    17

    主题

    345

    回帖

    3586

    积分

    贡士

    Rank: 6Rank: 6

    积分
    3586

    灌水大神章小蜜蜂章笑傲江湖章

    23
    发表于 2012-7-17 19:27:23 | 只看该作者
    谢谢楼主分享制作工具和教程!!!{:soso_e113:}
  • TA的每日心情
    开心
    2018-1-27 00:16
  • 签到天数: 1 天

    [LV.1]初来乍到

    99

    主题

    1477

    回帖

    3万

    积分

    翰林院孔目

    Rank: 10Rank: 10Rank: 10

    积分
    35504

    灌水大神章小蜜蜂章笑傲江湖章翰林院专用章管理组专用章

    24
    发表于 2012-7-20 15:11:05 | 只看该作者
    无限感谢大大!等过几天有时间了试试日语的版本如何还有维基词典,文库等。一直在用大大制作的维基词库,受益匪浅。

    该用户从未签到

    1

    主题

    60

    回帖

    124

    积分

    被盗用户

    积分
    124
    25
    发表于 2012-8-21 09:44:19 | 只看该作者
    被杀毒软件-金山当作木马删掉囧只好关掉杀软