维基百科转mdx源文件制作工具

发哥 · 发表于 2009-1-14 19:17:42

功能：
将所有mediawiki生成的dump文件转换为mdx html utf-8格式可处理链接等一些东东。在条目大于1000000条时，会自动分割。如果想放到一起，可以用textforever再合并（超过1000000w条得wiki太大了。。，应该是其他语言的，非中文）

生成的文件名为wiki2mdx0.txt wiki2mdx1.txt等等

适用范围：
http://download.wikipedia.org里所有的xml文件:lol

用法：
1.cmd下 wiki2mdx abkdkeaf.xml
2.解压到和xml文件相同的目录下，把xml文件拖到此程序上，自动开始转换

下载地址：http://daminghome.com/tools/wiki2mdx.rar

http://blog.daminghome.com/tools/wiki2mdx.rar

优点：
基本不占内存，不影响正常上网。

缺点：
结构过于简单。最后会报一下无法找到吓一条的错误。懒得加判断了。～

作者：

我码出来的。。。

[ 本帖最后由发哥于 2009-3-14 19:26 编辑 ]

发哥 · 发表于 2009-1-14 19:30:16

速度视CPU牛B与否而定。
至强四核酷睿二大概是50页每秒
t5500的笔记本开最低频率是17页每秒左右。
生成的txt文件html标签较多，压缩率在26%左右。生成的txt比xml文件大一些。

发哥 · 发表于 2009-1-14 19:59:31

增加了一个自由指定最大页数的版本。
就是不能拖动着用了
http://daminghome.com/tools/wiki2mdxa.rar

发哥 · 发表于 2009-1-14 23:58:42

压缩率20%
试了个日文的。

ldlcau · 发表于 2009-1-15 10:48:50

不错的帖子，谢谢楼主的努力和辛苦。

第3001人 · 发表于 2009-1-17 11:50:21

感谢提供

ern · 发表于 2009-1-20 23:01:56

呵呵，感谢一下。

tony4d · 发表于 2009-1-22 15:58:17

原帖由发哥于 2009-1-14 19:59 发表
增加了一个自由指定最大页数的版本。
就是不能拖动着用了
http://daminghome.com/tools/wiki2mdxa.rar

运行后提示说"MUST SPECIFY THE MAX PAGE OF THE FILE"
请问怎么指定最大页数？

tony4d · 发表于 2009-2-6 08:57:31

今天提取WIKI DIC日语版时出现错误提示无法转换：
"unable to handle any case setting besides 'first-letter' at w2.pl line 18."

发哥 · 发表于 2009-2-6 11:41:49

原帖由 tony4d 于 2009-2-6 08:57 发表
今天提取WIKI DIC日语版时出现错误提示无法转换：
"unable to handle any case setting besides 'first-letter' at w2.pl line 18."

别理会这个..你看生成文件了没..
我忘记怎么指定页数了..
你在cmd下敲一下这个命令看看...

tony4d · 发表于 2009-2-6 12:20:33

没有任何文件生成
要不你下载这个维基日文词典源文件看下是怎么回事
http://www.namipan.com/d/0203.xm ... 73d014c0094af5b5a03

发哥 · 发表于 2009-2-6 16:17:47

不能处理分段的。。只能一次读一个整dump文件。。

tony4d · 发表于 2009-2-6 16:47:50

啥意思啊。是我下载错了，还是维基词典的格式就是不行？
那MAC那英文维基词典是用什么工具做的啊，可否分享一下，我想做下这个日语维基词典。

发哥 · 发表于 2009-2-6 18:15:15

我只分析了维基百科和文库。辞典没注意过。貌似差不多吧。。这个程序本来是我写来处理英文维基的副产品。。

mac的词典是用原先的一个工具做的。。你发短信找他要就对了。

Macli · 发表于 2009-2-6 21:37:44

转换工具在这儿：

https://pdawiki.com/forum/viewth ... mp;highlight=wikito

shinsenlin · 发表于 2009-3-7 10:08:24

wiki2mdx转换后找不到生成的文件

tony4d · 发表于 2009-3-7 11:38:02

在 C:\Documents and Settings\用户名\

borton · 发表于 2009-3-7 23:35:33

几位大佬授人以渔，实在感谢。

santich · 发表于 2009-3-18 03:08:57

报告使用结果：
我在转换西班牙文维基时报错，没有生成任何文本。西班牙文维基词条超过100万，xml文件体积在1.6G左右。

还请楼主解惑，谢谢了。

pdawiki · 发表于 2009-5-6 20:31:44

wiki的图片文件是哪一个？
怎样制作有图片的wiki百科？
谢谢！

[工具] 维基百科转mdx源文件制作工具

评分

回复 10楼发哥的帖子

回复 12楼发哥的帖子

wiki2mdx文件生成

[工具] 维基百科转mdx源文件制作工具

评分

回复 10楼 发哥 的帖子

回复 12楼 发哥 的帖子

wiki2mdx文件生成

回复 10楼发哥的帖子

回复 12楼发哥的帖子