New Wikipedia rendering engine

superfan89 · 发表于 2010-7-12 22:04:40

本帖最后由 superfan89 于 2011-2-25 11:41 编辑

一直以来使用philostone等兄弟转换的wikipedia，在手机上读维基百科的感觉十分爽，唯一美中不足的是其中一些未处理链接和标签。前几天在网上google来MWlib和aard dictionary这两个好东东，其中Mwlib是专门用来转换wiki格式的一个程序库，aard是一个跨平台词典，包含了开源的词典转换软件，可以用来直接转换维基百科的xml dump。对原作者的代码略加修改后即可以直接输出Mdict可转换的文本格式。
这个版本转换了zhwiki dump大约1%的内容，花费了近30分钟。
已知的优点和缺点:
优点:
1、残留的标签大大减少，格式更加完善
2、公式全部采用TeX渲染成图片，更加美观
3、包含词条重定向
缺点:
1、渲染出的图片嵌在网页内部，只能用PC端Mdict显示
2、部分格式不正确
3、需要在Linux下搭建转换环境

相关参考:
http://aarddict.org/
http://code.pediapress.com/wiki/wiki/mwlib
aard 09年12月的中文维基百科(完整版)http下载，与这个demo的格式类似:
http://aarddict.org/d/zhwiki-20091225-1.html.aar
希望有兴趣的朋友们能共同研究探讨。

这里提供一个Mdx(1%词条)仅供测试，想日常使用的朋友就别下了。
WikiDemo.mdx
http://u.115.com/file/t417cc4b83
p.s.：可以套上这个wikipedia.css一起使

-------------------------------------
2010/07/13
改进:
1、TeX渲染图片输出单独输出至data目录
2、引用和引用链接可以互相跳转，看文章非常方便
初步具有了可用性，上传在此

使用时覆盖Aard Tools中的对应文件即可
Aard Tools链接:
http://bitbucket.org/itkach/aardtools/get/0.8.0.zip
安装详细指南：
http://aarddict.org/aardtools/doc/aardtools.html#module-aardtools

在Ubuntu或者Debian上安装最方便，因为依赖关系比较复杂，还不知道怎么在Windows上使用，望有兴趣朋友帮忙转出一个完整版本。

再传个用新版的脚本转的Demo,含词条数要更少一些
WikiDemo2.rar
http://u.115.com/file/t4b4dc158f
-------------------------------------
2010/7/15
增加了“断点续转”功能，转换时输入"q"后回车，转完当前千个文件时会保存当前进度并停止，下次转换时可以接着转。
-------------------------------------
2011/2/25
请用此覆盖aardtools0.8.3，依赖的Mwlib升级至0.12.13。

0.8.2-Patch.rar (20.89 KB, 下载次数: 102)

farhadhatami · 发表于 2016-11-2 18:23:41

发哥发表于 2010-7-12 22:16
接着改。嘿嘿。把tex搞成独立图片。。

great

VeraW · 发表于 2016-4-15 13:13:23

👍👍👍

Lynsanity · 发表于 2016-5-31 11:58:56

非常感谢您的无私分享！辛苦了！

发哥 · 发表于 2010-7-12 22:16:24

接着改。嘿嘿。把tex搞成独立图片。。

wayuzh · 发表于 2010-7-12 22:22:08

都是牛人啊

transport · 发表于 2010-7-12 22:35:54

期待中，确实是牛人。

superfan89 · 发表于 2010-7-13 09:52:37

接着改。嘿嘿。把tex搞成独立图片。。
发哥发表于 2010-7-12 22:16

嗯，又看下代码，应该是可以的，找时间再修改下

只看该作者 · 发表于 2010-7-13 10:56:46

这个可以有

transport · 发表于 2010-7-13 10:59:30

在pc上使用，常常会显示错误，Mdict就没有反应了。
我对编程不懂，不知道是什么原因。

superfan89 · 发表于 2010-7-13 11:22:07

是啊 pc上会显示脚本错误，不过好像对显示效果没什么影响。还不知道什么原因

yangxiups · 发表于 2010-7-13 11:29:33

本帖最后由 yangxiups 于 2010-7-13 11:33 编辑

Bravo!

superfan89 · 发表于 2010-7-13 11:48:04

装上那个css后效果会更好些

superfan89 · 发表于 2010-7-13 18:26:45

本帖最后由 superfan89 于 2010-7-13 18:53 编辑

TeX单独渲染为图片的效果

superfan89 · 发表于 2010-7-13 18:27:00

本帖最后由 superfan89 于 2010-7-13 18:58 编辑

竟然发重了，汗

pdawikixxx · 发表于 2010-7-13 19:58:57

显示效果真不错啊:D

liuyunrushui · 发表于 2010-7-13 20:05:31

太强大了！超级期待呀！

superfan89 · 发表于 2010-7-14 00:07:25

程序已经上传了，暂时挂不了机，望有兴趣的朋友帮忙转出完整版，现在的这个脚本只能一次不间断的将所有文章转出。

yangxiups · 发表于 2010-7-14 19:08:14

很期待！

发哥 · 发表于 2010-7-14 22:13:14

服务器是centos的，依赖关系搞不定。。。

superfan89 · 发表于 2010-7-14 22:31:30

恩，那就找机会单机转好了。。。

yangxiups · 发表于 2010-7-15 19:46:27

我想试一试，可对linux几乎已无所知，自己在电脑里装了一个Ubuntu desktop，安装详解里的每一个提到的工具都要安装吗?怎样安装这些工具呢？

superfan89 · 发表于 2010-7-15 20:37:42

是的，那几个最好都装上，像Ubuntu和debian这样的系统用apt-get install xxx的命令可以直接下载相关包，如果是源代码的话就make之后再make install就好了，解压缩用tar -xvf xxx命令。大概就是这样了，一会再传个新更改的版本。
可以去Ubuntu的wiki看下。

yangxiups · 发表于 2010-7-15 21:20:30

谢谢了!试试看。

yangxiups · 发表于 2010-7-17 15:10:27

是的，那几个最好都装上，像Ubuntu和debian这样的系统用apt-get install xxx的命令可以直接下载相关包，如果是源代码的话就make之后再make install就好了，解压缩用tar -xvf xxx命令。大概就是这样了，一会再传个新更 ...
superfan89 发表于 2010-7-15 20:37

工具都已经装好了 ,下載好了 DUMP文件,使用 AARD TOOLS 应該怎樣操作呢?
INSTALLATION中的

Assuming source code code is in aardtools directory:

cd aardtools
sudo python setup.py install

这一条不知怎么操作 .謝謝指導!

superfan89 · 发表于 2010-7-17 15:28:59

在终端里进入到解压后的aardtools目录，输入sudo python setup.py install就安装好了
全部安装好后，要使用mwbuildcdb这条命令将xml dump转为cdb格式，再用aardc命令开始转换。

只看该作者 · 发表于 2010-7-18 02:09:34

太牛了支持支持！！！！！！！！！！！！希望早日出炉

philostone · 发表于 2010-7-18 10:05:42

很好，很强大！以后慢慢学着用……

[工具] New Wikipedia rendering engine

评分