【语料库制作交流探讨】语料库检索词条制作

qiuhao1112 · 发表于 2016-6-14 21:09:23

本帖最后由 qiuhao1112 于 2016-6-14 22:16 编辑

【语料库制作交流探讨】语料库检索词条制作

一直都比较钟爱以英文原著作为例句语料库参考，也一直想尝试制作一个以原著为例句的含词条检索（即Mdict格式）的例句库，这样的语料库有几大优点：资源种类不限，包罗万象，例句资源无穷无尽（影视，歌曲，新闻，杂志，文学，诗歌等等等等）。
之前在掌上百科论坛上看到过有人用新概念的例句制作成了能使用词条检索的MDX词典，我对这个很好奇，一直很想知道作者是怎么制作的，可惜词典信息没有作者的信息。词典具体效果如下：

我在网上搜索了一下相关的方法和正则表达式，当然还有自己的一些制作思路，不过终究还是能力有限，受困于诸多问题。

目前有个费劲的问题，请看例子：

"Bring any of the papers of the time that I was gone," the old man said.

假如我只想匹配第五个单词（ papers），请问该如何写正则呢，或者又有其它什么更好的方法？

也就是如何单独匹配第N个单词

在此想发个贴向广大网友征集智慧，探讨一下制作思路，欢迎各位网友积极发言，如有大神路过此帖，还希望给个提示，谢谢

zhu1234 · 发表于 2016-6-14 23:37:24

本帖最后由 zhu1234 于 2016-6-14 23:41 编辑

1、用powergrep，把所有的词头做成批量搜索。复制出搜索结果，不过太大的文件得计算机足够强大。
2、用RegEx Dotext 1.0 β4，对词目词，在正文中高亮标识替换。
这是可行的思路，具体细节自己边弄边掌握吧，不难。

https://www.pdawiki.com/forum/fo ... hread&tid=14175

qiuhao1112 · 发表于 2016-6-14 23:56:25

zhu1234 发表于 2016-6-14 23:37
1、用powergrep，把所有的词头做成批量搜索。复制出搜索结果，不过太大的文件得计算机足够强大。
2、用Reg ...

谢谢zhu1234！！终于有个制作思路了。

hao371269498 · 发表于 2016-6-15 10:25:58

中文搜索怎么做词条呢? 语料库还有个大作用是搜索中文啊

qiuhao1112 · 发表于 2016-6-15 22:45:07

本帖最后由 qiuhao1112 于 2016-6-15 22:49 编辑

zhu1234 发表于 2016-6-14 23:37
1、用powergrep，把所有的词头做成批量搜索。复制出搜索结果，不过太大的文件得计算机足够强大。
2、用Reg ...

zhu1234您好，能以一个简单的例子写个制作方法的图文步骤吗？ Powergrep我没用过，“把所有词头做成批量搜索”、“对词目词”是什么意思啊？仅根据以上信息还是无从下手、做起来一头雾水呀

zhu1234 · 发表于 2016-6-16 20:33:34

本帖最后由 zhu1234 于 2016-6-16 20:37 编辑

qiuhao1112 发表于 2016-6-15 22:45
zhu1234您好，能以一个简单的例子写个制作方法的图文步骤吗？ Powergrep我没用过，“把所有词头做成批 ...

图文的，有空了再说吧。其实pc上有goldendict，手机有bluedict 7.6，再制作这样的词典，有点out了。需要查什么大可即时全文搜索。

kyletruman · 发表于 2016-6-17 00:48:16

http://www.webcorp.org.uk/live/
这个语料库不错。

qiuhao1112 · 发表于 2016-6-17 08:50:05

zhu1234 发表于 2016-6-16 20:33
图文的，有空了再说吧。其实pc上有goldendict，手机有bluedict 7.6，再制作这样的词典，有点out了。需 ...

我刚才试了一下bluedict7.6 的full text功能，确实很好用

lxchen2001 · 发表于 2016-7-13 06:17:46

NLTK 可以做到

qiuhao1112 · 发表于 2016-7-13 12:24:36

lxchen2001 发表于 2016-7-13 06:17
NLTK 可以做到

感谢提醒。

lxchen2001 · 发表于 2016-7-14 01:19:47

qiuhao1112 发表于 2016-7-13 12:24
感谢提醒。

我有个帖子讨论到NLTK

https://www.pdawiki.com/forum/fo ... &extra=page%3D1

大家都在琢磨着 ......

fnaviwwo1 · 发表于 2016-7-15 12:04:14

本帖最后由 fnaviwwo1 于 2016-7-15 12:08 编辑

哈哈，我也在琢磨【实验室】用NLTK处理词典文本的使用笔记

目前的效果感觉还不错，一起来讨论完善吧。

能提供一些测试用的文本，和期望得到的效果是最好了。

lxchen2001 · 发表于 2016-7-15 23:44:58

本帖最后由 lxchen2001 于 2016-7-16 11:15 编辑

fnaviwwo1 发表于 2016-7-15 12:04
哈哈，我也在琢磨【实验室】用NLTK处理词典文本的使用笔记

目前的效果感觉还不错，一起来讨论完善吧。

语料库可以自己建，我有几个想法：

1. 现成的语料库 (文字档或者XML), 导入到NLTK就能用，语料库现在很多，有点太多，需要自己评估整理
2. 自建，比如 New York Times可以申请API, 文章可以慢慢积累；除了NYT, 比较好的资源包括Time, The Economist, New Scientists等, 写个爬虫，慢慢收集。

以上说的语料库可能难度偏大。NLTK可以建不同的语料库。可以建针对英语考试用的，比如雅思，最好能从剑桥雅思书中导出原文资料；大学中学英语从教科书上的导出，保证资源没有歧义。

lxchen2001 · 发表于 2016-7-16 12:02:23

lxchen2001 发表于 2016-7-15 23:44
语料库可以自己建，我有几个想法：

1. 现成的语料库 (文字档或者XML), 导入到NLTK就能用，语料库现 ...

托福的我收集的较少我查查整理一下发给你

lxchen2001 · 发表于 2016-7-16 12:37:56

本帖最后由 lxchen2001 于 2016-7-16 12:40 编辑

lxchen2001 发表于 2016-7-15 23:44
语料库可以自己建，我有几个想法：

1. 现成的语料库 (文字档或者XML), 导入到NLTK就能用，语料库现 ...

链接: http://pan.baidu.com/s/1cbsIEM 密码: ic77

TOEFL OG 文本PDF 有几套测试

[讨论] 【语料库制作交流探讨】语料库检索词条制作

点评