Mac下利用多部词典打造语料库

pnmercury · 发表于 2016-8-31 23:59:54

本帖最后由 pnmercury 于 2016-9-1 09:30 编辑

排版乱了，链接大家见附件pdf。

在PDAWIKI潜水已久，首次发文，还望大家不要见笑。

关于打造自己的英语学习语料库，启发于几天前在zhihu上看到了Frank Huang的一篇文章，该文中Frank Huang介绍了利用filelocator这个强大的搜索工具，结合几部重量级双解词典.txt版本便形成了可快速搜索的语料库。使用windows的同学可参照Frank Huang介绍的方法。

Mac OSX系统中自带各种类Unix命令，因此awk可以完成一些搜索。经过一番搜索，发现了github上Geoff Greer开发的一个工具the_silver_searcher，其搜索速度比awk快多了，占用CPU资源也很低。试用了一下，效果相当给力，十多部词典几秒内搜完，在此推荐给使用Mac的同学。

the_silver_searcher的安装见github链接，安装了homebrew后brew install the_silver_searcher即可安装。 the_silver_searcher的命令为ag，支持正则表达式搜索，如想搜索"convince"和"清白"同时出现的句子，即执行ag "convince.*清白" /词典文件夹路径即可。

效果见下图： image

词典资源
./En-Ch AHD4-Asicsfree.txt

./En-Ch Cambridge Advanced Learner's Dictionary.txt

./En-Ch CollinsCOBUILD.txt

./En-Ch Longman Dictionary of Contemporary English.txt

./En-Ch New Oxford Dictionary.txt

./En-Ch Oxford Advanced Leaner's Dictionary.txt

./En-En-Oxford_Collocations.txt

以上资源来自Frank Huang给出的链接, 密码n33z。

以下资源来自PDAWIKI站友LYX1692：

./剑桥双解

./新牛津英汉词典

./朗文当代双解第4版

./柯林斯双解

./牛津高阶词典第4版

./牛津高阶词典第7版

我对其贡献的6部词典进行了合并，大家有需要的话我上传到网盘。

附：
简单的正则表达式入门可参考deerchao的正则表达式30分钟入门教程

上文中/词典文件夹路径我们常用的话可以使用alias命令快速进入该目录，如:

alias gotoALD="cd /Users/Vincent/Dropbox/documents/Dictionaries/ALDEn-Ch",

然后我们每次打开terminal直接输入gotoALD就进入了该目录了，然后ag "blabla"就可以愉快地检索词典了。

lxchen2001 · 发表于 2016-9-1 02:36:39

能否将相关链接贴出来呢?

既然敲了这么多文字，多个链接也不碍事。

pnmercury · 发表于 2016-9-1 09:32:14

lxchen2001 发表于 2016-9-1 02:36
能否将相关链接贴出来呢?

既然敲了这么多文字，多个链接也不碍事。

链接在附件pdf中是正常的，贴过来失效了。

Oeasy · 发表于 2016-9-1 09:34:15

单纯搜词典的话，其实 GoldenDict 全文搜索相当够用了。

lxchen2001 · 发表于 2016-9-1 10:36:18

pnmercury 发表于 2016-9-1 09:32
链接在附件pdf中是正常的，贴过来失效了。

谢谢分享

知乎介绍：
https://www.zhihu.com/question/30781969/answer/49608070

pnmercury · 发表于 2016-9-1 10:54:23

Oeasy 发表于 2016-9-1 09:34
单纯搜词典的话，其实 GoldenDict 全文搜索相当够用了。

ag方便的一点是支持正则，适合有强迫症患者使用XD。

lxchen2001 · 发表于 2016-9-1 11:42:06

本帖最后由 lxchen2001 于 2016-9-1 11:47 编辑

试用了一下filelocator
filelocator主要的目的是搜索文件，有在文档内搜索的功能，支持正则，属于巧用软件。速度比GD的全文搜索感觉要快。（GD也支持正则）

https://github.com/ggreer/the_silver_searcher
Ag uses Pthreads to take advantage of multiple CPU cores and search files in parallel.
也有Linux版本

看了知乎的介绍，颇有感想，学习中，用什么工具到不是什么关键，重要的是用心。Frank Huang见到好的句式用法截图，分类整理，实为不易。贵在坚持。

pnmercury · 发表于 2016-9-1 11:53:13

lxchen2001 发表于 2016-9-1 11:42
试用了一下filelocator
filelocator主要的目的是搜索文件，有在文档内搜索的功能，支持正则，属于巧用软件 ...

the_silver_searcher在类Unix下应该都可使用，GD我只使用过几次，但the_silver_searcher速度在我5年前的老笔记本上都跑得挺快。知乎和PDAWIKI上大牛很多，均是我学习的楷模。

spoony1971 · 发表于 2016-9-1 14:49:19

本帖最后由 spoony1971 于 2016-9-1 14:55 编辑

我一般压缩成.xz格式后直接用xzless, 或xzgrep. 当然也可用ag （ag 的话要一两句script）

对普通的mdict词典，我一般也做成同样的格式，只额外对词条加与简单的标记，这样既可随机查询，亦可全文正则检索.

xzqxq · 发表于 2016-9-1 17:08:54

这也是一个很好的思路。

Littlebush · 发表于 2016-9-1 22:50:52

最终只有印在自己的大脑形成大脑语料库并能数量调取应用才算最后的成功，大家一起努力，感谢这个很好的语言工具的汇集之地。

lwangls · 发表于 2016-9-2 03:45:17

很多时候我觉得TXT文件+filelocator 就够了，不需要专门制作词典软件

necuser98 · 发表于 2016-9-2 15:21:55

谢谢LZ分享

zcblack02 · 发表于 2017-12-19 12:22:08

zhangchaodeMacBook-Pro:~ zhangchao$ *alias gotoALD="/Users/zhangchao/Documents/Dictionary/ALDEn-Ch",*
-bash: *alias: command not found

LZ 该安的都安了，接下来不知道怎么搞了

dictionaryfan · 发表于 2017-12-20 16:51:51

zcblack02 发表于 2017-12-19 12:22
zhangchaodeMacBook-Pro:~ zhangchao$ *alias gotoALD="/Users/zhangchao/Documents/Dictionary/ALDEn-Ch", ...

$ 后面的*号不要试试

win下我用Archivarius3000

pnmercury · 发表于 2017-12-28 16:13:31

dictionaryfan 发表于 2017-12-20 16:51
$ 后面的*号不要试试

ag现在几乎每天都在用，写paper遣词造句神器啊

jeanleem6 · 发表于 2018-6-4 17:19:55

这个工具相当强大，感觉可以抛弃词典软件了，非常感谢楼主的分享！

[教程] Mac下利用多部词典打造语料库

评分