论如何爬取杨百翰大学iweb corpus语料库

abnerzzz · 发表于 2019-9-3 21:04:23

最近花费不少心思，基于COCA20000，做了份Excel词汇表。
对比各类词典软件，据说有道做得最用心，中文释义全部取自有道，序号分割不同词性。

正准备打印出来，逛论坛看到两个贴子，发现iweb语料库更全更新。

https://www.pdawiki.com/forum/forum.php?mod=viewthread&tid=33399&highlight=iweb
https://www.pdawiki.com/forum/forum.php?mod=viewthread&tid=33281&highlight=iweb

复制代码

本想偷个懒，找 @

要份csv排序版的，无奈联系不上。尝试自己爬取iweb语料库，奈何官网反爬虫做得贼好，有点棘手。

初步计划，爬前60000单词，匹配有道词典翻译，先弄份中文版出来。
然后爬每个词汇具体页面，再制作词汇搭配版本。搞定后分享给大家。

大家有什么想法，可以提提啊。
懒癌犯了，希望@

garypang

现身，直接做个成品出来，就不用我这小菜鸟折腾了。iweb语料库的确很棒，可惜全网找不到资源。

eplono · 发表于 2019-9-26 17:59:52

本帖最后由 eplono 于 2019-9-30 07:44 编辑

Hi 楼主能不能做一个词组（or搭配）的词频？就是这COCA里提出来的词组或搭配按照频率越高排名越前的这样。

我相信这样一份词频，至少对很多人来说吧，远远比仅仅单词的词频有用得多(单词的词频已经有GaryPang大的iWeb词频了[搜索帖子关键词“iWeb”]），
功德无量哦

我今年年初的时候BT（magnet:?xt=urn:btih:EEBAC1F45D81FC3EEA92A7C6CC7179C863E290B9&tr=http%3A%2F%2Fbt4.t-ru.org%2Fann%3Fmagnet）
下载了一份COCA 2012年的原始数据，

有一份Collocation20000的PDF(https://pan.baidu.com/s/1AOgIWHF1rZzlRsYy_JnLPQ[提取码：tetg])，（PDF转换成mdx已经有人做了，见https://www.pdawiki.com/forum/forum.php?mod=viewthread&tid=33105）

无奈自己非IT相关专业、只会一点点Python，不会整理成搭配的词频，就把原始数据（印象中是都小说、杂志等等的原文）都删了，现在重新挂娘盘，离线几天了停在65.46%进度。

等下完了就放出来希望有人做个词组（or搭配）的词频...

咋刚才看到楼主回复进度的帖子回头看又不见了？我幻觉了？？？