抓取越来越难了 .....

lxchen2001 · 发表于 2016-11-30 02:19:09

本帖最后由 lxchen2001 于 2016-11-30 10:13 编辑

谷歌：刚刚启动几分钟，就被侦探到了

谷歌词典好在哪里呢？有个历史趋势图, 以及词源图。

牛津：已经关掉索引页，没了索引，只能瞎撞了。

其他的网站，迟早吧。

并非坏事，把现有的用好。

elusty · 发表于 2016-11-30 07:42:52

Google definition源自ODE，只是多了一个词汇使用趋势。

shakahenryqht · 发表于 2016-11-30 08:45:06

oxforddictionaries这个词典在增加例句后论坛里有没有人抓取的？

lxchen2001 · 发表于 2016-11-30 10:48:15

本帖最后由 lxchen2001 于 2016-11-30 11:55 编辑

elusty 发表于 2016-11-30 07:42
Google definition源自ODE，只是多了一个词汇使用趋势。

ODE大概也有趋势数据没有公开而已

词源的显示谷歌做得比较直观清晰

（柯林斯也有趋势图，但用起来不方便）

lxchen2001 · 发表于 2016-11-30 10:49:19

shakahenryqht 发表于 2016-11-30 08:45
oxforddictionaries这个词典在增加例句后论坛里有没有人抓取的？

例句有点太多了

Babybear1 · 发表于 2016-11-30 11:19:24

你开VPN上的吗？

Oeasy · 发表于 2016-11-30 11:26:11

Babybear1 发表于 2016-11-30 11:19
你开VPN上的吗？

楼主本就不在墙内，不需要科学上网。
Alexa 统计数据（准不准另说）显示 http://www.alexa.com/siteinfo/pdawiki.com，论坛至少 5% 的访问者都不在墙内的。

Babybear1 · 发表于 2016-11-30 11:28:52

Oeasy 发表于 2016-11-30 11:26
楼主本就不在墙内，不需要科学上网。
Alexa 统计数据（准不准另说）显示 http://www.alex ...

不在墙内都难抓，在墙内可能就更难了

Oeasy · 发表于 2016-11-30 11:28:55

谷歌的本职工作就是抓别人，所以防爬经验，没有比它更丰富的了。

shakahenryqht · 发表于 2016-11-30 12:00:26

lxchen2001 发表于 2016-11-30 10:49
例句有点太多了

现在能抓吗？是不是也是抓起来很麻烦？

大熊部落 · 发表于 2016-11-30 16:00:09

这种很简单。

假设不能超过3分钟：
1、用A代理，抓取2分50秒后断开。
2、再用B代理，抓取2分50秒后断开。
3、再用C、D、E等代理，分别抓取2分50秒后断开。
4、步骤1~3循环。

以前抓finedictionary就是这种情况，后来搞得所有美国代理都上不去了，但是某些国家的代理还能上。

adv12 · 发表于 2016-11-30 18:26:22

谷歌的词源做的真不错，条理清晰容易记

lxchen2001 · 发表于 2016-11-30 19:56:37

大熊部落发表于 2016-11-30 16:00
这种很简单。

假设不能超过3分钟：

嗯应该代理可以解决

不过我还不会用，而且查找可用的代理也很花时间。

lxchen2001 · 发表于 2016-11-30 19:58:42

shakahenryqht 发表于 2016-11-30 12:00
现在能抓吗？是不是也是抓起来很麻烦？

可以抓取不过我没很大兴趣去做

之前有个帖子用了新版牛津的资料

shakahenryqht · 发表于 2016-11-30 22:23:31

lxchen2001 发表于 2016-11-30 19:58
可以抓取不过我没很大兴趣去做

之前有个帖子用了新版牛津的资料

大神，能否写个代码，告诉我怎么抓取，我来抓取。

lxchen2001 · 发表于 2016-12-1 02:24:57

shakahenryqht 发表于 2016-11-30 22:23
大神，能否写个代码，告诉我怎么抓取，我来抓取。

我的代码比较低级。

你可以先试试：https://www.pdawiki.com/forum/thread-14024-1-1.html

BLKSerene · 发表于 2016-12-1 13:13:23

最好抓的就是剑桥了不f#a$n%q^i*a$n&g速度都很快之前抓连断点续传都不用挂机几小时搞定现在也有限制了一卡一卡的

[讨论] 抓取越来越难了 .....