众筹下载一个网站资料

leescott · 发表于 2018-10-9 15:07:07

本帖最后由 leescott 于 2018-10-10 16:21 编辑

句#子#迷有一些语录，可能上万。这个网站封IP比较厉害。https://www.juzimi.com/dynasty/先秦
后面有先秦名人、汉朝、魏晋、南北朝、隋唐五代、宋朝、元朝、明朝、清朝、近现代等等。最后一个国外，点开，有美国名人、英国、法国、德国、日本、俄罗斯、希腊、罗马、意大利、奥地利、印度等等。
https://www.juzimi.com/books
后面也有几个，书籍名句、电影台词、小说摘抄、散文美句、动漫语录、连续剧台词、古文名句。
https://www.juzimi.com/writers
下面有个按照名言内容分类，爱情读书励志时间友情诚信爱国激励勤奋奉献真理道德理想人生数学英语母爱劳动亲情创新团结童年感恩目标等等。
https://www.juzimi.com/original/week
又还有本周热门原创、最新原创句子、推荐原创句子。

我设想，数据下载包括：句子，作者，来源，以喜欢数量来排序，然后，每20个或50或100个为一篇。标题就是第21 等等。
我已经下载几个，后面是,"南北朝","隋唐五代","宋朝","元朝","明朝","清朝","近现代","美国名人","英国","法国","德国","日本","俄罗斯","希腊","罗马","意大利","奥地利","印度","书籍名句","电影台词","小说摘抄","散文美句","动漫语录","连续剧台词","古文名句","爱情","读书","励志","时间","友情","诚信","爱国","激励","勤奋","奉献","真理","道德","理想","人生","数学","英语","母爱","劳动","亲情","创新","团结","童年","感恩","目标","本周热门原创","最新原创句子","推荐原创句子"。不知道还有哪些值得下载？
希望愿意参与的回复，按顺序的一个词语，如果下载了两个，也希望是您接单的第一个和最后一个。上传之后发给我。我做好了，给参与的发词典。我会出售词典，造福大家，希望参与的同意。
有个附件，用记事本打开，只留下您要下载的一两个，保存，运行就好了。几分钟搞定。

句子.rar (2.1 KB, 下载次数: 40)

ngaicen · 发表于 2018-10-9 15:31:31

本帖最后由 ngaicen 于 2018-10-9 19:21 编辑

有空试试。能不能给个选项，到时搞重复了。
单独配置成“英国”，下到214KB不让下，这部分可能不完整。

zywyy · 发表于 2018-10-9 17:27:06

句子迷全站语录条数没有100万也得有80来万呢！封IP很厉害，有高手说只能通过迂回下载，比如从百度快照或其他搜索引擎快照里爬。

simonfire · 发表于 2018-10-9 18:12:54

看下是怎么实现的，学习一下

ngaicen · 发表于 2018-10-9 19:55:45

ngaicen 发表于 2018-10-9 15:31
有空试试。能不能给个选项，到时搞重复了。
单独配置成“英国”，下到214KB不让下，这部分可能不完整。

下载结果是按喜欢排序的。网页上是按英国人名分类的。不好比对。
“英国”里面最后一句是：

喜欢(3)
八"是从北冰洋上哪一处松林覆盖的地角，是从里海边哪一条冰封的山峦或山坳，是从哪一座人迹难以到达的远方小岛，你为你王朝的覆灭发出悲痛的哀悼，教导丛，波涛，沙漠的岩石和陆礁和水神的每一口阴冷的水瓮，以悲怆但又十分坚定的回声谈说人们竟敢忘怀的庄严崇高的古风遗教?因为你既不理会北欧诗人梦中神奇的羊，也没有出现在克尔特巫师的睡乡，纵然掠过你蓬乱的发卷如雨落下的泪水转瞬间也就干燥，那又何妨?因为当加利利之蛇从死海爬来屠杀，焚烧，使你的世界化为形迹模糊的一片，你并不哭泣，虽然你痛苦地哀叹。《自由颂》--雪莱

网站上英国人名最后一个最后一句是：
坏书如同坏朋友，能使我们堕落。--菲尔丁

万德熊 · 发表于 2018-10-10 19:01:12

看了半天，如何参与？貌似只能一个一个地复制吧？不太懂如何批量下载哦。

zywyy · 发表于 2018-10-10 20:14:50

我肯定是大力支持的，但我是技术白痴，不知道怎么下啊，我以为众筹是出钱就行了呢。

zywyy · 发表于 2018-10-10 20:15:23

本帖最后由 zywyy 于 2018-10-10 20:33 编辑

出钱的话，算我一份，具体怎么弄我真没经验！leescott 兄的脚本咋用来下载，具体操作真不知道。兄台的脚本我以文本打开，留下“感恩”"目标"两个标签，保存运行，没啥反应，不知下没下下到哪了。请赐教！

孤影 · 发表于 2018-10-11 01:03:57

钱到位，什么都好说。这个网站我一个人就可以爬完。

pad · 发表于 2018-10-11 09:11:07

孤影发表于 2018-10-11 01:03
钱到位，什么都好说。这个网站我一个人就可以爬完。

那么,问题来了,要多少呢?

zywyy · 发表于 2018-10-11 10:35:07

本帖最后由 zywyy 于 2018-10-11 10:40 编辑

同问，一共需要多少钱呢？1千？1万？还是10万元？句子迷真不好爬，封锁技术太先进，我曾咨询淘宝高手，按网页序号下，下多了，大多数网页都是乱七八糟的假内容。据说1个人下百十来个网页就封号，你说有这么变态的网站吗？又不是国家机密，都是网友自己贴上去分享的。不过在质量和容量上，句子迷绝对是所有名言语录中最大最好的，没有之一。

zywyy · 发表于 2018-10-11 10:54:59

leescott兄，我又试了一次，选择打开脚本，等了几分钟也没啥反应啊，观察360的那个上网流量显示，基本上上下都是0K/s. 应该是下到哪个目录哪个文件中啊，难道是我打开的方式不对？惭愧，我用的是XP的系统，人是低手又习惯了所以没换。

孤影 · 发表于 2018-10-11 13:56:46

pad 发表于 2018-10-11 00:11
那么,问题来了,要多少呢?

2000

zywyy · 发表于 2018-10-11 18:11:04

如果大家众筹的话，我可以先出几百。

句子迷这么难下的网站，如果下载全站语录内容，2000真的可以。但是孤影大神你真的做好思想准备了吗？全站网页估计在60万到100万哦，你有什么办法绕过变态的IP封锁？用代理服务器吗？有种反爬技术就是表面上让你看到每个网页都正常下载，但实际上绝大多数页面里填充的都是乱七八糟的随机内容，你有信心克服这个困难吗？

我能想到绕过这些限制的方法，1个是人多，如果成千上万的人按序号分配下载可能很简单。
2是想办法下载搜索引擎里的快照，但可能不全，但内容应该不会被篡改。

孤影 · 发表于 2018-10-13 05:18:27

zywyy 发表于 2018-10-11 09:11
如果大家众筹的话，我可以先出几百。

句子迷这么难下的网站，如果下载全站语录内容，2000真的可以。但是孤 ...

有经验，放心

longxu6200 · 发表于 2018-11-18 14:02:49

刚刚试了试，默认下了魏晋，对编程一窍不懂，封ip是不是可以用vps拨号来解决？淘宝也才3元一天...

[筹划] 众筹下载一个网站资料

点评

点评

点评

点评

点评

点评