制作豆瓣影评的打算！！

蓝色土耳其 · 发表于 2012-6-10 15:18:39

制作豆瓣影评的打算！！
自从论坛里有人说豆瓣的内容不错，看过后发现，豆瓣的评价很精准，值得一做.

按照顺序的排序，大概有一百万条的数目。。

不知道，哪位仁兄制作了。。真的不想在重复去做的！！！

heda106 · 发表于 2012-6-10 18:54:25

我觉得豆瓣读书和豆瓣影评都很好。索性一起做了吧
没技术，纯伸手党。。。
双手过头支持网友制作!

zywyy · 发表于 2012-6-10 19:57:56

蓝老大想制作豆瓣影评，全力支持  据我所知还没有人弄过
按排序编号的网址是有上百万条  但是好像大多数都是空的实际内容可能并不很多
你打算怎样下载呢  如果有无为兄那总打包下载的方法  可能很容易
否则这几十万上百万条光下载就是大问题

louislaolu · 发表于 2012-6-10 20:23:54

豆瓣评论很专业，特别值得制作。支持！

诗意的栖息 · 发表于 2012-6-10 22:17:23

强烈支持啊。豆瓣实在是不错。能制作出来肯定会大受欢迎的。。

惟吾无为 · 发表于 2012-6-10 22:22:39

蓝老大想制作豆瓣影评，全力支持  据我所知还没有人弄过
按排序编号的网址是有上百万条  但是好像大多数都是空的实际内容可能并不很多
你打算怎样下载呢  如果有无为兄那总打包下载的方法  可能很容易
否则这几 ...
zywyy 发表于 2012-6-10 19:57

不是打包下载，而是下载后打包。那是为了方便保存而做的。
wget -i可以下载url列表，我就是这么做的。

诗意的栖息 · 发表于 2012-6-10 22:30:02

豆瓣很不错的。值得做。支持了。

whyareyou · 发表于 2012-6-10 23:33:58

不是打包下载，而是下载后打包。那是为了方便保存而做的。
wget -i可以下载url列表，我就是这么做的。
惟吾无为发表于 2012-6-10 22:22

问一下老大，你是如何处理广告等页面中的无用信息的？是下载时直接设定了就不下载这些内容呢，还是下载之后合并文件再用正则表达式批处理？
谢谢！

惟吾无为 · 发表于 2012-6-11 07:43:12

问一下老大，你是如何处理广告等页面中的无用信息的？是下载时直接设定了就不下载这些内容呢，还是下载之后合并文件再用正则表达式批处理？
谢谢！
whyareyou 发表于 2012-6-10 23:33

已在发布帖回复，点我签名跳过去看。

zywyy · 发表于 2012-6-11 11:01:13

听无为兄说 wget -i可是个宝贝啊蓝老大会玩吗？

惟吾无为 · 发表于 2012-6-11 11:26:09

wget是个宝贝。 -i是他的一个参数。
我预先处理出url列表交给wget下载。

蓝色土耳其 · 发表于 2012-6-15 20:56:48

有空还是跟无为兄学习一下wget。。

惟吾无为 · 发表于 2012-6-16 20:17:36

光学wget其实不实用，就像学linux不学bash一样。

这次下载是由wget进行的，但没有bash负责全局调度，也不可能有序的分段下载。

没有linux系统提供的proc文件系统，检测进程号的存在又会慢上不少。

这些都是影响效率的细节。

ykhs54 · 发表于 2013-1-27 06:32:01

支持做豆瓣，书和音乐也不错。

小心 · 发表于 2013-5-9 15:50:20

如果楼主做出来并做的好的话，我愿意花钱买下载地址（价格合理，30元之内吧），我这个非技术党只能靠钱来支持大神了。。。。

[筹划] 制作 豆瓣影评 的打算！！