查看: 736|回复: 4
打印 上一主题 下一主题

[多语种] gutenberg所有文本

[复制链接]
  • TA的每日心情
    擦汗
    前天 07:00
  • 签到天数: 1090 天

    [LV.10]以坛为家III

    124

    主题

    1772

    回帖

    1万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    10477

    灌水大神章小蜜蜂章笑傲江湖章

    跳转到指定楼层
    1
    发表于 2016-9-29 16:41:03 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
    http://www.gutenberg-tar.com/gutenberg_txt.7z

    这个用来做语料库很给力了。

    The download file (gutenberg_txt.7z) is 6GB. 70GB of disk space is required to expand the archive: 35GB for the intermediate tar file and another 35GB for the 74,489 files. The tar file can be deleted if not used to create additional copies of the expanded files.
  • TA的每日心情
    擦汗
    前天 07:00
  • 签到天数: 1090 天

    [LV.10]以坛为家III

    124

    主题

    1772

    回帖

    1万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    10477

    灌水大神章小蜜蜂章笑傲江湖章

    2
     楼主| 发表于 2016-9-29 16:45:50 | 只看该作者
    这个用lzma实时解压搜索太慢了,建议用zstd, 解压速度有近10x提高,可能比读35GB原文件都来得快。压缩比比lzma差%5-%10左右。
  • TA的每日心情
    开心
    2020-3-25 07:07
  • 签到天数: 5 天

    [LV.2]偶尔看看I

    129

    主题

    2409

    回帖

    1万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    17783

    灌水大神章小蜜蜂章笑傲江湖章

    3
    发表于 2016-9-29 19:38:11 | 只看该作者
    需要空间实在太大了,不太实用。

    该用户从未签到

    19

    主题

    363

    回帖

    2553

    积分

    解元

    Rank: 5Rank: 5

    积分
    2553

    灌水大神章小蜜蜂章笑傲江湖章

    4
    发表于 2016-9-29 20:12:17 | 只看该作者
    里面有的文章有单词拼错了。
  • TA的每日心情
    擦汗
    前天 07:00
  • 签到天数: 1090 天

    [LV.10]以坛为家III

    124

    主题

    1772

    回帖

    1万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    10477

    灌水大神章小蜜蜂章笑傲江湖章

    5
     楼主| 发表于 2016-9-30 06:51:20 | 只看该作者
    elusty 发表于 2016-9-29 19:38
    需要空间实在太大了,不太实用。

    Zstd压缩后也就6GB, 实时解压搜索性能也不错。