gutenberg所有文本

spoony1971 · 发表于 2016-9-29 16:41:03

http://www.gutenberg-tar.com/gutenberg_txt.7z

这个用来做语料库很给力了。

The download file (gutenberg_txt.7z) is 6GB. 70GB of disk space is required to expand the archive: 35GB for the intermediate tar file and another 35GB for the 74,489 files. The tar file can be deleted if not used to create additional copies of the expanded files.

spoony1971 · 发表于 2016-9-29 16:45:50

这个用lzma实时解压搜索太慢了，建议用zstd, 解压速度有近1０x提高，可能比读35GB原文件都来得快。压缩比比lzma差%5-%10左右。

elusty · 发表于 2016-9-29 19:38:11

需要空间实在太大了，不太实用。

fnaviwwo1 · 发表于 2016-9-29 20:12:17

里面有的文章有单词拼错了。

spoony1971 · 发表于 2016-9-30 06:51:20

elusty 发表于 2016-9-29 19:38
需要空间实在太大了，不太实用。

Zstd压缩后也就6GB, 实时解压搜索性能也不错。

[多语种] gutenberg所有文本