超大文本如何整理？

LYX1692 · 发表于 2016-1-18 19:53:07

本帖最后由 LYX1692 于 2016-1-18 19:59 编辑

费了几天功夫，弄了一个在线词典网站的源文件下来。
由于技术不行，只学会用火车头下载。
尽管在下载的时候，设置只下载一些有用的源码，可弄下来一看，有3000多万行。
刚弄下来的时候，TXT是1G大小的。
后来，经过搜索替换之后，删除我认为没有意义的，现在变成600MB。

用Emeditor，不用正则表达式搜索替换还好。
可是，因为有不少空行，不用正则，我实在不知道如何处理了。
而一用正则呢，速度就抓狂，后台运行了七八个小时，删除空行才完成1%。
如此下去，光是删除空行，我难道要花一两个月的时间么？

再想想，制作MDD的话，还得合并行呢。

简单没法继续下去了。

求大神们更简便的方法。

我CPU不给力也是事实，I3.
不玩游戏，平时用着倒是没觉得什么，这时就感觉出来了。

大熊部落 · 发表于 2016-1-18 20:26:30

UltraEdit，老牌文本处理软件。

我以前推荐过的TextPro也很好，处理空行速度飞快！

Oeasy · 发表于 2016-1-18 22:04:26

UltraEdit +1 。
一分钱一分货啊。

UltraEdit $79.95 http://www.ultraedit.com/catalog/
EmEditor $39.99 https://www.emeditor.com/#purchase

其实 Vim 处理超大文件也不错，就是。。。一般人玩不转。

tsiank · 发表于 2016-1-18 22:30:46

EmEditor 处理大文件中有关换行符/n的问题时，速度真让人抓狂。

chigre3 · 发表于 2016-1-18 22:53:48

多行空白删除我选择UltraEdit, 真得快

LYX1692 · 发表于 2016-1-18 23:33:53

Oeasy 发表于 2016-1-18 22:04
UltraEdit +1 。
一分钱一分货啊。

果然啊，UltraEdit果然快，简单飞啊。
3000万行减了500万，用到十多分钟。
快得让我怀疑啊，不会误删了吧。

还是我固态硬盘发挥作用了？

LYX1692 · 发表于 2016-1-18 23:34:10

chigre3 发表于 2016-1-18 22:53
多行空白删除我选择UltraEdit, 真得快

果然啊，UltraEdit果然快，简单飞啊。
3000万行减了500万，用到十多分钟。
快得让我怀疑啊，不会误删了吧。

还是我固态硬盘发挥作用了？

[求助] 超大文本如何整理？