一次性从txt中提取多词条

menglongma · 发表于 2012-4-29 11:43:00

哪位高手可以一次性从mdx转化的txt中提取多个词条，做出想要的，只含需要词条的txt？
求高手解答，用什么软件，如何操作？
谢谢。

惟吾无为 · 发表于 2012-4-29 16:51:28

又是你呀, 也算有缘. 给点例子. 把问题说详细些. 例如你想要提取的词条的共同特点.

163.wangg · 发表于 2012-4-29 17:09:27

顶顶顶顶顶顶

menglongma · 发表于 2012-4-30 07:58:19

呵呵没有共同特点只有一个词条列表有大侠能做吗？

惟吾无为 · 发表于 2012-4-30 11:17:23

把文件贴上来.
就是从mdx提出来的. 还有词条列表也贴上来. 词条列表从哪提取的?

把你觉得可能会用到的文本源都贴上来. 不然一天沟通一次, 不知哪天才能解决. 我5.2假期就没了. 到时1周来1次. 你等得了?

惟吾无为 · 发表于 2012-5-1 13:40:00

本帖最后由惟吾无为于 2012-5-2 20:45 编辑

问题通过qq解决, 由于文件格式已经做过很好的排版, 所以直接使用grep.

time grep -x -f /dt/vocabulary\ .txt /dt/4朗文英汉双解第四版.TXT -A 3 | grep -v "^--$" > /dt/new4.txt

复制代码

以上命令在cygwin utf-8环境下运行. 文本预先转换为utf-8编码, unix换行符.
保证在linux平台下gnu grep可运行. 不保证其他平台的效果.

time是计时命令, grep查找文本.
-x 进行整行匹配
-f 指定关键字列表文件
-A 3 显示匹配行的后3行.
由于输出中含有--的分隔符, 所以需要过滤掉.
^--$ 匹配整行为--的行.
-v 反向匹配.

由于使用了管道, 导致速度慢了点. 总共花了19秒多. 但比ue人工替换又快多了.

惟吾无为 · 发表于 2012-5-1 13:58:07

刚刚找了下漏掉的那些单词

# awk 'BEGIN{RS="</>"} { print $1} ' /dt/new7.txt | sort - /dt/vocabulary\ .txt | uniq -u
Africa
afterward
agricultural
America
analyse/ze
Asia
Atlantic
bacterium
beancurd
beddings
bravery
chopsticks
civilization/sation
dialog
digitalversatiledisk
Dr.
e-mail
fireworks
ful
happiness
harbor
hardworking
hotdog
humanbeing
ice-cream
irrigation
jeep
jewelry
ladoratory
liberation
math
maths
metmet
milimetre
motivation
Mr.
Mrs
Mrs.
Ms.
neighbor
northeast
northwest
organise
ought
Pacific
percent
realise
recognise
s
schoolbag
schoolboy/-girl
seagul
sideroad
sideway
skil
southeast
southwest
spokesman/woman
stainless
statesman/-woman
statistics
sunburnt
tabletennis
theater
thermos
toward
traveler
waitingroom
westward
yoghurt

复制代码

menglongma · 发表于 2012-5-8 15:59:36

呵呵，感谢这位老兄！能力超强！好快解决了我多个月的问题，现在我要学习类似软件，还望你继续帮助。谢谢！

menglongma · 发表于 2012-5-21 15:14:20

你好。请问你这里的/dt/是什么？

hillet · 发表于 2012-12-16 21:50:45

大神啊神仙一出手,就知有没有太厉害了!!!
虽然我没有看懂

mmgg2 · 发表于 2013-2-8 02:01:30

超強

[求助] 一次性从txt中提取多词条