|
|
本帖最后由 fnaviwwo1 于 2016-7-15 12:06 编辑
CHANGELOG
+ [20160714] 第一版，为句子建立单词索引。
+ [20160715] 引入词性标注模块，改进单词提取结果
- - - -
受到这个帖子的启发。
NLTK是个非常好用的自然语言文本的处理工具，用来处理文本编纂词典非常有帮助。
以下是一些使用时记录的笔记。
先导入和创建用到的东西
- import nltk
- from nltk.tokenize import sent_tokenize, word_tokenize
- from nltk.corpus import stopwords
- from nltk.corpus import wordnet as wn
- from collections import defaultdict
- sw = set(stopwords.words('english'))
任务一：为句子建立单词索引
（这段代码有问题，直接跳过看后面的改进好了。）
先随便找了一段文字
- s = '''
- Donald Trump is insisting that aides stick to confidentiality agreements so much so that he is suing a former campaign consultant for $10 million, his lawyer said.
- "He's violated his agreement and you know we have taken swift and appropriate action," Alan Garten, executive vice president and general counsel at The Trump Organization, told USA TODAY. "We intend to pursue this to the very end."
- Court documents obtained by the Associated Press indicate Sam Nunberg has been accused by Trump of leaking confidential information to reporters in violation of his non-disclosure agreement. Nunberg, in response, accuses the Republican candidate of "a misguided attempt to cover up media coverage of an apparent affair" between senior campaign staffers.
- '''.strip()
分句：
- ss = sent_tokenize(s)
- print "有%d个句子。"%len(ss)
建立索引
- find_words = (lambda s:
- filter(lambda x:x.isalpha() and x.lower() not in sw,
- map(lambda x:wn.morphy(x) or x, word_tokenize(s))))
- kv = ((w,i) for i,s in enumerate(ss) for w in find_words(s))
- kvl = defaultdict(list)
- for k,v in kv:
- kvl[k].append(v)
看一下结果：
- for k in sorted(kvl.keys(),key=lambda x:x.lower()):
- print u"单词 %s 在第 %s 句中出现"%(k,','.join(map(lambda x:str(x+1),kvl[k])))
得到：
单词 accuse 在第 5 句中出现
单词 accused 在第 4 句中出现
单词 action 在第 2 句中出现
单词 affair 在第 5 句中出现
单词 agreement 在第 1,2,4 句中出现
单词 aides 在第 1 句中出现
单词 Alan 在第 2 句中出现
单词 apparent 在第 5 句中出现
单词 appropriate 在第 2 句中出现
单词 Associated 在第 4 句中出现
单词 attempt 在第 5 句中出现
单词 campaign 在第 1,5 句中出现
单词 candidate 在第 5 句中出现
单词 confidential 在第 4 句中出现
单词 confidentiality 在第 1 句中出现
单词 consultant 在第 1 句中出现
单词 counsel 在第 2 句中出现
单词 Court 在第 4 句中出现
单词 cover 在第 5 句中出现
单词 coverage 在第 5 句中出现
单词 document 在第 4 句中出现
单词 Donald 在第 1 句中出现
单词 end 在第 3 句中出现
单词 executive 在第 2 句中出现
单词 former 在第 1 句中出现
单词 Garten 在第 2 句中出现
单词 general 在第 2 句中出现
单词 ha 在第 4 句中出现
单词 indicate 在第 4 句中出现
单词 information 在第 4 句中出现
单词 insisting 在第 1 句中出现
单词 intend 在第 3 句中出现
单词 know 在第 2 句中出现
单词 lawyer 在第 1 句中出现
单词 leak 在第 4 句中出现
单词 medium 在第 5 句中出现
单词 million 在第 1 句中出现
单词 misguide 在第 5 句中出现
单词 much 在第 1 句中出现
单词 Nunberg 在第 4,5 句中出现
单词 obtain 在第 4 句中出现
单词 Organization 在第 2 句中出现
单词 president 在第 2 句中出现
单词 Press 在第 4 句中出现
单词 pursue 在第 3 句中出现
单词 reporter 在第 4 句中出现
单词 Republican 在第 5 句中出现
单词 response 在第 5 句中出现
单词 Sam 在第 4 句中出现
单词 say 在第 1 句中出现
单词 senior 在第 5 句中出现
单词 staffer 在第 5 句中出现
单词 stick 在第 1 句中出现
单词 sue 在第 1 句中出现
单词 swift 在第 2 句中出现
单词 take 在第 2 句中出现
单词 tell 在第 2 句中出现
单词 TODAY 在第 2 句中出现
单词 Trump 在第 1,2,4 句中出现
单词 USA 在第 2 句中出现
单词 vice 在第 2 句中出现
单词 violate 在第 2 句中出现
单词 violation 在第 4 句中出现
还是有点问题啊，比如专有名词和大小写还有派生词的问题，等我再修改一下。
----
发觉NLTK内建数据的服务器老是连不上，大概要挂代理，还要耽误很多时间，有点难受。。。
改进版 1
加入了NLTK自带的词性标注功能，虽然得到的词性标注只是近似结果，做以下用途还是略有效果的：
1. 过滤专有名词
2. 根据词性进行词形变换
- ss = sent_tokenize(s)
- _SW = set(stopwords.words('english'))|{'much'}
- _P = {'N':wn.NOUN,'V':wn.VERB,'J':wn.ADJ,'R':wn.ADV}
- def _name(word,pos):
- word1 = word.lower()
- pos = _P.get(pos[0],None)
- x = wn.morphy(word1,pos) or wn.morphy(word1,None)
- if x is None: return
- if word[0].islower(): return x
- x = wn.lemmas(x,pos)
- if x: return x[0].name()
- def find_words(sent):
- tags = nltk.pos_tag(nltk.word_tokenize(sent))
- morphy = lambda tags:filter(
- lambda (x,_):x and x.isalpha() and x.lower() not in _SW,
- [(_name(word,pos),word) for (word,pos) in tags if pos!='NNP'])
- print "=== DEBUG: ===\n",sent,"\n",tags,"\n",map(lambda x:x[0],morphy(tags))
- return morphy(tags)
- def gen_dict():
- kv = [(w,i) for i,s in enumerate(ss) for w,_ in find_words(s)]
- kvl = defaultdict(list)
- for k,v in kv:
- kvl[k].append(v)
- return kvl
- kvl = gen_dict()
- for k in sorted(kvl.keys(),key=lambda x:x.lower()):
- print u"单词 %s 在第 %s 句中出现"%(k,','.join(map(lambda x:str(x+1),kvl[k])))
得到
单词 accuse 在第 4,5 句中出现
单词 action 在第 2 句中出现
单词 affair 在第 5 句中出现
单词 agreement 在第 1,2,4 句中出现
单词 aides 在第 1 句中出现
单词 apparent 在第 5 句中出现
单词 appropriate 在第 2 句中出现
单词 attempt 在第 5 句中出现
单词 campaign 在第 1,5 句中出现
单词 candidate 在第 5 句中出现
单词 confidential 在第 4 句中出现
单词 confidentiality 在第 1 句中出现
单词 consultant 在第 1 句中出现
单词 counsel 在第 2 句中出现
单词 cover 在第 5 句中出现
单词 coverage 在第 5 句中出现
单词 document 在第 4 句中出现
单词 end 在第 3 句中出现
单词 executive 在第 2 句中出现
单词 former 在第 1 句中出现
单词 general 在第 2 句中出现
单词 indicate 在第 4 句中出现
单词 information 在第 4 句中出现
单词 insist 在第 1 句中出现
单词 intend 在第 3 句中出现
单词 know 在第 2 句中出现
单词 lawyer 在第 1 句中出现
单词 leak 在第 4 句中出现
单词 medium 在第 5 句中出现
单词 million 在第 1 句中出现
单词 misguided 在第 5 句中出现
单词 obtain 在第 4 句中出现
单词 president 在第 2 句中出现
单词 pursue 在第 3 句中出现
单词 reporter 在第 4 句中出现
单词 response 在第 5 句中出现
单词 say 在第 1 句中出现
单词 senior 在第 5 句中出现
单词 staffer 在第 5 句中出现
单词 stick 在第 1 句中出现
单词 sue 在第 1 句中出现
单词 swift 在第 2 句中出现
单词 take 在第 2 句中出现
单词 tell 在第 2 句中出现
单词 vice 在第 2 句中出现
单词 violate 在第 2 句中出现
单词 violation 在第 4 句中出现
看出来，结果比前面第一个版本有非常好的进步。 |
|
发表于 2016-7-14 11:44:55
楼主
