[汉汉] WEBDICT词库计划

什么是WEBDICT词库计划？

WEBDICT词表计划目标是通过机器学习算法以及人工标注构建一个包含大量网络词汇的、无版权限制的中文词库，从而提高中文网络文本自然语言分析以及开源中文输入法的效果。

现在有很多词库，为什么还要创建新的词库？

虽然目前互联网上可以得到的词库很多，但是包含网络词汇的非常少，而且都是有版权的，反之没有版权或者免费使用的词库大多比较旧。

目前的词库是怎么得到的？

目前的词库首先是通过网络爬虫从Twitter中抓取中文推(约4G左右纯文本)、以及网易新闻(3.2G)，然后使用CRF进行分词，统计词频，最终从中抽取候选词集合。

怎样获得WEBDICT词库？

可以从GitHub中下载

WEBDICT词库有版权吗？

WEBDICT词库是Public Domain的，没有任何的版权限制。