查看: 661|回复: 11
打印 上一主题 下一主题

[词典讨论] 教你用人民日报参考消息全文数据库mdx做简单语料库

[复制链接]

该用户从未签到

539

主题

3046

回帖

25万

积分

翰林院编修

Rank: 11Rank: 11Rank: 11Rank: 11

积分
251307

翰林院专用章灌水大神章笑傲江湖章小蜜蜂章管理组专用章

跳转到指定楼层
1
发表于 2020-8-11 19:17:42 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
本帖最后由 klwo2 于 2020-8-11 19:18 编辑

原始资料从这里下:https://www.pdawiki.com/forum/thread-41276-1-1.html

这个东西是阿彌陀佛从老资料网上抓的,我觉得适合做简易的语料库,研究现代汉语的人可以用用。

我教大家怎么把mdx转成适合搜索的txt,但是不会给成品,原因很简单,因为txt里面的内容开放,度娘看得到,说不定传上去也会被和谐掉,还是只说方法好了。

第一步,用mdxexport把mdx转成txt



这个没有太多好说的,文件比较大,等进度条走完就行了。

第二步,把txt分割成多份,我用的是阿海文本分割器,这类工具大同小异,随便选一个



选择【按份数分割】,人民日报选200份,参考消息选100份,按【执行】 按钮即可

阿海文本分割器有个问题,就是分割后的文件路径永远都在C盘,留意一下剩余空间足够

第三步,使用FileLocator,定位到目录,用正则搜索即可



它的速度比goldendict全文检索快,比如我这张图上搜的是「坚决……的行为」,中间插入最多10个字

  • TA的每日心情
    开心
    2020-1-5 08:04
  • 签到天数: 50 天

    [LV.5]常住居民I

    307

    主题

    854

    回帖

    3万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    34117

    QQ 章

    推荐
    发表于 2020-8-11 19:57:11 | 只看该作者
    這樣的教學帖多多益善!
  • TA的每日心情
    慵懒
    2021-11-4 14:19
  • 签到天数: 395 天

    [LV.9]以坛为家II

    41

    主题

    1527

    回帖

    1万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    12565

    笑傲江湖章推广专家灌水大神章

    2
    发表于 2020-8-11 19:34:54 | 只看该作者
    用奶牛网盘估计不会被和谐

    点评

    但是奶牛短期内会失效……  发表于 2020-8-11 19:51
  • TA的每日心情
    开心
    2019-8-21 19:27
  • 签到天数: 5 天

    [LV.2]偶尔看看I

    61

    主题

    627

    回帖

    16万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    162717

    QQ 章灌水大神章笑傲江湖章

    4
    发表于 2020-8-11 20:29:26 | 只看该作者
    FileLocator 的全文检索似乎挺不错

  • TA的每日心情
    难过
    21 小时前
  • 签到天数: 914 天

    [LV.10]以坛为家III

    0

    主题

    3753

    回帖

    3万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    36700
    5
    发表于 2020-8-11 20:33:06 | 只看该作者
    感谢赐教,大赞!
  • TA的每日心情
    奋斗
    5 天前
  • 签到天数: 605 天

    [LV.9]以坛为家II

    74

    主题

    1124

    回帖

    8618

    积分

    进士

    Rank: 8Rank: 8

    积分
    8618
    6
    发表于 2020-8-11 20:34:59 | 只看该作者
    但是不会给成品,原因很简单,因为txt里面的内容开放,度娘看得到,说不定传上去也会被和谐掉,


    楼主不会打包成zip文件,再设置个密码上传吗?

    点评

    不了不了真不了  发表于 2020-8-11 22:11

    该用户从未签到

    37

    主题

    689

    回帖

    5851

    积分

    翰林院编修

    Rank: 11Rank: 11Rank: 11Rank: 11

    积分
    5851

    翰林院专用章灌水大神章笑傲江湖章小蜜蜂章管理组专用章

    7
    发表于 2020-8-11 20:49:05 | 只看该作者
    人民日报这种二流报纸也就那么回事
  • TA的每日心情
    奋斗
    23 小时前
  • 签到天数: 1154 天

    [LV.10]以坛为家III

    32

    主题

    1871

    回帖

    6万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    62403

    QQ 章

    8
    发表于 2020-8-11 20:54:58 | 只看该作者
    HyConcv3.9.8免费版和免费的AntConc更专业些,都很方便。
  • TA的每日心情
    开心
    2022-6-29 07:24
  • 签到天数: 289 天

    [LV.8]以坛为家I

    17

    主题

    858

    回帖

    9688

    积分

    进士

    Rank: 8Rank: 8

    积分
    9688
    9
    发表于 2020-8-23 12:01:41 | 只看该作者
    txt文件分割之后,有很多文件是乱码!
  • TA的每日心情
    开心
    2022-4-30 14:04
  • 签到天数: 368 天

    [LV.9]以坛为家II

    7

    主题

    1036

    回帖

    8647

    积分

    进士

    Rank: 8Rank: 8

    积分
    8647

    灌水大神章QQ 章

    10
    发表于 2021-2-25 22:22:52 | 只看该作者