ＲＡＥ - DLE ０１４年23版【词头差88】

chigre3 · 发表于 2015-11-9 05:45:23

本帖最后由 chigre3 于 2015-11-21 05:41 编辑

只是提供一个思路。。。要是有谁弄好了，论坛上也吱一声哈！
-----------------------------
http://www.rae.es/diccionario-de ... la-23a-edicion-2014
-----------------------------
在线版：http://dle.rae.es/
-----------------------------
22版的DSL格式在RUBOARD上有。
23版今年网络版上线，还未见有人着手下载制作
-----------------------------
网站没有词头索引，从介绍里知道应该是有93 111词条的。
思路：用间接的方法得到所有词头和ID！
网页查询 EMPIEZA POR --> Consultar 得到带ID的词头索引
http://dle.rae.es/srv/search?w=开头字母&m=31
比如Z字母起始的所有词条：
z http://dle.rae.es/srv/search?w=z&m=31
zam http://dle.rae.es/srv/search?w=zam&m=31
zan
zap
zaq
zar
zas
zat
zay
zaz
ze
zi
zo
zu
删除重复后，可以得到747个具体的词头索引，与22版相比有增有删。
http://dle.rae.es/srv/fetch?id=具体ID
http://dle.rae.es/srv/fetch?id=cZL4bgI

chigre3 · 发表于 2015-11-21 05:40:24

RAE-DLE23a

dos listas:
1. lista de las 93023 entradas
2. lista de los 10733(-1) verbos

_DLE23_2LISTAS.zip http://rghost.net/6TRgQlpNw
RAE_DLE23_HTML.7z http://rghost.net/7SCYVVJSl

chigre3 · 发表于 2015-11-21 04:26:00

本帖最后由 chigre3 于 2015-11-21 05:09 编辑

Diccionario de la lengua española | Edición del Tricentenario
据网站介绍，应该有93111词条，195439释义项。本次抓取制作缺少88条。
(1) ９０３４６（不重复词头内容，51148锚点跳转）＝ 93023 (原页面ID) - (相同词头合并：2365② + 262③ + 40④ + 6⑤ + 4⑥)
(2) ２５９０９词组（提取自 6244 词头下，全部添加跨页锚点跳转至主词条）
(3) １０４９４动词变位表＝ 10733 (原页面链接ID) - 1 (实际不存在) - （合并：226词头和内容均相同 + 12词头相同而内容不同＊）
＊： aforar / alambrar / apostar / arrendar / asestar / asolar / aterrar / atestar / atorar / colar / enrocar / follar /

文件列表：
＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿
DLE_RAE_23.mdx
DLE_RAE_23.bmp
dle.css
DLE_RAE_23_VERBOS.mdx
DLE_RAE_23_VERBOS.bmp
＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿
ＧＯＬＤＥＮＤＩＣＴ安卓版专用：
DLE_RAE_23_GD.dict.dz
DLE_RAE_23_GD.idx
DLE_RAE_23_GD.ifo
DLE_RAE_23_GD.bmp
dle.css
DLE_RAE_23_VERBOS_GD.dict.dz
DLE_RAE_23_VERBOS_GD.idx
DLE_RAE_23_VERBOS_GD.ifo
DLE_RAE_23_VERBOS_GD.bmp
＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿
过程中遇到的替换ID为词头的问题，想了个办法：
https://www.pdawiki.com/forum/fo ... hread&tid=14747

chigre3 · 发表于 2015-11-10 09:09:53

用EXCEL里取每个单词的前3/4/5/6位字符，尽量减少字符数目的前提下保证每个字符组重复数低于200（网站每次最多显示200词头）【COUNTIF(B:B,B1)】
最终得到5300个不重复的字符组，下载网页，合并，提取ID，整理删除，得到93007个词头，与介绍中的还相差接近100个，需要在以后过程中继续处理！！！

chigre3 · 发表于 2015-11-9 05:49:42

要是能够有像BT4BAIDU一样的脚本直接一次性下载并处理好文本就好了！

dictionaryfan · 发表于 2015-11-10 10:08:45

西班牙语啊
BT4BAIDU有抓别的网站的Python脚本，参考着修改一个？

bt4baidu · 发表于 2015-11-10 12:14:31

源码全部都公开了，参考着做呗

或者等我学西语的时候。。。不过现在英语还是半桶水，西语恐怕要到猴年马月了

chigre3 · 发表于 2015-11-10 15:52:26

bt4baidu 发表于 2015-11-10 12:14
源码全部都公开了，参考着做呗
或者等我学西语的时候。。。不过现在英语还是半桶水，西语恐怕要 ...

嗯～我先用我惯用的方法试试把全部页面下载来谢谢bt4baidu

chigre3 · 发表于 2015-11-10 23:55:42

本帖最后由 chigre3 于 2015-11-11 07:27 编辑

现在把页面都下载了，然后92706词条（未合并）（还少400度）+10705动词变位
还在进行筛查缺词

chigre3 · 发表于 2015-11-12 17:14:36

92952
10731
还差149个词头。。。去哪儿找呢？

bt4baidu · 发表于 2015-11-12 22:41:17

如果每个页面内有跳转链接，可以从中提取，理论上应该是连通成网状的

chigre3 · 发表于 2015-11-12 23:00:58

bt4baidu 发表于 2015-11-12 22:41
如果每个页面内有跳转链接，可以从中提取，理论上应该是连通成网状的

我就是这样做的啦。现在去下载了一个大一些的词头索引文件来尝试。

chigre3 · 发表于 2015-11-13 05:10:20

Corpus de Referencia del Español Actual (CREA) - Listado de frecuencias
http://corpus.rae.es/lfrecuencias.html
Lista total de frecuencias

737799, 用这个词频表的词头去尝试，希望能找到一些不同的ID。
就是需要时间。

chigre3 · 发表于 2015-11-14 04:45:59

下载上面那个词头索引到180000，才找到了几十个新词头。
现在是 92982 + 10731 ...

2011star21cn · 发表于 2015-11-23 20:39:41

这个辛苦了

zaragoza · 发表于 2016-4-26 19:10:00

chigre3 发表于 2015-11-21 04:26
Diccionario de la lengua española | Edición del Tricentenario
据网站介绍，应该有93111词条 ...

LZ已经做好了？

chigre3 · 发表于 2016-5-1 01:22:58

zaragoza 发表于 2016-4-26 19:10
LZ已经做好了？

你可以下载来处理一下就可以做成MDX了

zaragoza · 发表于 2016-5-12 16:11:47

下手晚了，早知道应该先下下来的。

chigre3 · 发表于 2016-5-12 19:18:16

zaragoza 发表于 2016-5-12 16:11
下手晚了，早知道应该先下下来的。

全网唯一哈~

zaragoza · 发表于 2016-5-13 02:03:13

chigre3 发表于 2016-5-12 19:18
全网唯一哈~

有时间再分享一个呗。。

chigre3 · 发表于 2016-5-13 03:51:44

chigre3 · 发表于 2016-5-17 05:03:30

zaragoza 发表于 2016-5-13 02:03
有时间再分享一个呗。。

这本CLAVE西语词典是非常实用的，你可以在ruboard上找到已经转制好的dsl格式的，还整合了同反义词词典。

chigre3 · 发表于 2016-5-17 05:10:47

zaragoza · 发表于 2016-5-17 09:14:07

chigre3 发表于 2016-5-17 05:03
这本CLAVE西语词典是非常实用的，你可以在ruboard上找到已经转制好的dsl格式的，还整合了同反义词词典 ...

没想到原始文件居然是你提供的，牛牛牛！感谢！

zaragoza · 发表于 2016-5-17 10:09:13

chigre3 发表于 2016-5-17 05:10

DRAE 23版已经做好了么，这么强！

还有那本实用西语词典也是自己做的么？网上都找不到啊。

[西班牙语] ＲＡＥ - DLE ０１４年23版【词头差88】

点评

点评