【12/28/2016】【教程】音频库制作方法 (内附脚本和超详细...

lzcykevin · 发表于 2016-12-28 18:48:11

本帖最后由 lzcykevin 于 2018-2-25 11:08 编辑

一，思想
首先要明白mdx和mdd里面的音频一一对应，mdx相当于词典索引，而mdd则是资源。
根据这个关系，则可以进行解析了。
先用论坛上的工具解析出mdx.txt和mdd的资源。
然后用下面的脚本进行处理，具体可以根据mdx和mdd进行针对修改

二，脚本
我用python写的，其实用什么脚本都一样，因为之前没有用过python，借这个机会学一下。
理论上，这个脚本可以应用于所有mdx和mdd文件的音频库制作

三，很重要的关键点

如果您要查看本帖隐藏内容请回复

四，脚本代码
主要需要了解的是正则表达式，或者不用正则，用字符串处理也行，方法都可以。
用正则比较简单一些。
下面，我把代码给注释上，方便查阅。

代码压缩包

如果您要查看本帖隐藏内容请回复

#!/usr/bin/python3
import re
import os
import shutil
// 这个变量是解析出来mdx的txt文件
OPDmdx="D:\\EN\\audio\\Oxford Pronunciation Dictionary\\OPD_offline.txt"
// 这个变量用来记录当前查找到的单词
OPDword='word'
// 读取缓存变量
OPDtxt='txt'
// 这个变量用来起到结尾标识
OPDend='’zine'
// 这个变量用来放置输出文件夹
OPDaudtmp='D:\\EN\\audio\\tmp\\'
// 这个变量用来存更改后的音频名称
OPDaudout='out'
// 根据mdd解析出的资源路径
OPDaudir='D:\\EN\\audio\\Oxford Pronunciation Dictionary\\OPD_offline'
// 这个变量用来存mdd库中找到的音频路径
OPDaud='audio'
// 后缀
OPDmp3='.mp3'
// 打开mdx解析出来的txt文件
xfile = open(OPDmdx,encoding= 'utf-8')
while True:
// 因为OPD是四行一个循环，其中第一行是单词，第三行是一些对应关系，所以我们只需要记录第一行和分析第三行即可。
for i in range(1,5,1):
OPDtxt = xfile.readline()
// 对第一行单词进行分析，如果和结尾对比相同，则退出，解析完毕，否则继续解析。
if 1==i:
OPDword=OPDtxt
OPDword=OPDword.strip('\n')
// 如果是数字，则放到0-9这个文件夹中
isnum = re.search("[0-9]",OPDword[0])
if isnum:
OPDaudout=OPDaudtmp+'0-9'+'\\'+OPDword+OPDmp3
// 否则，放到首字母a-z的文件夹中，通过正则，排除WIN下非法名称
else:
OPDword=re.sub("[\/\?\*\\<>|]",'-',OPDword)
OPDtmp=OPDaudtmp+OPDword[0]+'\\'
if os.path.exists(OPDtmp):
OPDaudout=OPDtmp+OPDword+OPDmp3
// 如果都没有，写入log文件，记录
else:
logtxt = open('log.txt', 'a+')
print(OPDtmp+OPDword, file=logtxt)
logtxt.close()
#print (OPDword)
if OPDword==OPDend:
break
// 在第三行开始处理，提取音频，此处提取美音
elif 3==i:
OPDaud=re.search("data-src-mp3="http:\/\/www.oxfordlearnersdictionaries.com\/media\/english\/us_pron(.+?)mp3",OPDtxt)
if OPDaud:
OPDaud=OPDaud.group(0)
// 进行二次解析，获取到MP3路径，并更改/为\以让WIN识别
if OPDaud:
OPDaud=re.search("/media\/english\/us_pron(.+?)mp3",OPDaud)
OPDaud=re.sub("\/",'\\\\',OPDaud.group(0))
OPDaud=OPDaudir+OPDaud
// 如果确定在mdd解出的库中找到对应的文件，则重命名，并且放到对应的目录下，对应的目录在第一行时就已经处理好了，就是OPDaudout存放的变量
if os.path.exists(OPDaud):
shutil.copyfile(OPDaud, OPDaudout)
// 否则记录到文件
else:
logtxt = open('log.txt', 'a+')
print(OPDaud, file=logtxt)
logtxt.close()
#print(OPDaud)
#print(OPDaudout)
// 如果是结尾则退出循环
if OPDword==OPDend:
break
xfile.close()

复制代码

五，改进点？

重复的单词，脚本默认复写，如果需要可以修改放到其他路径，然后再人工判断。
很多错误处理都没有判断，建议后续用的时候，逐步完善。
如果想提高效率，可以增加多线程。

QQending2 · 发表于 2018-5-2 23:05:20

下载下来跑一跑，然后我再看看有什么地方能优化的吧……
刚接触python
之前research **.group(0)
都是用catch和except过的……
原来可以直接if 写啊
            if OPDaud:
                  OPDaud=re.search("/media\/english\/us_pron(.+?)mp3",OPDaud)
                  OPDaud=re.sub("\/",'\\\\',OPDaud.group(0)
不过这里有没有少一个if来判定这里的.group(0)对应的search是否为none object呢……没具体理清逻辑呢……
回头跑跑看

lxchen2001 · 发表于 2017-1-3 02:41:26

lzcykevin 发表于 2017-1-2 10:03
我第一次用python，对这些包不太熟悉，以后要多学习。

共同进步我学Python时间也不长之前也老是遇到乱码的问题

现在读写中文或者utf-8的文件我基本上习惯性加上codecs

lxchen2001 · 发表于 2017-1-2 17:00:40

lzcykevin 发表于 2017-1-2 07:49
对是指字幕开头ā或者中间有ā这类的外来词排除掉了，最开始我这里显示出来乱码，所以排除掉了。
我估计 ...

我一般会加载codecs包

出现乱码的可能性比较小

codecs.open('xxxx', 'r', 'utf-8')

dashuchong · 发表于 2017-1-2 11:22:56

这个功能很好，如果能导出单词和例句成为带字幕的MP3就更好了

kyletruman · 发表于 2017-1-2 11:37:23

感觉www.merriam-webster.com的美式发音很纯正

lzcykevin · 发表于 2017-1-2 11:45:07

kyletruman 发表于 2017-1-2 11:37
感觉www.merriam-webster.com的美式发音很纯正

那个18万单词，基于merriam-webster做的，剩下补充的是OPD和CEPD

lzcykevin · 发表于 2017-1-2 11:46:05

dashuchong 发表于 2017-1-2 11:22
这个功能很好，如果能导出单词和例句成为带字幕的MP3就更好了

带字幕是指带中文释义么？

lxchen2001 · 发表于 2017-1-2 13:55:06

楼主能否将代码打个包？复制出来加了很多乱码谢谢

lzcykevin · 发表于 2017-1-2 13:58:58

lxchen2001 发表于 2017-1-2 13:55
楼主能否将代码打个包？复制出来加了很多乱码谢谢

点那个点击复制，就没有乱码了，我刚试了，我用的chrome

lxchen2001 · 发表于 2017-1-2 14:04:03

lzcykevin 发表于 2017-1-2 06:58
点那个点击复制，就没有乱码了，我刚试了，我用的chrome

我也是用的Chrome 点击复制出来的乱码

lzcykevin · 发表于 2017-1-2 14:04:48

lxchen2001 发表于 2017-1-2 14:04
我也是用的Chrome 点击复制出来的乱码

我上传个压缩包，稍等

lxchen2001 · 发表于 2017-1-2 14:22:23

谢谢

请教一下
- 语音库中写到外来词排除掉了是指字母开头的？比如将ā 并入到a里那你的语音库就更完善了

lzcykevin · 发表于 2017-1-2 14:49:12

lxchen2001 发表于 2017-1-2 14:22
谢谢

请教一下

对是指字幕开头ā或者中间有ā这类的外来词排除掉了，最开始我这里显示出来乱码，所以排除掉了。
我估计是因为匹配的时候编码不对应造成的。

lzcykevin · 发表于 2017-1-2 17:03:50

lxchen2001 发表于 2017-1-2 17:00
我一般会加载codecs包

出现乱码的可能性比较小

我第一次用python，对这些包不太熟悉，以后要多学习。

histalent · 发表于 2018-4-12 16:42:24

谢谢楼主分享经验。

nidetou · 发表于 2018-4-12 20:09:39

搬个小板凳来听课。

nidetou · 发表于 2018-4-12 20:19:16

如果能把针对每一个单词的发音例句（比如LADE5，LAAD3)，按顺序提取出来合并，名称为此单词词条，构建一个例句语音库。大量反复听一定会有很多好处。

straystray · 发表于 2018-4-12 20:40:05

一直对发音很重视,却始终没有找到满意的发音词典,谢谢老大....

Palm好玩 · 发表于 2018-4-12 22:54:26

这样就可以diy了？顺便学习python实例

hefanghua · 发表于 2018-4-20 10:28:13

回复看看，感谢分享。

abeey · 发表于 2018-4-20 12:22:36

查看一下，呵呵。

gohome · 发表于 2018-4-20 13:31:19

非常感谢楼主的分享！！！

peterdocter · 发表于 2018-4-20 17:59:29

多谢你的技术分享！

喬治兄 · 发表于 2018-4-20 18:36:44

學習一下您的思考模式

[资料] 【12/28/2016】【教程】音频库制作方法 (内附脚本和超详细...

评分

[资料] 【12/28/2016】【教程】音频库制作方法 (内附 脚本和超详细...

评分

[资料] 【12/28/2016】【教程】音频库制作方法 (内附脚本和超详细...