ThisAmericanLife最常用的5000单词-抓取-统计

wyzh97 · 发表于 2018-12-3 12:02:04

本帖最后由 wyzh97 于 2018-12-3 13:00 编辑

最近养成了听播客的习惯。感觉最喜欢的还是 ThisAmericanLife（貌似排名前茅的播客）。

特色：貌似不需要科学上网（速度一般般），难度不大，日常美音（听着舒服），日常生活词汇，一周一期，配有 Transcript （播客稿子）。

节目使用方式：

1、音频:随便下载播客软件，订阅即可（免费）。国内的FM播客不清楚，个人用的是Pocket Cast （没钱的可以下载PoJie版）。貌似有人网上提供音频下载，请自己搜索。
2、配套稿子：官网即可查看（上面有链接）- Transcript。

遇到的问题：感觉还是有些词汇听起来比较陌生。

于是把最近的一百期的播客稿子全部抓抓去了，统计了下单词的使用频率。

去除比较常用的500词汇，和出现频率较低的（低于5次）。筛选后大致 5000词汇（不到）。需要的拿走：

单词使用方式：
1、制作成anki词卡（需要对anki有所了解，不了解请使用方法2） -> anki刷单词；
2、导入单词到欧路词典（网页即可导入，见截图）：
2.1、欧路app刷单词（打开欧路app-登陆-同步-刷单词-欧路自带的刷单词卡片）；
2.2、登陆欧路网页端（自动追加简明解释），打印单词列表（单词+简明解释），用word排版，刷单词利器。

欧路网页端导入如下：
https://i.loli.net/2018/12/03/5c04b1db0ffdf.png

打印后是这个效果（这个功能好赞！！--自动加上简明解释）。
https://i.loli.net/2018/12/03/5c04b2614b452.png

顺便把Python源码也提供了。

以后要是统计某文章的字词，英文直接用，中文的需要稍微修改下。比如：
- 四六级/雅思/考研.... 历年真题 - 电子版汇总 - 统计常用的2000个单词。
- 宏篇巨著：哈利波特/飘... 电子版 - 统计常用的N个单词。
- 其他用法，自己发掘

抓取py文件需要 requests pyquery 库支持。英语单词统计分析py文件不需要任何第三方库。

本帖隐藏的内容

this_american_life.zip (35.76 KB, 下载次数: 117, 售价: 30 粒米)

老规矩：上图。
https://i.loli.net/2018/12/03/5c04abff0e51a.png
https://i.loli.net/2018/12/03/5c04abff0299d.png

wyzh97 · 发表于 2018-12-4 08:57:15

本帖最后由 wyzh97 于 2018-12-4 08:59 编辑

GL_n 发表于 2018-12-4 08:09
This American Life 是很经典的栏目，有一些很有趣的内容。
另外，我用一篇文章运行了一下楼主@wyzh97的那 ...

单词词频统计py使用条件：
1、准备好本地的文本文件（非html源文件），名字随意；
2、修改py文件中的读取文件名称，和你的本地文件名一样，记得目录正确；
3、cmd 切换到当前目录，python xxx.py 运行文件。
看了下，你的处理结果，里面很多html代码-----难不成你直接复制网页的源码？直接复制原文不好么？

非得源码的话，建议修改下另外一个py文件----从html解析出文章内容。

GL_n · 发表于 2018-12-4 08:09:19

This American Life 是很经典的栏目，有一些很有趣的内容。
另外，我用一篇文章运行了一下楼主@wyzh97的那个单词词频统计py文件，发现运行后的结果里出现了一些斜杆之类的符号，不知道是怎么回事。莫非我得事先对我的原始txt文本进行正则替换？
下面附上我的原始语料文本和运行py程序后得到的词频文件。

wyzh97 · 发表于 2018-12-3 15:33:50

庄胜文66 发表于 2018-12-3 14:53
楼主对这个听力的思路很好，同时建议可以根据场景、意群来分类
另外
En_word_statics.py

这个是py的文件，需要有点python的基础。

安装python（建议版本3.5+）

再命令行运行： python En_word_statics.py

woaini123 · 发表于 2018-12-3 12:16:30

费心了，看看怎么用~~

师小萌 · 发表于 2018-12-3 12:17:43

播客是啥啊？

言叶之庭 · 发表于 2018-12-3 12:19:36

看看是啥，了解一下。

wyzh97 · 发表于 2018-12-3 12:23:50

师小萌发表于 2018-12-3 12:17
播客是啥啊？

就是语音节目：主持人说，你听（音乐电台...哈哈）。其他请自行百度。谢谢

yangtx · 发表于 2018-12-3 12:34:22

ThisAmericanLife之前只听别人讲过，没去听过，用这5000单词也可以很好的学习了。

喬治兄 · 发表于 2018-12-3 12:47:53

wyzh97 兄:
太強悍了
蠻好奇
导入欧路词典

师小萌 · 发表于 2018-12-3 12:52:08

wyzh97 发表于 2018-12-3 12:23
就是语音节目：主持人说，你听（音乐电台...哈哈）。其他请自行百度。谢谢 ...

是一个类似于微博一样的网站还是需要下载APP啊？

wyzh97 · 发表于 2018-12-3 12:55:26

师小萌发表于 2018-12-3 12:52
是一个类似于微博一样的网站还是需要下载APP啊？

国内的荔枝/喜马拉雅了解下。可以类似的理解。。直播过是英文的，然后可以练听力。。。。

thinkinginlast · 发表于 2018-12-3 13:01:13

技术贴，支持楼主。谢谢。

skmpzj · 发表于 2018-12-3 13:28:16

好资料，生活语言是活的。

peterdocter · 发表于 2018-12-3 14:14:17

多谢楼主提供这好的资料与脚本！

庄胜文66 · 发表于 2018-12-3 14:28:40

感谢分享英语单词统计分析py文件

庄胜文66 · 发表于 2018-12-3 14:53:12

本帖最后由庄胜文66 于 2018-12-3 14:54 编辑

楼主对这个听力的思路很好，同时建议可以根据场景、意群来分类
另外
En_word_statics.py
get_this_american_life_transcript_derectly.py
这两个文件为啥打开闪退？

fjfzjmok · 发表于 2018-12-3 15:40:31

HAVE A LOOK,THX

xiaorenhao · 发表于 2018-12-3 16:33:12

您好感谢分享.这个中文简明释义是欧路自带的功能吗?
另外这个释义出自哪里,谢谢.

wyzh97 · 发表于 2018-12-3 17:04:57

xiaorenhao 发表于 2018-12-3 16:33
您好感谢分享.这个中文简明释义是欧路自带的功能吗?
另外这个释义出自哪里,谢谢. ...

欧陆自带的

eason901122 · 发表于 2018-12-3 17:07:34

一直在听的播客谢谢！！！！！

BAT2018 · 发表于 2018-12-3 17:12:40

不错哦！就喜欢这样的技术文章。

xiaorenhao · 发表于 2018-12-3 18:10:52

wyzh97 发表于 2018-12-3 17:04
欧陆自带的

谢谢回复

henry123 · 发表于 2018-12-3 18:18:10

哇，听力很好了。。一直觉得这个对我有点难度

jackyang0823 · 发表于 2018-12-3 18:36:53

谢谢分享This American Life，楼主辛苦了！www.thisamericanlife.org/archive貌似要翻墙。

actor谭召 · 发表于 2018-12-3 18:48:57

感谢分享感谢分享

[听力] ThisAmericanLife最常用的5000单词-抓取-统计

本帖隐藏的内容

评分

本帖被以下淘专辑推荐:

点评