查看: 10217|回复: 44
打印 上一主题 下一主题

[汉汉] 【化工】【已上传】物竞化学品数据库(basechem.org)完整抓取有结构式和图谱

[复制链接]

该用户从未签到

1

主题

4

回帖

52

积分

白身

Rank: 1

积分
52
跳转到指定楼层
1
发表于 2013-10-11 14:30:51 | 只看该作者 |只看大图 回帖奖励 |倒序浏览 |阅读模式
本帖最后由 phyng 于 2013-10-19 20:56 编辑

终于完成了basechem.org全站63663种化学品抓取,无一缺失~
  1. Original text size = 1440809KB, compressed size = 127367KB, compression ratio = 8%
  2. Time used for this section: 504 seconds
  3. Number of entries: 63663
  4. Conversion succeed!
复制代码
物竞化学品数据库主要是有机化合物,每种化合物基本都提供了结构式和图谱还有物性数据等等,价值还是很大的,官网访问的话查看图谱很不方便,所以这个词典还是有点价值的= =
每个词条都有12个模块,目录在Mdict里可以点击跳转。
  1. 编号系统
  2. 物性数据
  3. 毒理学数据
  4. 生态学数据
  5. 分子结构数据
  6. 计算化学数据
  7. 性质与稳定性
  8. 贮存方法
  9. 合成方法
  10. 用途
  11. 安全信息
  12. 表征图谱
复制代码
官方的图片很模糊,需要点很多下鼠标才能看到完整图片,这个词典经过转化实现了直接查看高清大图。
我计算了一下,全站图片大概20G左右,如果全部下载,我的带宽不太允许,电脑配置也很吃力,所以查询图片是需要联网才能显示的。
几个截图:
几个不足:
设想对多个字段做索引,但是不知道为什么@@@LINK一直无法转换?请求技术支持。或者可以用链接跳转的方式曲线实现对多个字段的索引,这样搜索这个词典就不仅仅可以用中文名称,CAS号、英文名称等等都可以加入。


======2013/10/19更新======
不好意思,现在才上传,下载地址:
http://pan.baidu.com/s/1uww3r

做这个事情一开始只是just for fun,现在发现虽然Mdict词典形式可以查找迅速,浏览方便,但还只能作为官方网页的一个补充或者离线环境下的备用(试问现在社会有多少离线环境?断网第一件事就是停下所有事把网络弄好。。。)
仔细想想,这种词典不像英文词典,应该没几个人用。。。
更加有用的是,我不仅仅抓取了html文件,还解析成了结构化的数据,并且保存到了一个SQLite数据库(如果有需要的话可以找我要或者我共享代码或者你自己码,可以直接用SQL语句搜索数据库)
所以,这个词典要想比官方更强大点,
1、加强Mdict的制作,加入更多索引和搜索项目;
2、直接用SQLite数据库吧;
3、写一个软件,可视化操作数据库。。。

版权问题。。。纠结。。。低调。。。

该用户从未签到

34

主题

755

回帖

2705

积分

解元

Rank: 5Rank: 5

积分
2705

灌水大神章小蜜蜂章笑傲江湖章

推荐
发表于 2014-8-10 19:05:59 | 只看该作者
这个很好!我过几年就要用到!多谢!
推荐
匿名  发表于 2014-8-10 16:23:12
求楼主的MDX源文件??

该用户从未签到

1

主题

4

回帖

52

积分

白身

Rank: 1

积分
52
推荐
 楼主| 发表于 2013-10-19 20:59:06 | 只看该作者
transport 发表于 2013-10-14 14:57
还望楼主发扬共享精神,让大家一起学习,谢谢!

已经上传。。。

该用户从未签到

1

主题

4

回帖

52

积分

白身

Rank: 1

积分
52
推荐
 楼主| 发表于 2013-10-19 20:58:43 | 只看该作者
qhd511 发表于 2013-10-14 14:35
楼主能否共享一下,深表感谢!

已经上传
  • TA的每日心情
    开心
    2019-2-8 13:36
  • 签到天数: 3 天

    [LV.2]偶尔看看I

    5

    主题

    458

    回帖

    496

    积分

    秀才

    Rank: 3Rank: 3

    积分
    496
    2
    发表于 2013-10-14 14:35:34 | 只看该作者
    楼主能否共享一下,深表感谢!
  • TA的每日心情
    开心
    昨天 16:37
  • 签到天数: 1874 天

    [LV.Master]伴坛终老

    0

    主题

    3799

    回帖

    6万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    60111

    小蜜蜂章笑傲江湖章灌水大神章

    3
    发表于 2013-10-14 14:57:58 | 只看该作者
    还望楼主发扬共享精神,让大家一起学习,谢谢!

    该用户从未签到

    2121

    主题

    2961

    回帖

    6万

    积分

    翰林院修撰

    不忘初心。送分大人,灌水砖家。擅长抛砖引玉,挖坑不填。

    Rank: 12Rank: 12Rank: 12

    积分
    61056

    翰林院专用章灌水大神章笑傲江湖章小蜜蜂章管理组专用章

    4
    发表于 2013-10-16 07:02:30 | 只看该作者
    好东西,楼主辛苦了,期待上传成功。
    至于@@@LINK的问题,是不是少了个等号或者</>
    这样的格式应该是没问题的。
    Styrene
    @@@LINK=苯乙烯
    </>
    Phenylethylene Vinybenzene Styrol
    @@@LINK=苯乙烯
    </>
    苏合香烯
    @@@LINK=苯乙烯
    </>
    104.15
    @@@LINK=苯乙烯
    </>
    C8H8
    @@@LINK=苯乙烯
    </>

    要是能通过别名、分子式、分子量来进行查询,就更完美了。

    该用户从未签到

    0

    主题

    254

    回帖

    2273

    积分

    解元

    Rank: 5Rank: 5

    积分
    2273
    QQ
    5
    发表于 2013-10-16 08:42:59 | 只看该作者
    就显摆一下?

    该用户从未签到

    1

    主题

    4

    回帖

    52

    积分

    白身

    Rank: 1

    积分
    52
    8
     楼主| 发表于 2013-10-19 21:00:09 | 只看该作者
    Oeasy 发表于 2013-10-16 07:02
    好东西,楼主辛苦了,期待上传成功。
    至于@@@LINK的问题,是不是少了个等号或者
    这样的格式应该是没问题的 ...

    @@@LINK=好像不太稳定
    我觉得用内部链接重定向的方式做一下

    该用户从未签到

    1

    主题

    4

    回帖

    52

    积分

    白身

    Rank: 1

    积分
    52
    9
     楼主| 发表于 2013-10-19 21:00:43 | 只看该作者
    zxpxg 发表于 2013-10-16 08:42
    就显摆一下?

    不好意思~上传了
  • TA的每日心情
    难过
    2018-3-28 11:32
  • 签到天数: 7 天

    [LV.3]偶尔看看II

    8

    主题

    200

    回帖

    2万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    22327

    灌水大神章小蜜蜂章笑傲江湖章

    10
    发表于 2013-10-19 21:18:32 来自手机 | 只看该作者
    感谢分享。
    验证问答好难。
  • TA的每日心情
    开心
    昨天 16:37
  • 签到天数: 1874 天

    [LV.Master]伴坛终老

    0

    主题

    3799

    回帖

    6万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    60111

    小蜜蜂章笑傲江湖章灌水大神章

    11
    发表于 2013-10-19 21:58:25 | 只看该作者
    谢谢楼主分享!

    该用户从未签到

    0

    主题

    66

    回帖

    835

    积分

    举人

    Rank: 4

    积分
    835
    12
    发表于 2013-10-22 17:19:54 | 只看该作者
    呵呵,初次使用了下,感觉不错啊,虽然说结构图需要连网才能显示,
    看了说明才明白,那约略20GB的图片大小,要弄成mdd的话,可能也吃不太消,
    不晓得会弄成怎样的大小?:P
    anyway,好物,谢谢分享!辛苦了!

    该用户从未签到

    0

    主题

    33

    回帖

    169

    积分

    被盗用户

    积分
    169
    13
    发表于 2014-6-22 03:04:52 | 只看该作者
    辛苦了!!!
  • TA的每日心情
    开心
    2020-7-31 09:35
  • 签到天数: 1 天

    [LV.1]初来乍到

    0

    主题

    32

    回帖

    110

    积分

    童生

    Rank: 2

    积分
    110
    14
    发表于 2014-7-23 13:51:47 | 只看该作者
    版权问题确实是一大问题,本站以后的路怎么走~~~

    该用户从未签到

    0

    主题

    11

    回帖

    49

    积分

    白身

    Rank: 1

    积分
    49
    17
    发表于 2014-9-29 00:03:22 | 只看该作者
    楼主有爱心,有能力,佩服
  • TA的每日心情

    2018-6-16 00:08
  • 签到天数: 197 天

    [LV.7]常住居民III

    16

    主题

    1663

    回帖

    6575

    积分

    禁止发言

    积分
    6575

    小蜜蜂章笑傲江湖章灌水大神章

    18
    发表于 2014-9-29 07:19:11 来自手机 | 只看该作者
    好东西,必须马上使用哈。

    该用户从未签到

    0

    主题

    4

    回帖

    45

    积分

    被盗用户

    积分
    45
    19
    发表于 2014-11-5 10:36:06 | 只看该作者
    感谢楼主,化学狗伤不起

    该用户从未签到

    1

    主题

    15

    回帖

    73

    积分

    白身

    Rank: 1

    积分
    73
    20
    发表于 2014-11-5 12:38:54 | 只看该作者
    这个太强大了!
  • TA的每日心情

    2018-6-16 00:08
  • 签到天数: 197 天

    [LV.7]常住居民III

    16

    主题

    1663

    回帖

    6575

    积分

    禁止发言

    积分
    6575

    小蜜蜂章笑傲江湖章灌水大神章

    21
    发表于 2014-11-5 12:47:49 | 只看该作者
    果然牛逼下载看看哈。试用哈。
  • TA的每日心情
    奋斗
    2022-12-10 14:49
  • 签到天数: 5 天

    [LV.2]偶尔看看I

    0

    主题

    49

    回帖

    157

    积分

    童生

    Rank: 2

    积分
    157
    22
    发表于 2014-11-9 22:23:00 | 只看该作者
    深表感谢!深表感谢!
  • TA的每日心情
    开心
    2023-3-19 16:11
  • 签到天数: 568 天

    [LV.9]以坛为家II

    0

    主题

    1036

    回帖

    11万

    积分

    状元

    Rank: 9Rank: 9Rank: 9

    积分
    118176

    灌水大神章

    23
    发表于 2015-1-23 09:00:44 | 只看该作者
    学化学的人有福了。感谢楼主分享

    该用户从未签到

    0

    主题

    8

    回帖

    107

    积分

    童生

    Rank: 2

    积分
    107
    24
    发表于 2015-6-19 14:08:10 | 只看该作者
    不错 多谢分享

    该用户从未签到

    0

    主题

    39

    回帖

    104

    积分

    童生

    Rank: 2

    积分
    104
    QQ
    25
    发表于 2015-9-28 11:01:32 | 只看该作者
    MUCH THANX FOR SHARING