TA的每日心情 | 奋斗 2019-4-14 02:12 |
---|
签到天数: 93 天 [LV.6]常住居民II
状元
吃水不忘挖井人
- 积分
- 531111
|
有些网站禁止未登陆用户访问,但会对搜索引擎开绿灯。开绿灯的方式有可能只是简单地判断 User Agent。
所以,只要把浏览器的 User Agent 改为搜索引擎的爬虫即可访问其内容。对 Chrome 来说就是按 F12,点下面那三个点,在菜单中选 Network conditions,然后将 User Agent 设置为 Googlebot 即可。
F12 这招只对当前标签页有效,适合临时查个资料看一下。对某些需要长时间沉浸式体验的网站,可以直接在命令行上修改全局 User Agent:chrome.exe --user-agent="Mozilla/5.0 (compatible; Googlebot/2.1)"
以上内容来自微博。供参考。 |
|