TA的每日心情![](source/plugin/dsu_paulsign/img/emot/fd.gif) | 奋斗 2019-4-14 02:12 |
---|
签到天数: 93 天 [LV.6]常住居民II
状元
吃水不忘挖井人
![Rank: 9](static/image/common/star_level3.gif) ![Rank: 9](static/image/common/star_level3.gif) ![Rank: 9](static/image/common/star_level1.gif)
- 积分
- 531111
![灌水大神章](static/image/common/medal3.gif) ![笑傲江湖章](static/image/common/medal2.gif) ![推广专家](static/image/common/medal6.gif) ![QQ 章](static/image/common/medal8.gif)
|
有些网站禁止未登陆用户访问,但会对搜索引擎开绿灯。开绿灯的方式有可能只是简单地判断 User Agent。
所以,只要把浏览器的 User Agent 改为搜索引擎的爬虫即可访问其内容。对 Chrome 来说就是按 F12,点下面那三个点,在菜单中选 Network conditions,然后将 User Agent 设置为 Googlebot 即可。
F12 这招只对当前标签页有效,适合临时查个资料看一下。对某些需要长时间沉浸式体验的网站,可以直接在命令行上修改全局 User Agent:chrome.exe --user-agent="Mozilla/5.0 (compatible; Googlebot/2.1)"
以上内容来自微博。供参考。 |
|