python之selenium访问网站被反爬限制封锁解决方法
加了一些变量值,比如window.navigator.webdriver,在正常的谷歌浏览器是undefined,在selenium打开的谷歌浏览器是True,然后对方服务器就会下发js代码,检测这个变量值给网站,网站判断这个值,为True就是。这些资料,对于【软件测试】的朋友来说应该是最全面最完整的备战仓库,这个仓库也陪伴上万个测试工程师们走过最艰难的路程,希望也能帮助到你!程序就封锁你的访问,
·
软件测试资料领取:[内部资源] 想拿年薪40W+的软件测试人员,这份资料必须领取~
软件测试面试刷题工具领取:软件测试面试刷题【800道面试题+答案免费刷】
在访问某些网站时,selenium webdriver 开启网页失败,被发现为爬虫,目前我碰到的有效解决方案是:
1、因为selenium在命令行手动开启后的谷歌浏览器加了一些变量值,比如window.navigator.webdriver,在正常的谷歌浏览器是undefined,在selenium打开的谷歌浏览器是True,然后对方服务器就会下发js代码,检测这个变量值给网站,网站判断这个值,为True就是爬虫程序就封锁你的访问,如下图。
实现代码是在请求之前改变一些参数,绕过检测,具体细节可以自己了解下网站检测selenium的原理,需要设置对应其它的值都可以加:
# 下面代码本人是基于命令行打开再接管浏览器窗口,
from selenium import webdriver
options = webdriver.ChromeOptions()
# chrome在79版之前用下面两行代码
#options.add_experimental_option("excludeSwitches", ["enable-automation"])
#options.add_experimental_option('useAutomationExtension', False)
# -我是最新谷歌浏览器版本,chrome在79和79版之后用这个,
driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
"source": """
Object.defineProperty(navigator, 'webdriver', {
get: () => undefined
})
"""
})
driver.get("这里填写你被反爬网站的链接")
既然看到这里,在收藏的同时,也请不吝啬的点个赞呗!期待 ~
最后感谢每一个认真阅读我文章的人,下方这份完整的软件测试教程已经整理上传完成,需要的朋友们可以文末自行领取:【保证100%免费】
这些资料,对于【软件测试】的朋友来说应该是最全面最完整的备战仓库,这个仓库也陪伴上万个测试工程师们走过最艰难的路程,希望也能帮助到你!
更多推荐
所有评论(0)