遇到一个蛋疼的问题,经常拉取数据的网址,突然不能获取数据了,报403的错误

<html><head><title>403 Forbidden</title></head>
<body>
<center><h1>403 Forbidden</h1></center>
<center>nginx/1.19.1</center>
</body>
</html>

但是使用postman或者直接使用浏览器就可以成功获取数据
应该是抓取数据网站做了限制,
解决方案:
既然浏览器可以访问成功,就带上所有浏览器的请求头访问
最后成功了
其实带上请求头就好了,

User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36

原因可以参考
https://www.jianshu.com/p/c5cf6a1967d1

Logo

技术共进,成长同行——讯飞AI开发者社区

更多推荐