社区 发现 其它网络技术 亚马逊识别了、启动了反爬机制吗?为什么同...
亚马逊识别了、启动了反爬机制吗?为什么同样用加速器(静态IP),我的电脑用加速器换各种IP都会报错,爬的东西无论是BSR,评论,详情也都会出验证码和狗,另两个同事同样的代码同样的节点完全没问题
然后奇怪的是,用着同一个爬虫代码,但是我的电脑的爬虫代码永远都会报错出验证码或者直接出狗。而同事的,用同一个验证码缺没问题。爬取一样的内容,用的加速器节点也是一样的,唯一不同的就是电脑不同,爬的东西无论是BSR,评论,详情也都会出验证码和狗,然后另外两个同事爬同样的东西同样的代码同样的节点,完全没问题。
有没有IT大神可以帮忙解决一下为什么呢?
我的猜想是因为亚马逊识别了启动了反爬机制,但是作为爬虫,正常不会对电脑识别,更多的是对网络识别,但是同样的网络为什么会有那么大的不同?
10 个回复
AMZ魔轮 - 非机构认证用户禁止服务广告信息或联系方式
赞同来自: 猫鲁鲁 、 strawJerry 、 Q403003090 、 野兽先辈 、 cw509999 、 淡橘色的加州阳光 、 Nickay 、 聚又散 、 zhuzhu1991 、 saldmslk 更多 »
1、亚马逊自己维护了一个ip库,经常爬数据的ip、或者很多人用的公共代理ip,就容易被判为爬虫,轻则出验证码,重则爬啥都是狗
2、亚马逊会检查请求头完整性,这块最重要的是user-agent,如果能模拟用户正常操作下带cookie去访问最好
3、亚马逊的反爬判断是有个动态调节的机制,用户访问高峰期,比如晚上、大促期间,反爬力度会减弱
所以,你可以尝试 更换ip、更换header的user-agent、带cookie访问、换个时间段访问