社区 发现 ChatGPT 如何用ChatGPT 和Python W...
如何用ChatGPT 和Python Web抓取亚马逊产品数据做竞品分析
先到亚马逊网站找到我们要分析产品的类目,我们需要获取的数据是图片,品名,评价,价格。以厨房用品为例
总共有120个结果。就是这个细分产品下面有120个产品.
右键点击这个产品页,检查
当我们鼠标放到这个Div上面的话,左边这里有一块是变灰了,右边手指的这块Div,对应的就是这个变灰的产品
如果另外换一个Div的话是这个产品
在不同的div里面这里的class name都是一样的。我们把这个拷贝下来。
在前面加上div
接下来继续回到产品页。把鼠标放在图片上面,右键点击。还是选择检查。把这个class的名字也拷贝下来
前面加上image。把鼠标放在这个标题上面
右键点击,再检查把这个span的这个class也拷贝下来。前面加span。继续鼠标放到评价上面,右键点击,把这里span class这里也拷贝下来
最后右边点击价格,也是把这个span class记录下来。
这五个做完以后,我们CTRL键+s键把我们这个网页保存下来。
根据刚才找到的五个元素。我们给chat gpt发出指令让他做三件事。
第一个使用PYTHON给我们编写代码,
第二个读取我们刚才保存下来的亚马逊的产品页。
第三个在这个页面里面一一对应这5个元素,最后把这些匹配的数据保存到一个json文件
运行一下
现在运行一下然后看到左边多了一个json的文件
我们打开看一下。这里数据已经有了。这个是评级和价格。
这个代码是可以复用的,转到第二页
同样我们把第二页保存下来
然后在这里把我们这个文件换一下,这个是2
这里输出的文件我把名字改成data2.新输出了一份文件
最后让chatgpt帮我们把两个json文件合并成一个csv文件
合并成功格式是csv
这边如果有不懂的,欢迎大家交流。
23 个回复
Mdrsyen
赞同来自: SpikeNeverQuit 、 长不高的小兔1 、 Hoolei 、 HHH123 、 发威的病猫 、 柠檬酱酱 、 Hope6666 、 太麻烦了 、 Corneille 、 farion 、 LAIYUHUI 、 丞相何故发笑 、 铲屎大将军 、 超级高手 、 穿行叟168 、 mackchen 、 舍我其谁 、 哦幺发钛猜 、 小小亚马逊人 、 陈个李Greennn 更多 »
但凡有点前置知识也不至于说出这种鬼话,这篇文章的前提就错了,亚马逊压根不禁止你爬商品页面,只是禁止高频率请求而已,不然你以为谷歌怎么搜得出商品页面
亚马逊自己写的robot.txt:
https://www.amazon.com/robots.txt
像亚马逊这种,简简单单request,加个等待时间就能自动批量下网页内容了,十年前知乎怎么爬亚马逊的,现在你也能爬