你的浏览器禁用了JavaScript, 请开启后刷新浏览器获得更好的体验!

本站
百度
谷歌
bing
Yahoo

登录注册

社区发现 ChatGPT 如何用ChatGPT 和Python W...

所在分类: ChatGPT 所属圈子: ChatGPT Amazon

如何用ChatGPT 和Python Web抓取亚马逊产品数据做竞品分析

发帖36次被置顶3次被推荐2次质量分0星回帖互动121次历史交流热度20.14% 历史交流深度0%

×

✨ AI 摘要

本文适合从事跨境电商竞品分析的运营和数据开发者查阅。

本文讲解如何结合 ChatGPT 与 Python 自动化从亚马逊竞品页提取图片、品名、评价与价格，并输出为 JSON/CSV。

1.

数据要素定位：

明确需要提取的要素：图片、品名、评价、价格与页面区域；通过检查元素获得对应的 class 名称，并按前缀（div/image/span）组合以便复用。

2.

数据采集流程：

记录元素选择器、保存分析页快照，确保后续自动化脚本可复用提取规则。

3.

自动化脚本生成：

让 ChatGPT 生成 Python 代码，读取保存的页面和五个元素，建立逐页映射并输出单页 JSON。

4.

输出与合并：

实现多页数据输出与合并：第二页输出为 data2.json，最后合并成 data.csv，确保字段对齐。

5.

工作流扩展：

工作流的扩展性：可将同一框架应用到更多品类，提供可重复的脚本模板与导出能力。

展开

内容由 AI 生成

0 收起

✨ AI 摘要

我们在做跨境电商的时候有一个非常重要的工作就是做竞品分析，必须要抓取大量的产品数据。但是目前亚马逊网站上他是禁止爬虫去抓取数据的，所以今天我教大家利用chatgpt和Python Web做竞品分析

https://assert.wearesellers.com/questions/20230327/1451d53af77adc59c6c64bbdabba10ce.png

https://assert.wearesellers.com/questions/20230327/779d511f5cf8d0a45512b8cc83ab6590.png

先到亚马逊网站找到我们要分析产品的类目，我们需要获取的数据是图片，品名，评价，价格。以厨房用品为例

https://assert.wearesellers.com/questions/20230327/e08f21280caf5d8ce8a84a9b4644cdcd.png

https://assert.wearesellers.com/questions/20230327/92ff35ddab7506da60b8f19adcb4a258.png

总共有120个结果。就是这个细分产品下面有120个产品.
右键点击这个产品页，检查

https://assert.wearesellers.com/questions/20230327/89a28c276f7ab4d47519c2a360e37af1.png

https://assert.wearesellers.com/questions/20230327/9975ba3e019c2aa2cede1af9c374c560.png

当我们鼠标放到这个Div上面的话，左边这里有一块是变灰了，右边手指的这块Div，对应的就是这个变灰的产品

https://assert.wearesellers.com/questions/20230327/2602223f5ed5c224ee45ecf64f771b61.png

如果另外换一个Div的话是这个产品

https://assert.wearesellers.com/questions/20230327/fe45939745c53e04e34f474aedf17b5b.png

在不同的div里面这里的class name都是一样的。我们把这个拷贝下来。

https://assert.wearesellers.com/questions/20230327/54de8874f26c599886447b654a685fb1.png

https://assert.wearesellers.com/questions/20230327/2e0ea2231e07169f181ca455842e3a5a.png

在前面加上div

https://assert.wearesellers.com/questions/20230327/923941e6a8f9a42d34d87d4844173e34.png

接下来继续回到产品页。把鼠标放在图片上面，右键点击。还是选择检查。把这个class的名字也拷贝下来

https://assert.wearesellers.com/questions/20230327/37ca573d1752c3c38471a7c42fba59c5.png

https://assert.wearesellers.com/questions/20230327/9d7e565b461bb4a418f8df2a953a89cb.png

前面加上image。把鼠标放在这个标题上面

https://assert.wearesellers.com/questions/20230327/294f7c0e467cfdce4ce3a86519e0408d.png

右键点击，再检查把这个span的这个class也拷贝下来。前面加span。继续鼠标放到评价上面，右键点击，把这里span class这里也拷贝下来

最后右边点击价格，也是把这个span class记录下来。

https://assert.wearesellers.com/questions/20230327/3ab8f6d1b0b4f5eaa40fdf1c02ef6e6b.png

这五个做完以后，我们CTRL键+s键把我们这个网页保存下来。

https://assert.wearesellers.com/questions/20230327/4b729ca8a1d5c7f4c865a38cb7c65c77.png

根据刚才找到的五个元素。我们给chat gpt发出指令让他做三件事。
第一个使用PYTHON给我们编写代码，

https://assert.wearesellers.com/questions/20230327/65b165edcda5722a73b2d2f2a508521b.png

第二个读取我们刚才保存下来的亚马逊的产品页。
第三个在这个页面里面一一对应这5个元素，最后把这些匹配的数据保存到一个json文件

https://assert.wearesellers.com/questions/20230327/6e1edb119d57c80d208ed5eb63972dbd.png

运行一下
现在运行一下然后看到左边多了一个json的文件

https://assert.wearesellers.com/questions/20230327/88739b91636a8b89d0b5ca2414d2b9b3.png

https://assert.wearesellers.com/questions/20230327/a6ee3b05142566e4bfab94047ab20f63.png

我们打开看一下。这里数据已经有了。这个是评级和价格。

https://assert.wearesellers.com/questions/20230327/583cfbce2a402e2429b077b51a3b0b0d.png

这个代码是可以复用的，转到第二页

https://assert.wearesellers.com/questions/20230327/a861c905b79a8eaef1d9bccac88634b0.png

同样我们把第二页保存下来

https://assert.wearesellers.com/questions/20230327/419600961c575dd18a672a7dcd2c69d9.png

然后在这里把我们这个文件换一下，这个是2

https://assert.wearesellers.com/questions/20230327/82644d6361389d24a458b5bf4cb58adf.png

这里输出的文件我把名字改成data2.新输出了一份文件

https://assert.wearesellers.com/questions/20230327/57979318ae07170201e136f04c5562aa.png

最后让chatgpt帮我们把两个json文件合并成一个csv文件

https://assert.wearesellers.com/questions/20230327/5874339ccdf319e7f5c53284b379ca09.png

合并成功格式是csv

https://assert.wearesellers.com/questions/20230327/f021074bb407de27f6a1db0e6b8e9a31.png

这边如果有不懂的，欢迎大家交流。

23 个回复

本人详细阅读并充分理解和同意以下原创声明全部内容，并将予遵守执行：

1.  关于“作品”：
1.1 是指依照《中华人民共和国著作权法》及其他相关法律法规受到法律保护且具有独创性的智力成果。
1.2 作品的形式可以被「知无不言」社区识别，如文字、图片、音频或视频等。
1.3 本人的“作品”在「知无不言」社区中通常是以发帖、回帖、评论的形式展现。
1.4 在本声明中本人代指“个人”或以公司、协会、组织形成存在的各类“机构”，统一简称为“本人”。

2. 原创声明：
2.1 本人保证发布的作品由本人创作且本人享有发表权，或者获得原权利人合法、有效、完整的授权允许。
2.2 如果本人所发布的作品有引用他人作品，本人将与原权利人在事前进行协商并取得授权同意，并将引用的内容在本人所发布的作品中进行来源说明。如有发生纠纷，「知无不言」社区不会也无法介入本人与授权人之间的纠纷解决。

3. 本人知悉：在如下情形出现时，不会对作品进行原创声明：
3.1 抄袭或剽窃的作品，或作品的构成元素（如视频作品的配音、音乐、图片）未获得合法授权导致权属争议的内容；
3.2 大篇幅引用他人的内容，或主要内容为他人创作，或通过整理、拼凑等形式使用他人的内容。
3.3 翻译内容：没有获得作者授权的翻译内容。
3.4 成果本身不是作品，或不受《中华人民共和国著作权法》保护，如法律、法规，国家机关的决议、决定、命令和其他具有立法、行政、司法性质的文件、时事新闻、历法、通用数表、通用表格和公式等；
3.5 营销性质的内容；
3.6 非独家授权或代理的作品；
3.7 色情低俗内容、暴力内容、不实信息等内容；
3.8 其他违反法律法规、政策及公序良俗、社会公德，违反「知无不言」社区《用户协议》 ，或干扰「知无不言」社区正常运营和侵犯其他用户或第三方合法权益的内容。

4. 特别声明：
4.1 本人理解并同意，如果发生以下情况，「知无不言」社区有权：立即暂停、中止、停止社区用户资格，并按照相关协议、规则对本人和本人发布的作品做出处理；暂停结算资金至本人的收款账户；同时，「知无不言」社区有权将本人用户账户中的资金剩余款项作为违约金或损害赔偿金予以扣除而不予返还，剩余款项不足以抵扣违约金或损害赔偿金的，「知无不言」社区有权继续向本人追偿：
4.1.1 本人的行为违反了「知无不言」社区《用户协议》 或相关约定；
4.1.2 本人发布的作品受到行政司法机关违法调查或受到第三方的侵权投诉，尚未解决；
4.1.3 本人未经「知无不言」社区事先书面同意，将获知的「知无不言」社区未向全部用户开放的信息告知其他任何第三方；
4.2 本人理解并同意：因本人主动提出或由社区提出中止答主认证时，产生的相关答主认证费用无需退还给本人。
4.3 本人认可社区的悬赏规则并愿意配合执行：https://www.wearesellers.com/question/6492。
4.3.1 本人认可社区悬赏规则：帖子发布后，如果没有用户回帖，帖主可以将帖子删除。帖子删除后，该帖相关悬赏金额将被返还到帖主在社区的用户账号/支付方。帖子发布后，凡有用户参与悬赏回帖，均需要选择最终答案，帖主不能以无理想答案或其它原因为由要求删除该帖甚至请求退还悬赏金。发布前请再仔细阅读社区指南：https://www.wearesellers.com/question/6492
4.4 本人认可依据社区管理规则因本人违反本声明或用户协议、社区指南、管理规则及公告指引等内容，导致或产生第三方主张的任何索赔、要求或损失的，由本人独立承担责任，与「知无不言」社区无关；「知无不言」社区因此遭受损失的，本人也应当一并赔偿。

5. 本声明内容同时包括「知无不言」社区可能不断发布的关于原创声明的相关声明、协议、社区指南、管理规则及公告指引等内容（统称为“原创声明”）。上述内容经正式发布后即成为本声明不可分割的组成部分。

本协议中的甲方，是指「知无不言跨境电商社区」，通常简称为「知无不言」或「社区」，该社区运营的主体为「深圳汤武之光技术有限公司」，该公司统一社会信用代码：91440300MA5HL4YB33，位于中国深圳。本协议中的乙方，是指用户，即您本人。

鉴于乙方作为经「知无不言」认证的答主，有意通过本平台参与悬赏任务并获得收益；甲方同意依据本协议约定为乙方提供平台服务。双方经友好协商，依据《中华人民共和国民法典》、《「知无不言」跨境电商社区用户协议》（简称为「用户协议」）及其他相关法律法规，达成如下协议，以资共同信守。

第一条 服务确认与接受
您通过在线勾选“我已阅读并同意《任务回答合作协议》”并成功回帖，即表示您已充分阅读、理解并接受本协议的全部内容，本协议即成立并生效，对双方具有法律约束力。

第二条 定义与解释
1. 悬赏任务： 指甲方通过本社区平台发布的，以公开或私密形式，设定服务费用并寻求特定问题解决方案的帖子。
2. 答主： 指乙方组织的、为其提供内容支持的服务人员，由乙方统一管理并支付报酬的人员，其行为视为乙方履行本协议的行为。甲方理解并同意，其服务关系完全基于甲乙双方之间建立。
3. 服务费用： 指甲方为获得乙方提供的在线咨询服务而支付的费用，金额由甲方在发布任务时设定。
4. 最佳答案： 指由甲方或本社区管理员根据本协议及社区规则选定的，符合悬赏任务要求的一个或多个回帖。
5. 答案选择期： 指悬赏任务到期后，甲方需选择最佳答案的特定期间，具体规则见本协议第四条。
6. 原创保证： 指乙方就其提供的服务内容作出的、符合本社区要求的原创承诺与合规保证。
7. 不可抗力：指不能预见、不能克服并不能避免且对一方或双方造成重大影响的客观事件，包括但不限于自然灾害（如洪水、地震、瘟疫流行和风暴等）以及社会事件（如战争、动乱、政府行为等）。

第三条 服务内容
1. 乙方通过甲方运营的平台，为甲方提供在线咨询顾问服务（即悬赏任务）。甲方以自有名义组织、审核、管理乙方提供的回答内容，并向乙方支付服务报酬。
2. 悬赏任务对应的服务费用由任务发布方向甲方支付，作为甲方自营咨询服务的对价。甲方依法取得全部服务收入，并根据乙方的贡献情况向乙方发放报酬。
3. 乙方需要通过甲方认证，以确保其是经甲方认证的合规答主，有权依据本协议参与在线咨询服务。
4. 乙方向甲方交付的服务成果为符合任务要求及本协议承诺的“回答”内容。该服务成果的知识产权及相关权益，在乙方获得服务报酬后，即视为已转让给甲方。
5. 协议关系：双方确认并同意，本协议项下的合作不构成任何形式的劳动、雇佣、劳务派遣或代理关系。乙方是自主决定是否参与、如何提供回答的独立服务提供方。甲方不对乙方的具体服务过程进行指挥、监督或管理。乙方报酬来源于甲方向其支付的服务费用，甲方有权根据平台规则决定发放标准。

第四条 悬赏流程
1. 参与回答：乙方可自主选择感兴趣的悬赏任务进行回帖回答。乙方理解并同意，其回答内容一经提交，即视为不可撤销的承诺，除非经甲方同意，不得要求删除。
2. 答案选择：最佳答案由任务发布方或甲方管理员根据社区规则选定。乙方理解并认可选择规则（通常为：符合悬赏问题的有效答案→切合主题的回答→与帖主积极互动的回答→最先参与互动的回答），并接受选择结果。
3. 赏金方法：最佳答案经公示无异议后，甲方将在7个工作日内，依据平台规则，以自有名义向中选答主支付相应服务报酬。该报酬来源于甲方运营的悬赏服务收入，乙方理解并同意该报酬支付不构成甲方代第三方支付。
4. 查看权限：对于私密悬赏任务，仅任务发布方和在悬赏结束前参与回帖的答主有权查看互动内容。

第五条 甲方权利义务
1. 甲方有权根据社区规则和管理需要，对悬赏任务及回答内容进行审核、展示、调整或下架。
2. 甲方负责赏金的结算与分配，但不对答案的质量、适用性或合法性作任何明示或默示的保证。
3. 甲方在发生不可抗力、意外事件（如断网、黑客攻击、系统故障等）导致服务中断或受阻时，可调整服务内容或方式，并免于承担相关责任。
4. 甲方不对其他用户的行为或发布的信息承担责任，包括但不限于虚假、侵权或误导性内容。
5. 甲方作为本平台自营服务的唯一结算主体，负责用户费用的收取与答主报酬的支付，不存在任何形式的资金代收代付或资金池操作。

第六条 乙方权利义务
1. 乙方有权依据本协议参与悬赏任务，并在答案被选为最佳答案后获得相应赏金。
2. 乙方应保证其回答内容符合原创性、合规性及质量要求，不得从事欺诈性或违规行为。
3. 乙方不得在参与回答后无正当理由要求删除回复，或通过任何方式干扰悬赏流程。

第七条 原创承诺与合规保证
乙方在此作出如下不可撤销的承诺与保证：
1. 乙方保证其提供的所有回答内容均为本人独立原创，或已获得权利人合法、有效、完整的授权，有权在本平台发布并使用该内容。该等内容包括但不限于文字、图片、代码、数据等任何形式的信息。
2. 乙方承诺其回答内容不侵犯任何第三方的合法权益，包括但不限于知识产权（著作权、专利权、商标权）、商业秘密、名誉权、隐私权等。如内容中引用第三方内容，乙方承诺已进行合规引用并明确标注来源。
3. 乙方不得提供任何违反法律法规、公序良俗或平台规则的内容，包括但不限于：
  - 低质与拼凑内容：完全照搬、大幅抄袭或拼凑已有内容，缺乏独立见解与分析。
  - 人工智能生成内容：不得提交完全由人工智能工具生成的答案。平台有权对回答内容进行检测，如经平台判定内容主要部分（包括但不限于超过50%的核心内容）为人工智能生成，且缺乏实质性个人创作与编辑的，视为违规。
  - 无关与广告内容：提供与悬赏问题主题明显无关的回答，或包含任何形式的广告、推广、招聘信息及外部链接等。
  - 欺诈与作弊行为：使用多个账号（马甲）参与同一任务、与他人串通作弊、或进行任何形式的虚假互动。
4. 乙方确认已阅读、理解并同意遵守本社区《用户协议》及所有相关管理规则。
5. 若乙方违反本条任一承诺与保证，视为严重违约。甲方有权独立判断并立即采取本协议第八条约定的违约责任措施，且乙方应独立承担由此给甲方、任务发布方或任何第三方造成的全部损失与法律责任。

第八条 售后规则
1. 争议处理：如任务发布方对乙方的答案提出争议（如涉及非原创、质量不符或权属问题），甲方有权根据本协议及相关规则进行调查。调查期间，甲方可暂停赏金支付。如确认乙方违反协议，甲方可采取本协议第八条（违约责任）所述措施；如无违规，甲方应保障乙方获得赏金的权利。所有退款均通过甲方自有商户号原路退回，不经由任何第三方账户。
2. 特殊情形申诉：如乙方认为答案选择过程存在不公或错误（例如答案被误判为无效），可在公示期内通过站内信息向甲方管理员提出申诉。甲方有权独立判断并决定处理方式，包括但不限于驳回申诉、重新审核答案或调整赏金分配。甲方的判定为最终决定。
3. 乙方责任限制：乙方理解并确认，其提供的答案旨在为任务发布方提供信息参考与思路支持，不应被视为必然达成特定效果的承诺。乙方不保证答案被选为最佳答案，也不对任务发布方使用答案后的商业结果承担责任。乙方是其答案内容的最终责任人，应独立承担因答案内容引发的所有风险。

第九条 违约责任和争议解决
1. 一旦发生本协议第七条所述的欺诈性或违规行为，甲方有权采取以下一项或多项措施：
  - 取消其当次任务的参与资格及赏金获取权；
  - 追回已发放的赏金；
  - 暂停结算、扣划乙方账户内资金作为违约金或损害赔偿金；
  - 暂停、中止或永久封禁乙方账号。
2. 乙方行为给甲方或第三方造成损失的，乙方应独立承担全部赔偿责任。
3. 因不可抗力、意外事件或乙方操作不当导致的服务问题，甲方不承担责任。
4. 争议解决：因本协议引起的或与本协议有关的任何争议，双方应友好协商解决；协商不成的，任何一方均有权将争议提交至甲方所在地有管辖权的人民法院诉讼解决。

第十条 不可抗力与责任限制
1. “不可抗力”是指不能预见、不能克服并不能避免且对一方或双方造成重大影响的客观事件，包括但不限于自然灾害如洪水、地震、瘟疫流行和风暴等以及社会事件如战争、动乱、政府行为等。出现上述情况时，甲方将努力在第一时间与相关单位配合，及时进行修复，但是由此给乙方造成的损失，甲方在法律允许的范围内免责。
2. 若出现断网、黑客攻击等意外事件，甲方保留对服务内容、方式作出相应调整的权利，因此给乙方造成的损失，甲方不承担责任。
3. 在法律允许的范围内，甲方对以下情形导致的服务中断或受阻不承担责任：
  - 受到计算机病毒、木马或其他恶意程序、黑客攻击的破坏；
  - 用户或乙方的电脑软件、系统、硬件和通信线路出现故障；
  - 用户操作不当；
  - 用户通过非甲方授权的方式使用本服务；
  - 其他甲方无法控制或合理预见的情形。
4. 乙方理解并同意，在使用本服务的过程中，可能会遇到网络信息或其他用户行为带来的风险，甲方不对任何信息的真实性、适用性、合法性承担责任，也不对因侵权行为给乙方造成的损害负责。

第十一条 其他约定
1. 本协议是《「知无不言」跨境电商社区用户协议》的有效补充，与其规定不一致的，以本协议为准；本协议未约定之事宜，适用其规定。
2. 本协议自乙方勾选同意并成功发布悬赏回帖之日起生效，至该悬赏任务全部权利义务履行完毕时终止。
3. 本协议内容包括以上条款及本社区已经发布的或将来可能发布的各类规则。所有规则为本协议不可分割的一部分，具有同等法律效力。
4. 乙方所得报酬为劳务报酬，甲方依法代扣代缴个人所得税（如适用）。

跨境电商人的科学世界，
真知、灼见，
喜悦或快意的君子之争。
见智慧，见性情。

关于社区

社区用户使用指南如何高质量发帖如何进行实名认证如何成为知识会（答主）如何正确围观悬赏帖如何入驻意见领袖专栏
出海资源入驻

如何加入品牌实力展示入驻步骤介绍需要准备的资料如何发布或修改资源信息如何发布任务
法律声明

本站原创内容版权归作者和知无不言共同所有，未经本站许可，禁止以任何形式转载。
微信公众号

微信服务号

视频号

抖音号

Copyright © 2015 - 2025 知无不言版权所有深圳汤武之光技术有限公司

公网备案

粤公网安备44030602008001号粤ICP备2022153043号粤网文(2025)1052-095号增值电信业务经营许可证ICP证：粤B2-20230674号

加入卖家社群

关注公众号

加入线下社群

亚马逊全球开店

亚马逊全球开店

×

10s