如何高效抓取网站与小程序的产品信息？保姆级教程与方案分析

最近在折腾一些电商数据监控的项目，也就是常说的“比价”或者“库存监控”。这就涉及到一个很核心的问题：怎么从目标网站，特别是反爬比较严的小程序里，把产品信息（标题、价格、规格啥的）连带图片一起干净利落地“借”出来。

咱们今天不整那些虚头巴脑的理论，直接上干货，聊聊目前市面上最好用的几种姿势，以及遇到坎儿怎么解。

数据采集的基本流程示意图，展示了从目标网站获取数据到本地解析的过程。

一、 传统网页采集：老三样还能打吗？

对于传统的 Web 网站（HTML 渲染的），如果你的目标只是静态页面，那其实没啥难度。但现在的电商网站，十个有九个半都是动态加载的（SPA），页面源码里你根本找不到商品价格，因为那是 JS 算完再塞进去的。

这时候就得看情况出牌了：

1. 浏览器的“保存功能” 如果你只是偶尔需要存几个商品的信息，别学编程了，浪费时间。直接右键“网页，另存为”。你会发现 Chrome 还是蛮智能的，它会把当前的 HTML 和依赖的资源文件（CSS、图片）都下载下来。虽然是离线浏览，但解析 HTML 文件把图片提出来，也就是几行 Python 代码的事。这是最简单、成本最低的“零代码”方案。

2. 浏览器自动化（Selenium / Playwright） 这是很多入门开发者的首选。用代码模拟真人操作浏览器，打开页面，等 JS 跑完了再“抄作业”。

   • 优点：所见即所得，只要你能看见，它就能抓，不管你怎么加密。
   • 缺点：慢！重！资源占用巨大。而且现在的网站反爬意识很强，很容易检测出你是“机器人”，直接弹个验证码或者封 IP。
   • 适用场景：没有服务器资源，就在本地跑一跑，数据量不大的情况。

3. 接口分析（API 逆向，这才是王道） 这也是高级玩家的路子。通过浏览器开发者工具（F12）的 Network 面板，拦截真正的数据请求。

   • 思路：你会发现网页加载时会有一个 XHR 或 Fetch 请求，返回的是一串 JSON 数据，里面包含了商品的所有信息（包括图片的高清链接）。你只需要模拟这个请求的 Headers（特别是 Cookie、Token、Signature），就能直接拿数据，根本不用解析 HTML。
   • 难点：签名算法（JS 加密）。如果请求参数里带个 sign: a7f8c9d...，那你得反编译它的 JS 代码搞懂加密逻辑。这就有点技术门槛了，推荐用 Python 的 execjs 或者 PyExecJS 去跑它的加密算法，或者用一些专门的抓包工具辅助。

二、 微信小程序：最难啃的骨头

小程序之所以难搞，是因为它不跑在常规浏览器里，它的协议是封装过的，而且还有那种奇怪的 wxv 域名视频和图片加密。

不过，咱们也有办法，核心思路只有一条：只要它显示在屏幕上，数据就必须经过网络传输。

1. 抓包工具大显身手 别指望在手机上直接看。你要做的，是在电脑上抓手机的包。

   • 工具：推荐使用 Charles、Fiddler 或者 mitmproxy（Python 系玩家最爱）。
   • 操作流程：电脑和手机连同一个 WiFi，电脑开启代理，手机安装电脑提供的证书，设置 Wi-Fi 代理指向电脑 IP。
   • 坑点：Android 7.0 以上如果不修改系统证书目录，用户安装的抓包证书是不被信任的，抓 HTTPS 包会全是乱码。这就需要 Root 后移动证书，或者使用 VirtualXposed 等虚拟环境。
   • 破解：搞定证书信任后，打开小程序，操作一番。这时候 Charles 里会跳出大量请求。重点找那些返回 JSON 的 cws 或 mp 相关请求。通常你也能找到清晰度极高的图片 CDN 链接。

2. 微信 PC 版/QQ 浏览器调试法 很多人不知道，在 PC 上开小程序是可以调试的。虽然微信限制了直接 DevTools，但通过特定的命令行参数启动微信，或者利用某些修改版微信/调试工具，是可以挂载 Chrome DevTools 的。一旦挂载成功，跟调试网页一模一样，直接看 Network，这招对于小程序简直是降维打击。

三、 遇到问题怎么办？常见报错与解决方案

1. 图片 403 Forbidden / 反盗链 你拿到了图片链接，但是一在程序里访问就 403？

   • 解法：这是 referer 校验搞得鬼。你在下载请求头里把 Referer 改成目标网站的首页，或者干脆留空，有时候还得加上 User-Agent 伪装成浏览器。

2. 滑块验证码 / 行为验证 自动化工具一跑就滑块？

   • 解法：可以尝试接入打码平台（虽然要花点小钱），或者使用 undetected-chromedriver 这种专门用来逃避检测的 Selenium 驱动，它能自动修补浏览器的特征。

3. 数据乱码 解法：大概率是编码问题。现在的网页大多 UTF-8，但有些老站是 GBK。在 Python 里读取响应时显式指定 encoding='utf-8' 或者 encoding='gbk' 试试。如果是抓包抓到的乱码，记得检查是不是启用了 Gzip 压缩，解压后再看。

总结

做数据采集，其实就是一场攻防战。

• 简单任务：浏览器右键保存 + 简单脚本。
• 中等任务：找 API 接口，模拟请求，这是效率最高的。
• 困难任务：小程序抓包，搞定证书陷阱，直面加密。

最后还是得唠叨一句：技术中立，但使用要有度。抓取数据仅用于个人学习研究或合理分析，千万不要人家服务器干崩了，或者把商用拿去倒卖，那可是法律风险。大家且用且珍惜，祝你的爬虫永不封号！