手把手教你写个脚本：一键爬取全网音乐排行榜

哈喽大家好，我是你们的技术搬运工。

不同的音乐平台各有各的榜单，查看全网热歌需要在多个APP之间切换

不知道大家平时听歌是不是也和我一样，有点“选择困难症”？打开常用的那几个音乐APP，看着满屏的推荐歌单，却不知道该听什么。其实，最简单粗暴的方法就是看排行榜——毕竟大家都听的，大概率不会难听到哪去。

但是问题来了：不同的平台（比如某云、某Q音）榜单不一样，想看“全网大热”还得切来切去，太烦了。

作为一个偷懒成性的人，我特意写了个小脚本，把这些主流音乐平台的排行榜数据一股脑全爬下来，整理成一个自己的“超级榜单”。今天就把这个思路和简单实现分享给感兴趣的伙计们。

一、 思路分析：这事儿到底咋做？

在写代码之前，咱们得先理清逻辑。爬虫嘛，无非就那几步：

利用浏览器开发者工具的Network面板抓取API接口

1. 找数据源：确定我们要爬哪个榜（热歌榜、新歌榜、飙升榜等），然后把网页地址（URL）记下来。注意，很多音乐平台的网页版榜单数据加载比较简单，适合作为入手点。
2. 看数据结构：这就涉及到一点“逆向”的意思了。现在的网站很少直接把数据写死在HTML里，大多是通过Ajax请求加载JSON数据。我们需要按一下F12（开发者工具），去Network面板里抓包，找到那个返回了歌曲列表的API接口。
3. 伪装身份：这是老生常谈了。如果不加请求头直接访问，大概率会被反爬机制拦在门外。所以，User-Agent、Referer这些该带的都得带上，最好再加上Cookie，模拟成真实用户的浏览器行为。
4. 解析与存储：拿到JSON数据后，用Python自带的库或者把歌名、歌手名提取出来，存到Excel或者TXT里，这就齐活了。

编写Python脚本处理抓取到的榜单数据

二、 核心难点与解决方案

说起来简单，实际操作中肯定会有坑。这里我重点说两个新手最容易碰壁的地方，并给出解决思路。

1. 加密参数怎么过？

有些平台的API请求里会带一串乱七八糟的加密参数（比如params、encSecKey之类的）。这种情况下，如果你不想去啃那几千行混淆过的JS代码，我有两个建议：

• 方案A（硬核）：使用Python的execjs库，把网站里的加密JS代码扣下来，在Python环境里直接运行，动态生成参数。
• 方案B（取巧）：有些PC客户端的请求验证比较宽松，可以去抓PC端的包，或者寻找一些无需加密的旧版API接口（如果还没关停的话）。

2. 反爬频率限制

如果你请求速度太快，IP会被封一会。解决方法很简单：

• 加上随机的时间延时（比如time.sleep(random.uniform(1, 3))）。
• 搞个IP代理池，轮着换IP请求（不过对于爬个榜单这种低频操作，其实没必要这么兴师动众，延时一下足矣）。

三、 代码实现（核心逻辑伪代码）

为了不涉及具体平台的敏感规则（懂的都懂），我这里提供一个通用的代码框架。你只需要把target_url和headers改成你抓包分析到的真实数据就行。

import requests
import json
import time
import random

# 模拟浏览器头信息，避免被拦截
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36',
    'Referer': 'https://music.example.com/' # 这里填目标网址
}

def get_chart_data(url):
    try:
        # 发起请求
        response = requests.get(url, headers=headers)

# 检查状态码
        if response.status_code == 200:
            data = response.json() # 假设返回的是JSON数据
            return data
        else:
            print(f"请求失败，状态码: {response.status_code}")
            return None
    except Exception as e:
        print(f"发生错误: {e}")
        return None

def parse_and_save(data):
    # 这里需要根据实际返回的JSON结构来解析
    # 假设数据结构是 data['result']['songs'] 这样的列表
    if not data:
        return

song_list = []
    # 伪代码：具体字段名请对照抓包结果修改
    for item in data.get('list', []):
        song_name = item.get('name', '未知歌曲')
        artist_name = item.get('artist', '未知歌手')
        song_list.append(f"{song_name} - {artist_name}")

# 打印看看结果
    for song in song_list[:10]: # 只看前10首测试
        print(song)

# 也可以写入文件
    with open('my_super_chart.txt', 'w', encoding='utf-8') as f:
        f.write('\n'.join(song_list))
    print("榜单已保存至 my_super_chart.txt")

if __name__ == "__main__":
    # 这里替换为你抓包找到的真实API接口
    target_url = "https://api.example.com/v1/chart/top"

print("开始爬取榜单...")
    result = get_chart_data(target_url)
    parse_and_save(result)

# 礼貌延时
    time.sleep(random.uniform(1, 2))

四、 进阶玩法：不仅仅是个榜单

拿到数据后，其实还能玩出更多花样：

1. 聚合对比：你可以同时爬某云的“热歌榜”和某Q的“巅峰榜”，用Python做个简单的对比，看看哪些歌是真正的“全网霸榜”。
2. 自动搜索下载：这就涉及到灰产学了（不建议用于商业用途），拿到名字后，你可以对接某些搜索接口，甚至尝试匹配资源链接，建立自己的本地曲库。不过记得要支持正版，请勿用于非法传播。
3. 定时任务：配合Linux的crontab或者Windows的“任务计划程序”，每天早上8点自动运行脚本，把最新的榜单推送到你的微信或Telegram上，早上通勤路上有新歌听了。

写在最后

技术本身没有好坏，看怎么用。写这个脚本更多的是为了练习一下网络请求和数据处理的能力，同时也满足一下自己的好奇心。

如果你在实操过程中遇到参数加密卡住的情况，建议先仔细观察JS代码的调用栈，或者去GitHub上搜一下现成的开源项目参考一下思路，不要死磕。大部分平台的加密逻辑其实网上都有大佬分析过了。

好了，今天的分享就到这。如果有搞不定的问题，欢迎在下面评论区讨论，咱们一起研究！