AI 服务器跑分指南：如何科学评估性能表现

最近越来越多的朋友开始折腾本地大模型或者 AI 绘画，手里无论是捡垃圾来的旧显卡，还是新入手的高配 VPS，都面临同一个问题：这玩意儿到底能跑多快？能不能带的动 7B、13B 甚至更大的模型？

所谓的「虾跑分」，其实就是对 AI 推理/训练能力的一种直观测试。今天咱们不聊虚的，直接上手看看怎么给服务器上的 AI 跑个分，以及跑出来的分到底该怎么看。

一、 为什么要给 AI 跑分？

图：使用 llama-bench 测试得到的推理性能数据示例

传统的 CPU 跑分（如 Geekbench）或者 GPU 游戏跑分（如 3DMark），主要考察的是通用计算能力和图形渲染能力。但对于 AI 应用来说，这些参考价值有限。

AI 任务（特别是大语言模型 LLM 和 Stable Diffusion）高度依赖显存带宽、显存容量以及特定的张量核心算力。一个游戏跑分很高的显卡，可能在推理大模型时因为显存不足直接罢工；而一张看似老旧的专业计算卡，可能因为高带宽而在 AI 任务上大杀四方。

图：通过 nvidia-smi 监控显卡显存占用情况

给 AI 跑分，核心目的就是评估两个指标：

1. 吞吐量：每秒能处理多少 Token，或者生成一张图需要几秒。
2. 延迟：发出指令后，首字响应需要等多久。

二、 跑分前的准备工作

在开始测试之前，得确保你的环境配置是正确的，否则跑出来的分数没有可比性。

1. 驱动与依赖

首先要安装对应显卡的最新驱动。如果是 NVIDIA 显卡，确保 CUDA 版本兼容。如果是 AMD 显卡，RoCM 环境的配置至关重要。

Python 环境建议使用 Conda 管理或者虚拟环境，避免版本冲突。

2. 选择合适的模型

为了横向对比，大家通常会选择标准的 benchmark 模型，比如 LLaMA 系列（7B、13B 等）。跑分时要记录清楚模型量化等级（如 q4_k_m, q8_0），因为这直接影响显存占用和速度。

三、 常见跑分工具与实战

市面上有几款主流的 AI 跑分工具，侧重点各不相同，你可以根据自己的需求选择。

1. llama-bench（llama.cpp 内置）

这是目前最轻量级也最常用的测试工具，特别适合测试 CPU 和不同架构 GPU 的推理性能。

操作逻辑： 它通过模拟真实的 Prompt 处理和 Text Generate 过程，计算出具体的每秒 Token 数（tokens/s）。

重点关注参数：

• PP (Prompt Processing)：处理提示词的速度。这决定了你输入长文本时的等待时间。
• TG (Text Generation)：生成文本的速度。这决定了 AI 吐字的快慢。

小技巧： 如果你是在用 CPU 跑，记得开启 AVX2 或 AVX512 指令集优化，分数会有明显提升。如果是混跑（CPU+GPU），则要观察是否有瓶颈卡在 CPU 端。

2. Stable Diffusion Benchmark

对于搞 AIGC 绘图的朋友来说，语言模型的跑分不够直观。这时候就需要测试图生图（Img2Img）或文生图（Txt2Img）的速度。

通常使用固定的提示词和步数（比如 30 Steps），记录从点击生成到出图的总耗时。这里不仅仅是算力，磁盘读取速度（加载 Embedding 和 Lora）也会影响最终体验。

3. MLPerf

如果你是硬核玩家或者企业用户，MLPerf 是行业权威标准。但它的测试环境搭建非常复杂，参数繁多，一般个人玩家不建议去折腾，除非你要写论文或者做严谨的硬件评测。

四、 如何解读跑分结果？

拿到一串数字后，怎么判断这台机器值不值？

• 显存利用率：跑分时监控 nvidia-smi。如果显存占用接近 100% 但还没爆，说明利用充分；如果占用很低（比如 30%），那说明算力可能有瓶颈，或者模型太小喂不饱显卡。
• 量化与速度的权衡：通常 q4 量化模型速度最快，但精度会下降；q8 或 fp16 精度高但慢很多。你需要根据自己的应用场景（是要求逻辑严密性，还是只要聊天流畅）来决定参考哪组数据。
• 散热与功耗降频：跑分是压测过程，如果发现跑几分钟后分数断崖式下跌，大概率是散热不行导致降频了。这在笔记本 VPS 或者老旧矿卡上非常常见。

五、 总结

给 AI 跑分不是为了追求数字好看，而是为了摸清机器的底线。

如果你手头有一台新机器，建议先用 llama-bench 跑几圈，看看 PP 和 TG 数据是否达到同规格硬件的正常水平。如果 TG 速度只有 1-2 t/s，那体验可能就像在用拨号上网聊天；如果能稳定在 30+ t/s，那基本就可以流畅当本地客服用了。

最后，跑分只是参考，实际部署中，系统优化、框架版本甚至网络 I/O 都会影响最终体验。祝大家的炼丹炉都火力全开！