AI 算力知识点学习笔记
方向：AI 大模型应用
类型：技术学习笔记
版本：v1.0
日期：2026-07
本文围绕 AI 算力方向，系统梳理基础概念、算力计算、服务器架构、组件职责、显存估算、网络互联、GPU 性能参数对比、模型训练推理全场景对比与实战案例等核心模块。适合 AI 基础设施工程师、系统架构师及 AI 训练平台开发者参考。
一、零基础概念梳理
1.1 浮点运算性能指标
浮点精度核心概念：
– FP32（Full Precision / 单精度浮点）：IEEE 754 标准的 32-bit 浮点（1+8+23）。表示范围约 ±3.4×10³⁸。AI 训练的”黄金标准”，但显存和算力开销最大。H100 FP32 算力约 67 TFLOPS。
– FP16（Half Precision / 半精度浮点）：1+5+10 位结构。范围约 ±65504。显存比 FP32 减半，Tensor Core 算力可达 FP32 的 8-16 倍。训练时需 Loss Scaling 防止梯度下溢。
– BF16（Brain Floating Point / 脑浮点）：1+8+7 位结构。与 FP32 共享相同的 8 位指数（数值范围一致），但尾数精度低于 FP16。A100/H100 Tensor Core 原生支持，是当前主流训练推荐格式。训练稳定性优于 FP16。
– FP8（8-bit Floating Point）：8-bit 浮点。H100/H800 原生支持。两种变体：E4M3（精度优先）和 E5M2（范围优先）。H100 FP8 算力是 FP16 的 2 倍。
– INT8（8-bit Integer）：8-bit 整数。范围 [-128, 127]。通过量化将 FP16 权重压缩为整数值，显存减少 75%。主要用于推理部署，精度损失通常 < 0.5%。H100 INT8 算力约 1979 TOPS。
各精度格式在 AI 训练 vs 推理中的适用场景：
| 精度 | 训练适用 | 推理适用 | 典型硬件支持 |
|---|---|---|---|
| FP32 | 数值敏感的精调，小模型基线 | 不推荐（浪费算力） | 全部 GPU |
| FP16 | 需 Loss Scaling，部分模型支持 | 推理基线精度 | V100+ Tensor Core |
| BF16 | 主流推荐：训练稳定 | 高质量推理 | A100+ 昇腾 910B |
| FP8 | H100 训练，Transformer Engine | 高性能推理 2× FP16 算力 | H100/H800 |
| INT8 | 不推荐 | 推理首选 显存节省 75% | 全部现代 GPU |
| INT4 | 不适用 | 端侧/边缘 需 GPTQ/AWQ | 全部现代 GPU |
1.2 FLOPs vs FLOPS
| 写法 | 读法 | 含义 | 类比 |
|---|---|---|---|
| FLOP | 单次浮点运算 | 一次加减乘除 | 迈一步 |
| FLOPs | 浮点运算次数（总量） | 任务需要多少步 | 要走 10,000 步 |
| FLOPS | 每秒浮点运算次数（速度） | 硬件每秒能算多少步 | 每秒走 5 步 |
常见量级换算：
| 单位 | 全称 | 数值 | 典型参照 |
|---|---|---|---|
| GFLOPS | Giga FLOPS | 10⁹ FLOPS | 手机 NPU ~10-50 GFLOPS |
| TFLOPS | Tera FLOPS | 10¹² FLOPS | V100 FP16: 112 TFLOPS；RTX 4090 FP16: 330 TFLOPS |
| PFLOPS | Peta FLOPS | 10¹⁵ FLOPS | 1024×H100 集群 ~2 PFLOPS (FP8) |
| EFLOPS | Exa FLOPS | 10¹⁸ FLOPS | Frontier 超算 ~1.6 EFLOPS |
连接公式：时间 = 总 FLOPs / FLOPS = 任务量 / 速度
二、AI 大模型训练与推理的硬件性能计算
2.1 核心训练参数详解
GQA（Grouped Query Attention，分组查询注意力）：将 K 和 V 的头数减少（多个 Q 头共享一组 K/V）。例如 Q 有 32 个头，K/V 只有 4 个头。结果是 KV Cache 大小减少 8 倍。代表：Llama 3（Q=32 头, KV=8 头）、Qwen2（Q=28 头, KV=4 头）。
Batch Size 与相关参数：
– Batch Size：一次前向传播处理的样本数。影响 GPU 算力利用率、显存占用、训练稳定性。
– Micro Batch Size：单次前向/反向的样本数，受单 GPU 显存限制。
– Global Batch Size：所有 GPU 一次参数更新使用的总样本数。公式：Global BS = Micro BS × Gradient Accum Steps × Data Parallel GPUs
– Gradient Accumulation（梯度累积）：将 Micro Batch 的梯度累积多次后再做一次参数更新。
– SeqLen（Sequence Length）：每个样本的 Token 序列长度。影响显存（KV Cache 与 SeqLen 线性增长）、Attention 计算量 O(S²)。
Continuous Batching（连续批处理）：与静态批处理不同，在每个 Decode Step 后重新调度。每完成一个 Token 的生成，立即检查是否该请求已完成、是否有新请求可加入。效果：短请求不被长请求阻塞，GPU 几乎无空泡，相对 Static Batching 吞吐提升 5-10×。
2.2 训练算力需求计算
大模型训练的总浮点运算量（FLOPs）可通过以下公式估算：
Total FLOPs ≈ 6 × P × D
- P：模型参数量（parameters）
- D：训练数据量（tokens）
- 系数 6 的来源：标准 Transformer 架构中，前向传播约 2×P 次/Token，反向传播约 4×P 次/Token，合计 6×P。
Chinchilla Scaling Law（数据量分配黄金法则）：DeepMind 2022 年提出的最优训练算力分配定律。
– P ≈ 0.6 × C^0.45（最优模型参数量）
– D ≈ 30 × P*（最优训练数据量约为参数量的 20-30 倍）
例如 7B 模型对应 140B-210B tokens，70B 模型对应 1.4T-2.1T tokens。
训练时间估算公式：
T_train = Total FLOPs / (N_GPU × TFLOPS_GPU × η_MFU)
- N_GPU：GPU 数量
- TFLOPS_GPU：单 GPU 理论峰值算力
- η_MFU：模型浮点运算利用率（MFU），实际训练中通常为 30%-55%
完整计算示例（GPT-3 175B）：假设 P=175B, D=300B tokens，则 Total FLOPs ≈ 6 × 175×10⁹ × 300×10⁹ ≈ 3.15×10²³ FLOPs。使用 1024 张 H100（FP8 约 1979 TFLOPS/卡，MFU=45%），训练时间 ≈ 97 小时 ≈ 4 天。
2.3 推理性能指标
推理延迟：L_total = L_compute + L_transfer + L_queue
– L_compute：GPU 执行前向传播的计算时间
– L_transfer：数据传输时间（CPU↔GPU、网络）
– L_queue：排队等待时间
首 Token 延迟（TTFT）：从请求发出到第一个输出 Token 生成的耗时。关键驱动因素：Prompt 处理（Prefill 阶段，复杂度 O(N²)）、KV Cache 初始化。
TTFT 降低策略：
| 策略 | 原理 | 效果 |
|---|---|---|
| Prefix Caching（前缀缓存） | 多个请求共享相同 System Prompt 时复用 KV Cache | TTFT 降低 30%-70% |
| Chunked Prefill（分块预填充） | 将长 Prompt 切分交替执行 | 系统级 P50 延迟大幅改善 |
| Speculative Decoding（推测解码） | 用小模型快速生成候选 Token，大模型验证 | 每步生成 2-4 个 Token |
| FlashAttention | Tiling + Recomputation 减少 HBM 读写 | Prefill 加速 1.5-3× |
| 模型量化 | INT8/INT4 权重减少数据搬运量 | Decode 延迟降低 30%-50% |
2.4 KV Cache 底层原理
KV Cache 的核心思想：把历史 Token 已经计算好的 K 和 V 向量缓存到显存中，下次计算注意力时直接复用。
KV Cache 显存占用公式：
M_KV_per_req = 2 × L × H × S × B_dtype
- L：模型层数
- H：隐藏维度
- S：当前序列长度
- B_dtype：精度字节数
考虑 GQA 优化版本：M_KV = 2 × L × S × B × (H_kv_head × D_head)
真实模型案例计算：
– Llama 3 8B（FP16, S=2048）：约 1 GB/请求，80GB H100 可并发约 70 请求
– Llama 3 70B（FP16, GQA, S=4096）：约 1.34 GB/请求，可并发约 45 请求
– Qwen2 7B（FP16, GQA, S=8192）：约 735 MB/请求，可并发约 85 请求
2.5 PagedAttention 内存管理
| 策略 | 显存浪费 | 碎片化 | 代表系统 |
|---|---|---|---|
| 预分配连续内存 | 极高（80%-90%） | 无 | FasterTransformer |
| PagedAttention（分页注意力） | < 4% | 少量 | vLLM, TensorRT-LLM |
| vAttention（虚拟注意力） | < 2% | 无 | vAttention |
PagedAttention 将 KV Cache 内存利用率从 10%-20% 提升至 96%+，使相同显存下并发请求数提升 3-5 倍。
三、AI 服务器架构
3.1 单节点内部拓扑（以 8×H100 HGX 为例）
8 张 H100 GPU 通过 4 颗 NVSwitch 芯片实现全互联（All-to-All），每 GPU 独享 NVLink 通道，总带宽 900 GB/s/GPU。CPU 区域包含 2 颗 Intel Xeon / AMD EPYC，通过 PCIe 5.0 Switch 与 GPU、NIC、NVMe SSD 互联。
3.2 三层集群网络架构
第一层：节点间互联（Rack 内）——一个标准 42U 机柜放 4-8 台 GPU 服务器，通过 ToR Leaf 交换机实现无阻塞互联。每节点上行 8×400Gbps = 3.2Tbps。
第二层：Rack 间互联（Pod 内）——一个 Pod 包含 16-64 个 Rack（128-512 个 GPU 节点）。采用 Spine-Leaf 拓扑，收敛比 1:1 时无阻塞。
第三层：Pod 间互联（集群级）——万卡级集群由多个 Pod 组成，通过 Super-Spine 层互联。拓扑选择：Fat-Tree（全互联无阻塞）或 Dragonfly（减少交换机层级）。
四、高速网络互联技术对比
| 技术 | 单链路/端口带宽 | 端到端延迟 | 典型应用场景 | 成本水平 |
|---|---|---|---|---|
| NVLink 4.0 NVSwitch | 900 GB/s/GPU | ~10 ns | 节点内 8 GPU 全互联、AllReduce | 高（含在 GPU 中） |
| InfiniBand NDR | 400 Gbps | 1-2 μs | 节点间通信、万卡集群互联 | 高（交换机+NIC） |
| RoCE v2 (400GbE) | 400 Gbps | 2-5 μs | 中大型集群、自建 IDC | 中 |
| PCIe 5.0 x16 | 128 GB/s | 0.5-1 μs | GPU↔CPU、GPU↔NIC、GPU↔NVMe | 低 |
选型建议：
– 10,000 GPU 以上超大规模训练集群：推荐 InfiniBand NDR/XDR
– 1,000-10,000 GPU 中大规模训练：InfiniBand NDR 或 RoCE v2 均可
– 1,000 GPU 以下及推理集群：RoCE v2 性价比较高
五、主流 GPU 性能参数对比
5.1 数据中心级 GPU 对比
| 参数 | V100 32GB | A100 80GB | A800 80GB | H100 80GB | H800 80GB |
|---|---|---|---|---|---|
| 架构 | Volta | Ampere | Ampere | Hopper | Hopper |
| 制程 | 12nm | 7nm | 7nm | 4nm | 4nm |
| FP16/BF16 TFLOPS | 112 | 312 | 312 | 989 | 989 |
| FP8 TFLOPS | — | — | — | 1,979 | 1,979 |
| INT8 TOPS | — | 624 | 624 | 1,979 | 1,979 |
| 显存容量 | 32 GB HBM2 | 80 GB HBM2e | 80 GB HBM2e | 80 GB HBM3 | 80 GB HBM3 |
| 显存带宽 | 900 GB/s | 2,039 GB/s | 1,935 GB/s | 3,350 GB/s | 3,350 GB/s |
| NVLink 带宽 | 300 GB/s | 600 GB/s | 400 GB/s | 900 GB/s | 400 GB/s |
| TDP 功耗 | 300W | 400W | 400W | 700W | 700W |
A800 和 H800 分别为 A100 和 H100 的中国特供版，核心区别在于 NVLink 互联带宽被削减。
5.2 国产 GPU 对比（参考）
| 参数 | 华为昇腾 910B | 华为昇腾 910C | 寒武纪思元 590 |
|---|---|---|---|
| FP16 TFLOPS | 320 | ~400-600 | ~512 |
| INT8 TOPS | 640 | ~800-1,200 | ~1,024 |
| 显存容量 | 64 GB HBM2e | 128 GB HBM2e | 80 GB HBM2e |
| 互联方式 | HCCS | HCCS | MLU-Link |
| TDP 功耗 | 310W | ~350-400W | ~350W |
六、显存计算与估算
6.1 训练时 GPU 显存构成
训练时 GPU 显存由四部分构成：
- 模型参数：M_params = P × B_dtype
- 优化器状态（Adam）：M_optim = 12P Bytes（混合精度训练，含 m + v + FP32 Master Weights）
- 梯度：M_grad = P × B_grad
- 激活值：M_act = Batch × SeqLen × HiddenDim × Layers × B_act × C_act
混合精度训练总显存：M_total = 16P + M_act
核心结论：每 10 亿参数在无激活值时至少需要 16 GB 显存。
6.2 不同规模模型显存估算
| 模型规模 | 参数量 | 参数+优化器+梯度 | 激活值（估算） | 推荐GPU数量 |
|---|---|---|---|---|
| Llama 2 7B | 7B | 112 GB | 8-40 GB | 2×A100 80GB |
| Llama 2 70B | 70B | 1,120 GB | 50-200 GB | 16×A100 80GB |
| GPT-3 175B | 175B | 2,800 GB | 100-400 GB | 32×H100 80GB |
6.3 显存优化技术
- Activation Checkpointing：以 30% 额外计算换 70% 激活值显存节省
- ZeRO Stage 1/2/3：分片优化器状态/梯度/参数
- FlashAttention：降低 Attention 激活值
- CPU Offloading（ZeRO-Infinity）
- 8-bit 优化器（bitsandbytes）
七、AI 应用场景硬件选型实战案例
7.1 4B 参数模型 LoRA 微调场景
显存需求估算：
| 显存组件 | 估算值 |
|---|---|
| 基础模型参数（BF16） | ~8 GB |
| LoRA 适配器参数 | ~0.03 GB |
| 优化器状态（Adam, FP32） | ~0.2 GB |
| 梯度（BF16） | ~0.03 GB |
| 激活值（BS=4, SeqLen=2048） | ~15-25 GB |
| 总计 | ~25-35 GB |
结论：4B LoRA 微调仅需 1×A100 80GB 或 2×RTX 4090 24GB 即可完成。
7.2 4B 参数模型推理部署场景
1000 并发用户的硬件配置计算：
| 计算步骤 | 4B 模型取值 |
|---|---|
| 单请求 KV Cache | ~0.16 GB |
| 单 GPU 并发（KV Cache 约束） | ~375 并发/GPU |
| 1000 并发所需 GPU 数 | ~3 张 GPU |
推荐配置：4×A10 24GB 或 2×A100 80GB，搭配 vLLM / TensorRT-LLM 推理框架，使用 Continuous Batching + PagedAttention。
7.3 多参数规模模型全场景对比
| 场景 | 训练最低 GPU | 训练显存 | 推理 100 并发 GPU | 推理 1000 并发 GPU |
|---|---|---|---|---|
| 1B 全参数 | 1×RTX 4090 | 12-18 GB | 1×A10 | 2×A10 |
| 4B LoRA | 1×A100 80GB | 25-35 GB | 1×A100 | 3×A100 |
| 7B 全参数 | 2×A100 80GB | 70-90 GB | 1×A100 | 8×A100 |
| 13B 全参数 | 4×A100 80GB | 150-190 GB | 2×A100 | 16×A100 |
八、实战案例：AIOps 视频转码智能运维
项目概览：某视频监控平台使用千问 4B 模型，基于 3000 条真实视频转码日志及对应处理方法构建数据集，通过 LoRA 微调训练智能日志分析模型。生产环境部署 100 路监控摄像头，日均产生约 9600 个转码任务。
LoRA 微调数据量分析：
– 千问 4B LoRA 参数：13.1M（0.33%）
– 3000 条数据（150 万 tokens）对于 LoRA（13M 参数）充足
GPU 选型对比：
| GPU | 4B LoRA 显存 | 5 Epoch 时长 | 推荐 |
|---|---|---|---|
| A100 80GB | ~25 GB | ~30 分钟 | 充裕偏贵 |
| A10 24GB | ~22 GB | ~75 分钟 | 性价比高 |
| RTX 4090 | ~22 GB | ~70 分钟 | 最佳 |
| 昇腾 910B | ~25 GB | ~30 分钟 | 国产替代 |
推理 GPU 选型推荐：
– 1×RTX 4090（24GB）：峰值 ~44 请求，成本 ~¥12,000，最佳推荐
– 1×A100 80GB：峰值 ~220 请求，成本 ~¥60,000
– 1×昇腾 910B（64GB）：峰值 ~170 请求，成本 ~¥80,000，适合信创场景
九、核心要点回顾
- 算力规划：Total FLOPs ≈ 6PD，实际训练时间需考虑 MFU（30%-55%）
- 架构设计：节点内 NVLink+NVSwitch（900 GB/s），节点间 InfiniBand/RoCE（400 Gbps），存储分级
- 显存管理：混合精度训练总需求 ≈ 16P + 激活值，需配合 ZeRO、Checkpointing、Offloading 等技术
- 网络选型：万卡以上首选 InfiniBand；千卡级 RoCE v2 性价比更优；推理场景可降级网络规格
作者：壹生有多逺
更新日期：2026-07-17