四类任务，四种容量逻辑
训练关注并行与数据吞吐，推理关注并发与时延，RAG 还需要把检索链路纳入端到端测试。
预训练与持续训练
优先评估8卡裸金属、整机显存、多卡互联、数据读取和长任务稳定性。
领域微调
按模型规模、微调方法、数据集与并行策略选择单卡、多卡或8卡资源。
知识库与智能问答
同时评估文档处理、向量检索、重排与生成链路，不只看 NPU 参数。
在线与批量推理
按输入输出长度、Batch、并发、时延和峰值负载测量真实容量。
大模型配置初选表
以下用于缩小选型范围，不替代模型级评估。若生产目标包含多卡训练，POC 也应覆盖对应的多卡环境。
| 任务阶段 | 建议优先评估 | 为什么 | 必须补充的输入 |
|---|---|---|---|
| 迁移与可运行验证 | A-910B-1C、A-910B4-1C、950PR-2C | 资源粒度较小，适合建立适配基线 | 模型、框架、CANN、精度、样例数据 |
| RAG 与在线推理 | 910B 单卡/双卡、950PR、910B 8卡 | 可按并发与模型规模扩展 | 上下文、输入输出、并发、P95目标 |
| 领域微调 | 910B 双卡/8卡、910C 8卡 | 覆盖多卡显存与训练通信需求 | 微调方法、数据集、并行与精度 |
| 训练与大规模推理 | 910B2/B3/B4 8卡、910C 8卡 | 8卡物理独占与高速互联 | 模型规模、吞吐、长任务与扩容目标 |
生产卡数，不靠猜。
第一步，固定模型、精度、输入输出长度和软件版本；第二步，测量单卡在目标负载下的吞吐与时延；第三步，加入峰值、冗余和扩容约束。
对于 RAG，还要分别记录检索、重排和生成耗时，避免 NPU 有余量而端到端体验仍不达标。
查看 POC 验收指标显存基线
权重、KV Cache、激活与运行时占用。
性能基线
吞吐、首Token时延、P95、并发与失败率。
稳定性基线
长任务、资源占用、异常与恢复情况。
容量模型
峰值负载、冗余、卡数、区域与扩容计划。
建议记录的推理测试口径
同一个“吞吐”数字，在不同输入输出长度和并发下可能完全不可比。测试报告应保留完整条件。
首Token时延：需注明输入长度、并发与统计分位。
吞吐：需注明 Token 口径、Batch 与输出长度。
尾时延：结合成功率、超时与峰值负载一起看。
大模型算力常见问题
大模型推理应该按什么配置估算？
需要模型参数规模、权重精度、上下文长度、输入输出长度、并发、Batch、目标吞吐与时延。显存只是第一道约束，端到端还受框架、通信、CPU、存储与网络影响。
微调与完整训练的资源有什么区别？
完整训练通常对整机显存、多卡通信、数据吞吐和长任务稳定性要求更高；微调也需结合方法、模型规模、数据集与并行策略评估。建议通过短周期训练验证再扩量。
RAG 知识库只需要 NPU 算力吗？
不是。RAG 还涉及文档解析、向量化、向量数据库、检索、重排、生成与业务接口，应同时评估 CPU、内存、存储、网络和数据安全。
如何估算生产需要多少卡？
先通过 POC 得到单卡在指定模型、精度和负载下的吞吐与时延，再结合目标并发、峰值系数、冗余和扩容策略测算，不能直接用峰值 TFLOPS 换算。