大模型推理系统软硬协同优化：从云侧到端侧的效率突围

导语

AI 2.0时代，大模型推理范式正在发生深刻变革。随着Scaling Law逐步转向推理规模扩展，长思维链与MoE架构的普及导致推理算力需求激增。面对云侧与端侧推理在算力、存储与调度上的重重挑战，传统的单一优化手段已触及天花板。本文将系统梳理大模型推理系统的核心挑战，并分享我们在云侧semi-PD架构、昇腾长文本集群推理以及端侧SpecEE引擎上的软硬协同实践，为工程团队提供可落地的优化路径。

核心问题与挑战

随着推理规模扩展替代预训练规模扩展成为主流，大模型推理系统在计算、存储、调度与协同上面临四大效率挑战，具体表现在云侧、长文本及端侧三个维度：

• 云侧推理的P/D阶段冲突：Prefill（计算密集）与Decode（访存密集）阶段计算特性差异显著。融合式实例会导致严重的延时干扰与计算资源配比不可控；而分离式实例虽隔离了计算，却面临KV Cache跨节点传输开销大、存储不均衡的问题。
• 长文本场景的算力与通信瓶颈：长上下文场景下，Attention计算量呈二次方增长，成为计算瓶颈；同时，KV Cache多卡传输通信量激增，Placement策略导致存储不均衡，加剧了集群推理中注意力计算与MoE显存需求的资源匹配难度。
• 端侧设备的算力与内存鸿沟：泛端侧应用爆发亟需强推理能力，但端侧设备异构算力悬殊、内存容量受限，难以直接支撑百亿参数模型的高速推理。

方案与实践

云侧弹性算力：semi-PD实例架构

针对云侧P/D架构的优劣势互补需求，我们提出了semi-PD实例架构。

• 核心思路：融合式实例计算共享但延时干扰，分离式实例计算隔离但存储碎片化。semi-PD架构取长补短，实现“计算分离、存储融合”。
• 工程实践：P/D计算资源隔离，消除延时干扰；同时共享存储资源，提升显存利用率。通过原子化显存分配与常驻进程管理，实现低开销的资源调整机制。该方案在实例推理与集群推理场景下均具备良好的应用适配性。实测数据表明，semi-PD在吞吐率与端到端延时（首Token延时、Token间延时P99）上均显著优于基线，且在高负载下保持了极高的请求完成率与服务稳定性。

昇腾长文本集群推理：微服务架构与任务分发

面向昇腾芯片从“能用”向“好用”的演进，针对长文本场景下Attention计算富集与MoE显存需求富集的资源匹配难题，我们构建了软硬协同的集群推理方案。

• 底层算子优化：基于昇腾基础软件CCE实现精细编排，完成GEMM/Group GEMM算子优化，并利用FlashOverlap实现计算通信重叠，掩盖传输延时。
• 集群推理方法论：以软硬协同为核心，在约束SLO下最大化并发。通过微服务架构，采用全掩码注意力任务分发与KV Cache路由策略，有效解决长文本下昇腾AIC与AIV算力悬殊及多卡传输通信量大的问题。

端侧有限算力：SpecEE推测早退引擎

为突破端侧算力与内存限制，我们提出了SpecEE端侧推理引擎。

• 核心思路：单用户下大模型推理本质是底库极大的搜索分类问题。SpecEE利用小参数推测模型缩减搜索底库，加速推理。
• 运行机制：基于缩减后的搜索底库，动态调整级联计算。通过预测模型与修正算法实现低开销高精度调整，并配备自适应调度引擎适配端侧部署。
• 落地效果：实验数据表明，SpecEE成功推进了推理速度与精度的帕累托前沿。该技术已在联想AI PC等端侧设备实现量产合作，实现了软硬协同加速下一代智能终端落地。

原则/方法论沉淀

在上述方案的探索与落地过程中，我们沉淀出下一代AI推理基础设施的三大通用设计原则：

1. 软硬协同优化：脱离硬件谈算法是空中楼阁。必须结合芯片算力、访存带宽与节点规模，设计匹配的并行范式与底层算子。
2. 计算存储解耦：在P/D分离等场景中，计算隔离与存储共享是平衡延时与吞吐的关键杠杆，能够有效应对资源配比不可控与存储碎片化问题。
3. 动态自适应调度：推理系统需具备基于请求特征（如上下文长度）与资源状态的弹性调整能力，实现计算与存储的全局最优分配。

总结与行动建议

大模型端云协同推理已成为产业落地的必然路径。工程团队在构建或升级推理系统时，应摒弃单纯的算法或硬件视角，转向全栈软硬协同：

• 云侧：优先评估P/D阶段资源配比与存储融合的可行性，逐步向semi-PD架构演进，以兼顾低延时与高吞吐。
• 集群侧：针对长文本与MoE场景，引入微服务化任务分发机制，细化算子级计算通信重叠优化。
• 端侧：探索推测早退等轻量化机制，在有限算力下缩减搜索底库，突破内存与算力鸿沟。

通过端云推理加速的协同设计，我们有望以数量级降低大模型落地成本，释放无穹算力，让AGI触手可及。

开放问题与延伸方向

1. semi-PD跨节点KV Cache传输开销是否会抵消显存收益？（黑帽风险：需关注网络通信开销与显存利用率提升的平衡点。）
2. 昇腾微服务架构在高并发下是否满足严格SLO？（白帽验证：需实测调度延迟与跨节点通信开销在生产场景下的表现。）
3. SpecEE在复杂多步推理中是否会因早退导致逻辑断层？（黑帽边界：需评估长思维链任务下的准确率退化风险。）
4. 端云协同如何平衡隐私保护与全局模型数据同步？（绿帽扩展：隐私计算与特征同步的权衡是未来重要方向。）
5. 推理规模扩展是否意味预训练Scaling Law已触顶？（黄帽趋势：预训练边际效益递减，推理侧成为新的增长极。）
6. semi-PD存储融合能否应对MoE动态显存碎片化？（白帽挖掘：MoE专家路由带来的突发访存压力需进一步验证。）
7. 昇腾性价比对比是否考量了软件生态迁移隐性成本？（黑帽质疑：算子适配难度与长期维护成本是落地关键前提。）
8. 端侧AI PC长时间高负载发热降频对体验影响多大？（红帽体验：热设计功耗与实际响应延迟的矛盾需重点关注。）
9. 三大原则能否抽象为下一代AI推理基础设施通用范式？（蓝帽升华：软硬协同、解耦、动态调度具备成为通用范式的潜力。）
10. 下一步探索云侧Prefill卸载与端侧Decode早退的混合推理？（绿帽探索：结合云侧semi-PD与端侧SpecEE的混合新模式值得期待。）