你敢想象：仅一台仅装备了单块24G显存消费级显卡的系统，不但能跑满血671B DeepSeek R1模型，还能带来5并发51 Token/秒的性能（更细节数据见下图），要知道这个性能水准，足以搞定像报告解读或数据分析这类对实时性要求不高的任务了。

这就是英特尔开发的全新异构LLM服务方案流出的最新测试数据，这个方案基于HeteroFlow软件框架，搭配了至强6性能核CPU（配MRDIMM内存，开启AMX加速）作为硬件基座，它的目标就是缓解 “满血”大模型们面临的存力困局。

众所周知：大模型，是乐也“大参数”，痛也“大参数”——满血版动辄千亿级的参数规模，再叠加GPU大佬们在显存容量上的“精准”刀法，总能让你钱包严重失血！如果你就搞一个节点，即便GPU多卡插满，也就是能刚刚装下海量参数，剩余的显存会限制并发性能和上下文的长度。咬咬牙上多个节点，那就只能是……把牙咬碎，因为付出翻倍。

而现在，有了HeteroFlow框架的加持，如果你用的是MoE类大模型，且选择了英特尔的至强6性能核CPU来做机头处理器，那么恭喜你，破局方法来了！

当然这个方法可能会颠覆你“AI让CPU走开”，或者“AI应用中CPU只是GPU小助手”的观念。但这个方法，恰恰是充分利用了GPU和CPU各自的优势——GPU算力强，CPU内存大。HeteroFlow的工作原理就是把Attention、Dense MLP这些算力敏感型的，也是高价值的任务留给高算力的GPU，但把MoE这种需要大存力的任务，部分或全部卸载给CPU+大容量的内存。

这种方法的终极奥义，并不是说CPU比GPU更重要，或者你不需要GPU了，而是有了CPU的分担与协助，GPU的工作更有意义了——它能把其成本高昂的算力和显存全用在榨取并发性能与上下文长度上，正所谓“好钢用在刀刃上”，让整个系统不仅性能收益明显，投资回报率也是原地起飞。