近日，腾讯混元团队开源新一代大语言模型?Hy3。围绕该模型的架构特征，云天励飞基于自主研发的?IFWA?软件栈，在DeepVerse云端芯片的芯片验证平台上完成?Hy3?模型结构接入与关键推理链路功能验证。
本次验证基于?BF16?精度和缩小配置开展，重点覆盖模型配置解析、模型加载、Dense?与?MoE?混合层执行、专家路由、GQA?解码、KV Cache?分配、Token?采样以及?MTP?投机解码等核心环节。
在普通推理和开启?MTP?投机解码两种模式下，系统均完成了从模型加载到?Token?输出的端到端功能流程，初步验证了?IFWA?推理框架及底层软件组件以及芯片架构对?Hy3?主要架构特征的兼容能力。
此次验证的意义，不仅在于跑通一款先进开源模型的关键推理链路，更在于验证了?IFWA?既有软件组件在新模型适配中的复用能力。
通过将?MoE?路由、GQA?注意力、MTP?投机解码、KV Cache?管理等共性能力沉淀为可复用的软件组件，IFWA?正在持续提升对先进模型架构变化的响应能力，为后续缩短模型适配周期、减少重复开发工作量、提升自研芯片产品交付效率提供基础。
IFWA支持Hy3适配技术点
大模型快速演进，软件栈决定算力落地效率
当前，大模型架构仍在快速演进。混合专家、长上下文、分组查询注意力、投机解码等技术不断被引入主流模型，对推理系统提出了更复杂的要求。
Hy3?采用混合专家架构，总参数规模为?295B，每次推理激活?21B?参数，支持?256K?上下文长度，并集成?GQA?注意力和?MTP?投机解码等技术。这些特征对软件栈的模型解析、算子执行、专家调度、缓存管理和推理框架兼容能力都提出了较高要求。
对算力芯片企业来说，让一个模型跑起来只是第一步。更关键的是，软件栈能否适应模型架构的持续变化，能否把不同模型中的共性能力做成稳定组件，让后续模型接入时少做重复工作。只有软件能力跟得上，硬件算力才能更快进入客户的真实业务场景。
不为单个模型重做后端，复用既有软件基础设施
此次?Hy3?接入过程中，云天励飞没有为该模型重建独立后端，也没有围绕单一模型重新开发全新的核心算子。研发团队主要复用了?IFWA?此前在先进模型适配过程中建设的通用组件，并在此基础上完成必要的模型路由适配和?GQA?解码路径完善。
其中，MoE?路由、GQA?注意力、MTP?投机解码等能力，均来自?IFWA?既有软件基础设施。以?GQA?解码路径为例，本次完善并不只服务于?Hy3，后续也可以被其他采用类似注意力架构的模型复用。
这也是?IFWA?软件栈建设中的一个重要方向：每接入一款有代表性的模型，都尽量把其中可复用的部分沉淀下来，减少下一次接入同类模型时的重复开发。随着这类基础能力不断完善，模型适配将逐步从“逐个模型开发”转向“平台化适配”。?
从单模型接入走向平台化适配
IFWA?是云天励飞面向自研芯片体系建设的统一软件栈平台，覆盖编译器、Runtime?与?Driver、基础算子库、推理框架插件、集合通信以及开发调试工具等核心环节。
在大模型快速迭代的背景下，云天励飞并不希望针对每一款新模型都重新开发一套软件方案，而是通过通用组件、标准接口和自动化验证体系，形成可以快速承接先进模型的软件产品能力。
在此次?Hy3?适配过程中，IFWA?已有?MoE、GQA、MTP、KV Cache?等能力得到复用，模型专属改动范围得到控制。这说明?IFWA?的部分通用能力已经可以在新模型接入中发挥作用，也为后续支持更多先进模型打下基础。
对于客户而言，软件栈的价值不只是“模型能跑”，还包括模型迁移是否顺畅、部署验证是否高效、既有代码和开发投入能否延续。统一、稳定的软件能力，可以帮助客户减少重复适配工作，降低后续迁移和维护成本。
持续推进真实规格、真实权重与多卡场景验证
目前，Hy3?已在?DeepVerse云端芯片的芯片验证平台上完成模型结构接入和关键功能链路验证。后续，云天励飞将继续推进真实规格、真实权重及多卡部署场景测试，进一步验证?IFWA?在完整工程场景下对?Hy3?的支持能力。
下一阶段，云天励飞将开展真实注意力维度验证、真实模型权重加载及精度一致性测试，并推进张量并行、专家并行等多卡部署场景验证。同时，Hy3?相关测试用例也将逐步纳入?IFWA?常规回归体系，持续提升软件版本迭代过程中的稳定性和一致性。
针对?Hy3?的?FP8?量化版本，云天励飞后续也将结合?IFWA?混合精度和量化能力建设进展，进一步开展技术可行性评估。
构建端边云一体、跨代兼容的统一软件基座
云天励飞正在以主流计算生态兼容能力为基础，持续建设端边云一体、跨代兼容的统一软件产品基座，推动模型、代码、算子和开发工具在不同芯片代际以及云侧、边缘侧平台之间逐步复用。
面向自研芯片体系，IFWA?将持续支撑?DeepVerse?系列产品交付和重点场景验证，并推动相关软件能力向后续芯片代际及?DeepEdge?系列产品延展。通过统一的软件栈能力，云天励飞希望进一步降低跨代迁移和多平台适配成本，减少云侧与边缘侧重复开发，提升模型开发、系统交付和后续运维的一致性。
未来，云天励飞将持续完善?IFWA?软件栈，把模型适配过程中的共性能力转化为可复用的软件资产，让自研芯片更快进入客户业务场景。
