知乎联合 DataFun 举办主题为《大模型应用工程化实践:从实验室到千万级用户产品》的技术沙龙。知乎 AI 算法负责人王界武、机器学习平台负责人王新、百川智能大语言模型资深算法专家王宇龙以及“提示词布道师”李继刚带来大模型相关的专业分享和深度交流,吸引来自 15 个行业、130 家企业参会者到场。知乎 CTO 孙斌在现场宣布,知乎自研的轻量高效大模型推理框架 ZhiLight 正式开源。

   2024 年知乎持续推进大模型工程化实践,于 6 月、10 月相继推出知乎直答及其专业搜索功能,聚焦专业人士的生产力场景,更是将 AI 搜索推进到更具专业、实用性的深度搜索能力拓展阶段。

   在技术沙龙上,知乎 AI 算法负责人王界武详细介绍了知乎直答从 0 到 1 的搭建过程,并重点分享了技术方案选型和「踩坑」经历。据介绍,知乎直答团队在构建AI问答系统时,对比了两种技术路线:LLM 持续 pretrain+posttrain 以及检索增强生成(RAG)方案,最终后者在成本、时效性、准确性、可扩展性等多维度胜出。当用户提问时,RAG 系统先从知识库检索相关信息作为上下文,再由大语言模型生成回答。团队通过在 Query 理解、召回、大模型生成等多个环节深入优化,显著降低了 AI 的幻觉问题,使得答案具备更高的准确性和权威度。