中国信通院牵头ITU大模型标准成功结项

中国信息通信研究院（简称“中国信通院”）牵头的两项国际标准近日在国际电信联盟电信标准化部门第21研究组（ITU-T SG21）全会上成功结项。这两项标准即将正式发布，分别是《面向大模型的边缘侧推理软硬件系统能力技术要求》（ITU-T F.748.68）和《面向大语言模型算子的要求和评价指标》（ITU-T F.748.91）。

边缘推理系统标准

《面向大模型的边缘侧推理软硬件系统能力技术要求》针对大模型在边缘部署中面临的算力、存储、能耗和网络资源约束，提出了由基础硬件和基础软件构成的边缘域推理系统框架，规定了系统的关键组成及端到端能力要求。

大语言模型算子标准

《面向大语言模型算子的要求和评价指标》则提出了由大语言模型层、算子层和硬件层构成的三层架构，从适配、功能、开发、服务和应用程序接口五个方面建立了大语言模型算子能力框架。

标准化的意义

这两项标准的成功结项，形成了从边缘侧软硬件基础设施、推理框架和工具，到算子适配、开发、服务、接口及评价指标的标准化衔接，为大模型在异构算力环境中的高效部署、稳定运行和跨平台迁移提供了技术支撑。这将有助于推动芯片、算子库、推理框架、边缘计算平台及上层应用之间的互操作和协同优化，降低跨平台部署、适配和迁移成本。

后续工作

中国信通院将继续依托人工智能软硬件协同创新与适配验证中心，推进人工智能和大模型领域的国际标准化工作，加强与国内外产业的协同创新，推动我国大模型技术的国际标准成果转化，构建开放兼容、高效可靠的大模型软硬件系统技术生态。

本文由 AI 基于公开信息自动生成，仅供学习参考，不构成任何投资建议。市场有风险，投资需谨慎。