华为发布AI推理创新技术UCM: 三级存储架构提升推理效率

8月12日，华为数据存储产品线总裁周跃峰博士在2025金融AI推理应用落地与发展论坛上发布了AI推理创新技术UCM（推理记忆数据管理器）。该技术以优化KVCache管理为中心，融合多类型缓存加速算法工具，分级管理推理过程中产生的KVCache记忆数据，扩大推理上下文窗口，实现高吞吐、低时延的推理体验，并降低每Token推理成本。

UCM技术引入专业外置存储作为第三级记忆，形成三级存储架构：实时高频访问的极热数据存储于HBM，短期较热数据存储在服务器DRAM中，其他数据存储于专业外置存储，最大化利用不同存储介质的优势，提升AI推理系统效率和性能。华为官方表示，UCM开源计划将于今年9月在魔擎社区首发，并逐步贡献给业界主流推理引擎社区，共享给业内所有ShareEverything存储厂商和生态伙伴。

中国信息通信研究院人工智能研究所平台与工程化部主任曹峰指出，HBM价格昂贵，主流大模型和AI芯片大厂为突破显存瓶颈，采用外置存储解决长序列推理问题已成为业界共识，KVCache成为推理架构优化的关键。