华为发布了AI推理创新技术UCM（推理记忆数据管理器），这是一款专门优化大模型推理速度、效率和成本的缓存管理技术。UCM通过融合多类型缓存加速算法工具，分级管理推理过程中产生的KV Cache记忆数据，以实现高吞吐、低时延的推理体验。华为与中国银联合作，在金融场景中应用UCM技术，使大模型推理速度提升125倍。华为还宣布了UCM的开源计划，旨在推动AI推理生态的繁荣发展。