华为发布AI推理“黑科技”,助力解决AI推理效率与用户体验难题 - 中国基金报原文
2025-08-12 20:35
103
华为发布了AI推理“黑科技”UCM(推理记忆数据管理器),旨在解决AI推理效率与用户体验的难题。UCM是一款以KV Cache为中心的推理加速套件,通过分级管理推理过程中产生的记忆数据,扩大推理上下文窗口,实现高吞吐、低时延的推理体验,从而降低每个Token的推理成本。华为计划在9月开源UCM,并逐步贡献给业界主流推理引擎社区。此外,华为与中国银联合作,在智慧金融领域落地了三大业务场景:客户之声、营销策划和办公助手。
全部评论