华为推新技术优化大模型推理:UCM 技术缓解 HBM 依赖

8 月 12 日,华为将在 金融 推理应用落地与发展论坛上发布突破性 AI 推理创新技术 UCM(推理记忆数据管理器)。该技术有望降低中国 AI 推理对 HBM(高带宽内存) 的依赖,并显著提升国内推理性能。

UCM 以 KVCache 为核心,融合多类型缓存加速算法工具,通过分级管理推理过程中产生的记忆数据,扩大上下文窗口,实现高吞吐、低时延的推理体验,并降低每 Token 的推理成本。这一方案可缓解 HBM 资源不足带来的任务卡顿与响应延迟问题。

在此次论坛上,华为将与中国银联共同发布 AI 推理最新应用成果。信通院、清华大学、科大讯飞等机构专家也将分享大模型推理加速与体验优化的实践。华为数据存储产品线副总裁樊杰表示,未来 AI 突破将高度依赖高质量行业数据的释放,高性能 AI 存储可将数据加载时间从小时级缩短至分钟级,使算力集群效率从 30% 提升至 60%。

业内分析认为,UCM 的推出正值 AI 产业从 「追求模型能力极限」 转向 「追求推理体验最优化」 的关键节点,推理体验已成为衡量 AI 商业价值的重要标准。长城证券指出,随着大模型能力持续提升与商业场景扩展,算力及产业链公司有望迎来新的发展机遇。

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。

给 TA 打赏
共 {{data.count}} 人
人已打赏
AI 资讯

Vibe Coding 大战升级!Vercel V0 变身全能 AI,自动搞定前后端+文案!

2025-8-13 1:20:41

AI 资讯

高德全面接入通义大模型 推出首个地图 AI 原生 Agent

2025-8-13 1:20:46

个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索