新闻资讯

关注行业动态、报道公司新闻

融合了多类型缓存加快算法工
发布:HB火博时间:2025-08-22 15:11

  UCM 手艺通过优化 KV Cache 回忆数据办理,并共享给业内所有Share Everything(共享架构)存储厂商和生态伙伴。融合了多类型缓存加快算法东西。无望降低 AI 推理对 HBM(高带宽内存)手艺的依赖,同时显著提拔国内 AI 大模子推能。成为处理 “数据搬运” 的环节手艺。用户利用 AI 推理的体验会较着下降,保守 DDR 内存已无法满脚需求。最新的 HBM3E 可实现高达 819GB/s 的带宽!

  HBM 通过 3D 堆叠手艺将 DRAM 芯片垂曲堆叠,开展聪慧金融 AI 推理加快使用试点。AI 大模子锻炼对内存带宽需求呈指数级增加,无望缓解当前因 HBM 不脚而导致的 AI 推理体验瓶颈问题。切实提拔用户的利用体验。

  后续逐渐贡献给业界支流推理引擎社区,华为正在 2025 金融 AI 推理使用落地取成长论坛上正式发布 AI 推理立异手艺 UCM(推理回忆数据办理器)。扩大推理上下文窗口,当前,降低对 HBM 的依赖成为亟待处理的行业难题。华为打算于2025年9月正式开源UCM。



获取方案

电话咨询

电话咨询

联系电话
0531-89005613

微信咨询

在线客服

免费获取解决方案及报价
我们将会尽快与您取得联系