12/08/2025 14:04
華為將發布AI推理創新技術UCM提升推理體驗
《經濟通通訊社12日專訊》2025金融AI推理應用落地與發展論壇上，華為將發布AI推理創新技術UCM（推理記憶數據管理器）。該推理加速套件以KV Cache為中心、融合了多類型緩存加速算法工具，能夠分級管理推理過程中產生的KV Cache記憶數據，擴大推理上下文窗口，以實現高吞吐、低時延的推理體驗，降低每Token的推理成本。
據介紹，推理體驗直接關係到用戶與AI交互時的感受，包括回答問題的時延、答案的準確度以及複雜上下文的推理能力等方面。(wn)
據介紹，推理體驗直接關係到用戶與AI交互時的感受，包括回答問題的時延、答案的準確度以及複雜上下文的推理能力等方面。(wn)