華為發(fā)布AI推理創(chuàng)新技術(shù)UCM：實(shí)現(xiàn)高吞吐、低時(shí)延推理體驗(yàn)，降低每Token推理成本
我要評(píng)論新浪科技訊 8月12日下午消息，發(fā)布在2025金融AI推理應(yīng)用落地與發(fā)展論壇上，推理吞吐n推華為聯(lián)合中國(guó)銀聯(lián)共同發(fā)布AI推理創(chuàng)新技術(shù)UCM（推理記憶數(shù)據(jù)管理器），創(chuàng)新實(shí)現(xiàn)高吞吐、技術(shù)低時(shí)延的現(xiàn)高推理體驗(yàn)。
在當(dāng)今數(shù)字化時(shí)代，低時(shí)低AI發(fā)展日新月異。延推驗(yàn)降大模型訓(xùn)練的理體理成熱潮尚未消退，AI推理體驗(yàn)卻已悄然成為AI應(yīng)用的發(fā)布關(guān)鍵。中信建投在2025WAIC期間發(fā)布的推理吞吐n推白皮書(shū)指出，AI正從訓(xùn)練向推理的創(chuàng)新結(jié)構(gòu)性轉(zhuǎn)變而快速增長(zhǎng)。在這樣的技術(shù)大背景下，AI推理體驗(yàn)的現(xiàn)高重要性愈發(fā)凸顯。
推理體驗(yàn)直接關(guān)系到用戶與AI交互時(shí)的低時(shí)低感受，包括回答問(wèn)題的延推驗(yàn)降時(shí)延、答案的準(zhǔn)確度以及復(fù)雜上下文的推理能力等方面。資料顯示，國(guó)外主流模型的單用戶輸出速度已進(jìn)入200 Tokens/s區(qū)間（時(shí)延5ms），而我國(guó)普遍小于60Tokens/s（時(shí)延50 - 100ms），如何解決推理效率與用戶體驗(yàn)的難題迫在眉睫。
據(jù)介紹，華為此次發(fā)布的AI推理創(chuàng)新技術(shù)UCM（推理記憶數(shù)據(jù)管理器），作為一款以KV Cache為中心的推理加速套件，其融合了多類(lèi)型緩存加速算法工具，分級(jí)管理推理過(guò)程中產(chǎn)生的KV Cache記憶數(shù)據(jù)，擴(kuò)大推理上下文窗口，以實(shí)現(xiàn)高吞吐、低時(shí)延的推理體驗(yàn)，降低每Token推理成本。
海量資訊、精準(zhǔn)解讀，盡在新浪財(cái)經(jīng)APP 責(zé)任編輯：郭栩彤
相關(guān)文章
美團(tuán)王興：外賣(mài)價(jià)格戰(zhàn)沒(méi)有為行業(yè)創(chuàng)造價(jià)值 不可持續(xù)
來(lái)源：財(cái)聯(lián)社財(cái)聯(lián)社11月28日電，在美團(tuán)28日晚第三季度財(cái)報(bào)電話會(huì)上，美團(tuán)CEO王興表示，“我們重申在過(guò)去兩個(gè)季度闡明的立場(chǎng)，外賣(mài)價(jià)格戰(zhàn)是低質(zhì)低價(jià)的‘內(nèi)卷式’競(jìng)爭(zhēng)，我們堅(jiān)決反對(duì)。半年來(lái)的市場(chǎng)結(jié)果已經(jīng)充2025-11-30
會(huì)通新材料股份有限公司持股5%以上股東減持股份計(jì)劃公告
登錄新浪財(cái)經(jīng)APP 搜索【信披】查看更多考評(píng)等級(jí)證券代碼：688219 證券簡(jiǎn)稱：會(huì)通股份 公告編號(hào)：2025-080會(huì)通新材料股份有限公司持股5%以上股東減持股份計(jì)劃公告安慶市同安產(chǎn)業(yè)招商投資基金2025-11-30
黑吃黑？男子被騙子盯上后反騙其6萬(wàn)元，認(rèn)為對(duì)方是犯罪分子不敢報(bào)警，警察3天后上門(mén)抓人，當(dāng)事人被判刑
拿到新卡的那一刻，浙江小伙小劉的心臟“怦怦”直跳！他在ATM機(jī)上查詢余額：屏幕上赫然顯示卡內(nèi)還有62000余元，全是騙子剛打進(jìn)的錢(qián)。小劉抑制住內(nèi)心狂喜，分幾次將卡里的錢(qián)全部取了出來(lái)。他認(rèn)為：這是一場(chǎng)黑2025-11-30
我國(guó)啟動(dòng)聚變領(lǐng)域國(guó)際科學(xué)計(jì)劃
今天11月24日），中國(guó)科學(xué)院燃燒等離子體國(guó)際科學(xué)計(jì)劃在合肥正式啟動(dòng)，緊湊型聚變能實(shí)驗(yàn)裝置BEST的研究計(jì)劃也同步面向全球發(fā)布。來(lái)自法國(guó)、英國(guó)、德國(guó)、意大利等十多個(gè)國(guó)家的聚變科學(xué)家齊聚合肥，共同簽署了2025-11-30
自動(dòng)播放新華社快訊：29日上午，香港特區(qū)行政長(zhǎng)官李家超、特區(qū)政府主要官員和公務(wù)員等在政府總部舉行悼念活動(dòng)，哀悼大埔宏福苑火災(zāi)中不幸罹難的人士。特區(qū)政府建筑物國(guó)旗和區(qū)旗下半旗。2025-11-30
“扭虧尚不可預(yù)期” 大東方1元出讓旗下金華聯(lián)濟(jì)股權(quán)
“扭虧尚不可預(yù)期”。大東方(600327)對(duì)金華聯(lián)濟(jì)醫(yī)院有限公司簡(jiǎn)稱“金華聯(lián)濟(jì)”）的運(yùn)營(yíng)以這樣的結(jié)語(yǔ)結(jié)束。11月24日晚間，大東方公告，控股子公司上海均瑤醫(yī)療健康科技有限公司簡(jiǎn)稱“均瑤醫(yī)療”）擬將所持2025-11-30
最新評(píng)論