歡迎登錄浙江旭鑫信息系統(tǒng)有限公司網(wǎng)站，供應(yīng)戴爾服務(wù)器、超聚變服務(wù)器、H3C服務(wù)器等。定制解決方案。 網(wǎng)站地圖 | 戴爾服務(wù)器 | 超聚變服務(wù)器
- $
浪潮推出CPU推理服務(wù)器支持DeepSeek和QwQ，元腦服務(wù)器加速AI普及
來源：www.cnemba.com 發(fā)布時(shí)間：2025年03月27日
浪潮推出元腦CPU推理服務(wù)器，可運(yùn)行DeepSeek和千問QwQ等新一代大推理模型。元腦CPU推理服務(wù)器NF8260G7和NF8480G7設(shè)計(jì)采用4顆高性能通用CPU和多通道內(nèi)存系統(tǒng)，通過張量并行策略和AMX加速技術(shù)，單機(jī)即可運(yùn)行DeepSeek-R1 32B和QwQ-32B推理模型，單用戶性能超20 tokens/s。
元腦CPU推理服務(wù)器NF8260G7和NF8480G7基于通用處理器架構(gòu)進(jìn)行軟硬協(xié)同優(yōu)化，已經(jīng)完成與DeepSeek-R1 32B和QwQ-32B等大模型的深度適配和優(yōu)化。元腦CPU推理服務(wù)器通過采用張量并行策略和AMX加速技術(shù)，業(yè)界主流企業(yè)級(jí)大模型推理服務(wù)框架，實(shí)現(xiàn)多處理器并行計(jì)算，并使用AWQ（激活感知權(quán)重量化）技術(shù)，進(jìn)一步提升推理解碼性能，成功實(shí)現(xiàn)單用戶20tokens/s的性能，為企業(yè)的AI大模型部署應(yīng)用帶來流暢體驗(yàn)。
面對(duì)CPU服務(wù)器部署大模型面臨算力和帶寬方面的挑戰(zhàn)，元腦CPU推理服務(wù)器采用了多項(xiàng)創(chuàng)新技術(shù)。
上一條
筑基“AI+人才”培養(yǎng)，浪潮攜手元腦伙伴拓爾思推出智慧教育新平臺(tái)
下一條
浪潮元腦服務(wù)器第八代平臺(tái)產(chǎn)品NF3290G8刷新 SPEC CPU2017測(cè)試紀(jì)錄
返回列表
【相關(guān)文章】
【相關(guān)產(chǎn)品】
產(chǎn)品推薦
-
微信二維碼 -
手機(jī)訪問
版權(quán)聲明：本網(wǎng)站所刊內(nèi)容未經(jīng)本網(wǎng)站及作者本人許可，不得下載、轉(zhuǎn)載或建立鏡像等，違者本網(wǎng)站將追究其法律責(zé)任。本網(wǎng)站所用文字圖片部分來源于公共網(wǎng)絡(luò)或者素材網(wǎng)站，凡圖文未署名者均為原始狀況，但作者發(fā)現(xiàn)后可告知認(rèn)領(lǐng)，我們?nèi)詴?huì)及時(shí)署名或依照作者本人意愿處理，如未及時(shí)聯(lián)系本站，本網(wǎng)站不承擔(dān)任何責(zé)任。