浪潮信息對元腦SD200超節(jié)點(diǎn)AI服務(wù)器進(jìn)行了大量的軟硬件協(xié)同創(chuàng)新與優(yōu)化,實(shí)現(xiàn)DeepSeek R1大模型單token生成速度低至8.9毫秒,帶動國內(nèi)AI服務(wù)器token生成速度進(jìn)入“10毫秒時代”。
元腦SD200采用了多主機(jī)3D Mesh系統(tǒng)架構(gòu),實(shí)現(xiàn)單機(jī)64路本土AI芯片高密度算力擴(kuò)展,原生支持開放加速模組OAM,兼容多元AI芯片。同時,元腦SD200通過遠(yuǎn)端GPU虛擬映射技術(shù)創(chuàng)新,突破跨主機(jī)域統(tǒng)一編址難題,實(shí)現(xiàn)顯存統(tǒng)一地址空間擴(kuò)增8倍,單機(jī)可以提供4TB顯存和64TB內(nèi)存,為萬億參數(shù)、超長序列大模型提供充足鍵值緩存空間。基于創(chuàng)新的系統(tǒng)架構(gòu)設(shè)計,元腦SD200單機(jī)即可承載4萬億單體模型,或者同時部署由多個萬億參數(shù)模型構(gòu)成的智能體,多模協(xié)作執(zhí)行復(fù)雜任務(wù)。