上海證券交易所股票代碼：603019
您可以同時(shí)關(guān)注中科曙光微信公眾號(hào)
使用微信掃一掃即可登錄,！ 查閱資料更方便,、 快捷！
2025年1月
服務(wù)熱線：400-810-0466
發(fā)布時(shí)間: 2023-07-19
國(guó)內(nèi)大模型百花齊放,，據(jù)統(tǒng)計(jì),，中國(guó)10億以上參數(shù)大模型已發(fā)布79個(gè)。
大模型海量計(jì)算,，對(duì)存儲(chǔ)提出了更高要求,。而三大存力痛點(diǎn)，制約大模型計(jì)算發(fā)展：一是數(shù)據(jù)加載慢,，導(dǎo)致訓(xùn)練時(shí)間長(zhǎng),；二是數(shù)據(jù)訪問協(xié)議多樣性，要求數(shù)據(jù)訪問效率更高,；三是數(shù)據(jù)生命周期管理不完善,，數(shù)據(jù)安全風(fēng)險(xiǎn)亟需關(guān)注。
基于這些存儲(chǔ)痛點(diǎn),，曙光存儲(chǔ)大模型解決方案升級(jí)迭代,，攜全新業(yè)內(nèi)首創(chuàng)技術(shù)XDS,，提供增效、降本,、安全的體驗(yàn),。
增效-首創(chuàng)XDS技術(shù)，存算協(xié)同優(yōu)化提升效率
此次大模型解決方案升級(jí)迭代,，曙光ParaStor首創(chuàng)實(shí)現(xiàn)XDS多層級(jí)智能加速技術(shù),，集算力端、存力端各維度各層級(jí)加速引擎為一體,，打造高效的存算協(xié)同,。
以往AI訓(xùn)練中，智能芯片若想讀取數(shù)據(jù),，則需先將數(shù)據(jù)存到緩存中,，再由CPU發(fā)往智能芯片讀取。CPU與緩存的轉(zhuǎn)運(yùn),，導(dǎo)致數(shù)據(jù)調(diào)取速度變慢,。而XDS技術(shù)可實(shí)現(xiàn)將數(shù)據(jù)直接加載到智能芯片中，提高訓(xùn)練過程中數(shù)據(jù)集的加載及處理速度,。XDS技術(shù)創(chuàng)新在于支持多種智能芯片的直接存取,，除了GPU，也支持多款算力端智能芯片直接存取數(shù)據(jù),。XDS技術(shù)簡(jiǎn)化了存取過程,，降低了CPU與緩存壓力，更節(jié)省硬件資源,。
在存力端,，XDS技術(shù)內(nèi)嵌ParaBuffer加速引擎，在AI訓(xùn)練計(jì)算節(jié)點(diǎn)與存儲(chǔ)系統(tǒng)之間構(gòu)造大內(nèi)存池,，將系統(tǒng)整體I/O性能提升數(shù)倍,。存算協(xié)同優(yōu)化，使得訓(xùn)練時(shí)間大幅降低,，可由數(shù)十天降低至幾天,。
降本-多存儲(chǔ)協(xié)議與智能分級(jí)，數(shù)據(jù)管理省心可靠
此外,，針對(duì)數(shù)據(jù)訪問協(xié)議多樣性痛點(diǎn),，曙光ParaStor同時(shí)支持文件、對(duì)象等多種存儲(chǔ)協(xié)議,，可為大模型提供統(tǒng)一的存儲(chǔ)底座,。為實(shí)現(xiàn)數(shù)據(jù)全生命周期管理，曙光ParaStor具備熱溫冷數(shù)據(jù)智能分級(jí)流動(dòng),，支持給數(shù)據(jù)自定義標(biāo)簽,，過期后自動(dòng)刪除,。
對(duì)于AI數(shù)據(jù)存儲(chǔ)的安全可靠，曙光ParaStor憑借全棧自研能力,，從操作系統(tǒng),、存儲(chǔ)架構(gòu)、軟件核心模塊,、存儲(chǔ)介質(zhì)等多層面保障數(shù)據(jù)安全。提升存儲(chǔ)可靠性,，降低數(shù)據(jù)管理成本,，讓用戶省心省力。
目前,，曙光存儲(chǔ)為國(guó)內(nèi)某AI新經(jīng)濟(jì)獨(dú)角獸大模型平臺(tái)構(gòu)建了PB級(jí)NVMe全閃存高性能存儲(chǔ)池,，從硬件設(shè)施到軟件系統(tǒng)，性能,、可靠性,、安全性皆滿足需求指標(biāo)，為多個(gè)領(lǐng)域帶來增效降本,、可靠安全的存儲(chǔ)方案,。
400-810-0466
[email protected]
津公網(wǎng)安備 12011602000521號(hào)
津公網(wǎng)安備 12011602000521號(hào)
注冊(cè) /
