欲妇荡岳丰满少妇岳_天天躁夜夜躁天干天干2020_eeuss影院www在线观看等最新内容!_丰满岳乱妇三级高清_国产精品丝袜在线中出_东北少妇高潮流白浆在线观看_暖暖在线观看免费高清完整版_国产成人啪精品视频午夜_日本在线无码观看_曰本AV中文字幕一区二区,一个人免费观看www,v无码专区亚洲av,亚洲欧美日韩国产伦理高清在线

本文轉(zhuǎn)載自：量子位

作者：曙光智算解決方案架構(gòu)師 周華威

席卷全球的新風(fēng)口

OpenAI去年發(fā)布了聊天機(jī)器人模型ChatGPT,，它能夠理解和生成人類語言,，并在許多自然語言處理任務(wù)中表現(xiàn)非常出色,。據(jù)統(tǒng)計,，上線僅兩個月,，ChatGPT活躍用戶已經(jīng)超億,，打破了由TikTok創(chuàng)造的9個月實現(xiàn)億級用戶注冊的紀(jì)錄,，引起了各行各業(yè)人們的強(qiáng)烈關(guān)注,。就連埃隆·馬斯克也忍不住發(fā)推表示，ChatGPT厲害得嚇人,，我們距離危險而強(qiáng)大的AI不遠(yuǎn)了,。當(dāng)然，在一頓痛批ChatGPT之后,，馬斯克也準(zhǔn)備親自下場,，成立研究實驗室，開發(fā)ChatGPT的競品。

類ChatGPT模型的開發(fā)與應(yīng)用,，在國內(nèi)也迅速成為資本市場關(guān)注,、創(chuàng)業(yè)者紛紛入場的賽道。阿里,、百度等互聯(lián)網(wǎng)大廠,，科大訊飛等語音類AI企業(yè)，以及眾多創(chuàng)業(yè)者都希望乘著最新的風(fēng)口迅速“起飛”,。創(chuàng)業(yè)者大軍中不乏像前美團(tuán)聯(lián)合創(chuàng)始人王慧文,、出門問問CEO李志飛、搜狗前CEO王小川,、前京東技術(shù)掌門人周伯文等行業(yè)大佬,。開發(fā)出“中國的ChatGPT”儼然成了國內(nèi)科技圈“All in”的方向。

然而,，我們真的能迅速見到一個“中國的ChatGPT”嗎,？誰又能拔下頭籌，成為這個細(xì)分賽道的領(lǐng)頭羊呢,？

這個眾多大佬都擠進(jìn)來“淘金”的賽道,，一定不是簡簡單單就能搞定的。

OpenAI的GPT“家族”

在深入了解開發(fā)出比肩ChatGPT的模型需要面臨哪些挑戰(zhàn)之前,，讓我們先看下ChatGPT所屬的GPT模型家族都有哪些成員,。

• GPT-1發(fā)布于2018年6月，包含117M個參數(shù),。這是第一個采用基于Transformer的模型架構(gòu)進(jìn)行預(yù)訓(xùn)練的模型,。它在語言模型和單詞類比任務(wù)上表現(xiàn)出色。

• GPT-2發(fā)布于2019年2月,，包含1.5B個參數(shù),。這個模型在自然語言生成任務(wù)上表現(xiàn)出色，可以生成高質(zhì)量的文章,、新聞報道和詩歌等文本,。

• GPT-3發(fā)布于2020年6月，包含175B個參數(shù),。具有出色的通用性和創(chuàng)造性,，可以在各種 NLP任務(wù)上表現(xiàn)出色，包括文本生成,、問答,、機(jī)器翻譯等任務(wù)。

到這就結(jié)束了,？完全不是,。

在GPT-3系列模型（注意，是一系列模型哦）發(fā)布之后，OpenAI繼續(xù)基于原始的GPT-3進(jìn)行了不斷地完善,。我們熟知的InstructGPT和ChatGPT實際的內(nèi)部代號是text-davinci-003 175B和text-chat-davinci-002-20221122,，是基于GPT-3.5的改良版。

圖：GPT-3模型家族,，圖片來源：https://lifearchitect.ai/chatgpt/

在InstructGPT的訓(xùn)練中,，OpenAI的研究員引入了RLHF（Reinforcement Learning from Human Feedback，人類反饋強(qiáng)化學(xué)習(xí)）機(jī)制,。這一訓(xùn)練范式增強(qiáng)了人類對模型輸出結(jié)果的調(diào)節(jié),，并且對結(jié)果進(jìn)行了更具理解性的排序。在此基礎(chǔ)上,，ChatGPT還引入了“無害化”機(jī)制,，防止模型生成不符合規(guī)范或倫理的答案。

圖：GPT-3,、InstructGPT,、ChatGPT的“進(jìn)化路線”

圖片來源：https://lifearchitect.ai/chatgpt/

不難看出，ChatGPT的出圈,，與OpenAI多年的技術(shù)積累是分不開的,。國內(nèi)廠商想要開發(fā)出像ChatGPT一樣優(yōu)秀的模型,，也絕不是簡單依靠拉一波投資,，雇一批算法研究員就能馬上實現(xiàn)的。

“中國的ChatGPT”面臨的挑戰(zhàn)

首先,，在資金投入方面,，在當(dāng)前的技術(shù)水平下，訓(xùn)練一個與ChatGPT這樣的大型語言模型相當(dāng)?shù)哪Ｐ托枰獢?shù)百萬美元的投入,。在發(fā)布ChatGPT之前,，OpenAI可查的融資額已超過20億美元，也是如此龐大的投資才使OpenAI擁有了多年技術(shù)積累,。反觀絕大多數(shù)近期入局的國內(nèi)企業(yè),，即便擁有足夠的資金與人員，也大都很難在短期追上OpenAI的步伐,。

我們不禁想問,，如果要在國內(nèi)開發(fā)出一個類ChatGPT模型，到底會面臨哪些技術(shù)挑戰(zhàn)呢,？

為了能了解到最最準(zhǔn)確的答案,，我們請教了ChatGPT“本人”

1、數(shù)據(jù)量：需要大量的數(shù)據(jù)集來進(jìn)行訓(xùn)練,。這些數(shù)據(jù)集需要是大規(guī)模的,、多樣化的、真實的，并且要涵蓋各種不同的語言和語境,。這需要花費(fèi)大量的時間和資源來收集,、整理和標(biāo)注。

數(shù)據(jù)量

我們經(jīng)常聽到“有多少數(shù)據(jù),，就有多少智能”,，數(shù)據(jù)對于模型訓(xùn)練的重要性不言而喻。類ChatGPT模型的訓(xùn)練,，更需要超大規(guī)模的,，經(jīng)過清洗的數(shù)據(jù)。以GPT-3的訓(xùn)練為例,，需要300B tokens的數(shù)據(jù),。大家如果對這個數(shù)字不敏感的話，可以參考整個英文的維基百科的數(shù)據(jù)量,，只有“相對可憐”的3B tokens,，是訓(xùn)練GPT-3所需的百分之一。并且,，要訓(xùn)練出類ChatGPT模型,，勢必需要數(shù)倍于當(dāng)年訓(xùn)練GPT-3的數(shù)據(jù)量的中文語料數(shù)據(jù)，這對于大部分企業(yè)或科研機(jī)構(gòu)來說都是難以翻越的大山,。有效的中文數(shù)據(jù)量,，一定程度上決定了模型性能的上限,。

計算能力

類ChatGPT模型的訓(xùn)練，除了需要非常多的訓(xùn)練數(shù)據(jù)外,，也離不開龐大的算力支撐,。根據(jù)北京智源人工智能研究院公布的數(shù)據(jù)，使用300B tokens的數(shù)據(jù)訓(xùn)練175B參數(shù)規(guī)模（與GPT-3規(guī)模相同）的模型,，如果使用96臺通過200Gb IB網(wǎng)卡互聯(lián)的DGX-A100節(jié)點(diǎn),，需要約50天。要是使用更大規(guī)模的訓(xùn)練數(shù)據(jù)集,，訓(xùn)練時長還會進(jìn)一步增加,。

對于計算集群來說，不僅需要能夠提供海量的算力資源,，還需要具備高速網(wǎng)絡(luò)和高容量存儲,，以便支持大規(guī)模的數(shù)據(jù)訪問和模型傳輸。整套基礎(chǔ)設(shè)施,，連同軟件平臺,，還需要結(jié)合集群的拓?fù)浣Y(jié)構(gòu)針對分布式訓(xùn)練進(jìn)行優(yōu)化，通過調(diào)整并行策略等方式,，提升硬件利用率與通訊效率,，縮短整體訓(xùn)練時間。

算法優(yōu)化

算法優(yōu)化和模型的訓(xùn)練效率和效果息息相關(guān),。每一個算法研究員,，都希望模型在訓(xùn)練過程中快速收斂，這恰恰也是算法研究人員經(jīng)驗與企業(yè)長年技術(shù)積累的體現(xiàn),。通常情況下,，在訓(xùn)練的過程中需要不斷調(diào)整學(xué)習(xí)率,、批量大小,、層數(shù)等超參數(shù)，或使用自動調(diào)參的技巧和經(jīng)驗,，才能快速,、穩(wěn)定的實現(xiàn)模型收斂。就像中餐大廚們用“少許,、適量”的調(diào)料制作美味佳肴一樣,，里面包含著的是大廚們幾十年的手藝，不是一朝一夕就能被批量復(fù)制的,。

前途是光明的,，道路是曲折的

想必，這是最適合送給現(xiàn)在想要開發(fā)出“中國的ChatGPT”的各路大佬們的一句話了,。為規(guī)避未來的技術(shù)風(fēng)險,，不少廠商,、科研機(jī)構(gòu)也開始探索在自研算力服務(wù)平臺上訓(xùn)練的可行性。北京智源人工智能研究院作為國內(nèi)頂尖的人工智能領(lǐng)域研究機(jī)構(gòu),，早早就探索了使用自研算力服務(wù)平臺的可能性,。同樣是使用300B tokens的數(shù)據(jù)訓(xùn)練175B參數(shù)規(guī)模的模型，通過曙光提供的算力服務(wù),，訓(xùn)練周期只需29.10天,，在節(jié)點(diǎn)規(guī)模接近的情況下，訓(xùn)練效率是其他算力平臺的300%,。

基于自研算力服務(wù)平臺進(jìn)行訓(xùn)練,，不可避免的會帶來更多的移植與調(diào)優(yōu)工作。曙光智算強(qiáng)大的硬件與算法優(yōu)化團(tuán)隊,，在集群,、并行策略、算子,、工具包等方面的優(yōu)化上與智源開展了深入的合作,。首先，為保證程序能夠正常運(yùn)行,，需要完成包括DeepSpeed/Megatron/Colossal-AI/apex等必要組件的適配工作,。其次，程序系統(tǒng)順利調(diào)度通常也需要調(diào)整調(diào)整操作系統(tǒng)配置及tcp協(xié)議參數(shù)等,。訓(xùn)練的優(yōu)化工作則主要包含以下三個方面：

• 算子層面：使用算子融合/算子優(yōu)化等技術(shù),，深度挖掘硬件性能，提升硬件使用率,；

• 策略層面：采用模型并行,、數(shù)據(jù)并行、流水線并行,、Zero等多級并行策略,，實現(xiàn)超大規(guī)模訓(xùn)練；

• 集群層面：針對硬件的拓?fù)浣Y(jié)構(gòu),，對分布式訓(xùn)練通信,、并行分組配比等進(jìn)行定制優(yōu)化，提升訓(xùn)練擴(kuò)展比,。

通過一系列的優(yōu)化方法,，最終也證明了我們可以在自研算力服務(wù)平臺上，以能夠?qū)?biāo)國際水平的效率實現(xiàn)大模型的開發(fā)工作,，這無疑為“中國的ChatGPT”的開發(fā)工作喂了一顆定心丸,。希望在不久的將來，我們可以看到真正在自研算力平臺上訓(xùn)練的,，能與ChatGPT比肩的中文模型,。

前途一定是光明的,。

全球主流AI大模型TOP10榜單