相比效果顯著，非常出色的老虎算法，移動端優(yōu)化排序算法的效果要稍差一些。

    因而孟繁岐并沒有急著推動上線測試，而是等待結(jié)合AI語言解釋模型的那一個更新準(zhǔn)備一起推動。

    目前針對語言問題所采用的通常是循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)和長短期記憶辦法(LSTM)，這兩個工作都是上個世紀(jì)末的老辦法了。

    這兩種方法簡明好用，因而一直興盛到2017年左右。

    直到Transformer，也就是ChatGPT的T方法出現(xiàn)。

    通常來說，大家都認(rèn)為Transformer方法之所以能夠迅速取代RNN和LSTM，主要是因為它更方便并行進(jìn)行。

    在多個設(shè)備上容易做到并行，這件事最核心的意義便是讓規(guī)模龐大的版本成為可能，這也為后來ChatGPT這樣的究極巨無霸模型奠定了基礎(chǔ)。

    “其實老版的RNN也有辦法可以把并行做得很好，領(lǐng)域內(nèi)對這件事有很大的誤解。”孟繁岐皺著眉頭思索道。

    原本時間線，Transformer出來之后，所有人都放下了手頭老方法的研究，擁抱了T方法。

    可18年實際上有人專門做了RNN的高度并行，只可惜已經(jīng)太遲了。

    如果這個發(fā)現(xiàn)可以早一年的時間，可能RNN會長期作為T辦法的競爭對手，我們也有可能看到ChatRNN的出現(xiàn)。

    “早期的T方法需要很多數(shù)據(jù)，各種參數(shù)比較難調(diào)整，需要的計算能力也很龐大?！泵戏贬幢愀鶕?jù)后來成熟的許多方法做了一個改進(jìn)的版本，T方法在早期仍舊比較麻煩。

    “好在谷歌的數(shù)據(jù)和算力都不缺，而我也比較熟悉各種經(jīng)典的參數(shù)設(shè)置。”孟繁岐先寫了一個雛形版本的T方法，進(jìn)行了一下測試。

    “不過，受限于現(xiàn)在顯卡的顯存，模型沒有辦法做得很大，除非我專門再去開發(fā)DeepSpeed這樣的高級并行方式。”

    在多張卡上訓(xùn)練模型，可能是為了追求速度，也可能是因為一張卡上放不下了。

    其中，數(shù)據(jù)并行是最簡單的，也就是不同的卡都在做同樣的事情，每張卡上都會存放一個模型。

    只不過輸入的數(shù)據(jù)不一樣，不同的卡做完運算之后，再一起整合更新。

    就像是所有人都拿了同樣的刀切不同的菜，最后把切好的食材堆在一起。

    可有的時候，一張卡上根本就放不下模型，這樣的情況就比較麻煩了。因為一個人根本拿不動這把刀了，需要多人協(xié)作。

    可以把每一層拆分到不同的卡上，也可以把不同層分配到不同的卡上，如此一來，其實是用多卡實現(xiàn)了類似單卡訓(xùn)練的效果。

    顯然，前者會比后者容易非常多，前者只需要在不同卡上復(fù)制這些模型，分別讀取數(shù)據(jù)做運算就好。

    而后者則需要根據(jù)不同的情況和設(shè)置拆分合并，一個不小心就會搞錯。

    看了下谷歌大腦的服務(wù)器，里面有好幾批2013款的GTX泰坦，這東西著實價值不菲。

    考慮到當(dāng)時的其他產(chǎn)品，6G的顯存還是鶴立雞群的。

    比起孟繁岐自己重金購置的4G旗艦款，多出的2G顯存，足夠做很多其他的事情了。

    用速度換顯存，孟繁岐又做了許多參數(shù)和信息在Cpu和Gpu上反復(fù)轉(zhuǎn)移的操作。

    因為在正式入職之前，谷歌大腦分配給他的顯卡就已經(jīng)有16張?zhí)┨?，這部分卡撥給孟繁岐獨享，隨時都可以使用。

    除此之外，還有32張在不同節(jié)點上的Gpu可以申請占用。

    “這時候的谷歌顯卡還沒有那么多，這個配置已經(jīng)相當(dāng)大方了?！?br/>
    不僅有統(tǒng)一配置的系統(tǒng)和環(huán)境，還有提供好的多卡并行方式和例子。

    再過兩年，幾千張上萬張TPU都是標(biāo)配。

    孟繁岐如果想要將AI接入搜索系統(tǒng)，有三個主要的方向。

    一是通過拆分關(guān)鍵詞，通過語言模型來獲取其在現(xiàn)實世界的含義，從而對結(jié)果進(jìn)行更好的排名。

    二是通過擴大模型的規(guī)模，使得它具備一定的寬泛理解能力，從而擴大能夠搜索的內(nèi)容量。

    三則是讓搜索引擎更能夠理解不同語言順序會如何改變查詢的意圖。

    其中二目前比較難辦，一和三孟繁岐的把握很大。

    傳統(tǒng)的RNN和LSTM的循環(huán)方式，就導(dǎo)致了在較長語句上比較難處理得當(dāng)，對順序的變化理解也沒有那么充分。

    孟繁岐的雛形T方法，在這方面具有得天獨厚的優(yōu)勢。

    除此之外，T方法雖然在小數(shù)據(jù)上難以學(xué)到東西，各個參數(shù)也很難微調(diào)，總體的訓(xùn)練難度大。

    但這在孟繁岐這個老煉丹師面前，不是什么難事，配合谷歌早已備好的海量數(shù)據(jù)，孟繁岐對這個方法的效果還是很有信心的。

    而將顯卡資源都投入訓(xùn)練之后，在13年的圣誕節(jié)前夕，孟繁岐結(jié)束了在谷歌尚海大約十天的工作旅程。

    模型的訓(xùn)練需要一定的時間，廣告算法后續(xù)兩板斧可能過兩周，元旦之后了。

    總算基本完成了早期生涯吸金最多的技術(shù)，孟繁岐如釋重負(fù)。

    就在他計劃開始開辦公司，開始看工作場地，設(shè)備金額的時候，一個意料之外的電話打亂了他的節(jié)奏。

    “孟先生您好，我是創(chuàng)新工廠李開赴的秘書，他很想跟你面對面談一談，但由于身體原因，出行不大方便，不知道您方不方便過來呢？”

    李開赴？也算是谷歌系的華人大前輩了，最高做到全球副總裁，中華區(qū)第一把交椅。

    不僅如此，他也曾在蘋果和微軟干到很高的位置。

    不過09年四年約到期之后，他就辭職不干了，自己搞了一個天使基金投資大學(xué)生的夢想。

    “李開赴老師現(xiàn)在在哪里？”孟繁岐對李開赴的經(jīng)歷還是比較熟悉的，此時應(yīng)當(dāng)正值他罹患癌癥初期，只是不知道他在何處接受治療。

    “李開赴先生先在寶島北市接受治療，如果方便的話，我們就約一個時間吧？其實這段時間的治療效果并不是特別好，因此李先生已經(jīng)基本不再參與任何會議和公司工作了，不過他執(zhí)意要抽出一天時間跟你聊一聊。”

    “我現(xiàn)在剛剛結(jié)束了手頭的事情，明天就可以去辦理入島許可證?！泵戏贬X得有些奇怪，自己雖然在AI界嶄露頭角，但對于李開赴這樣級別的前輩來說，似乎沒有什么是非見不可的。

    尤其考慮到他目前的身體狀況不是很好。

    “不過辦理下來，也該是兩周往后了?！?br/>
    孟繁岐問了秘書，她也不大清楚具體的原因，孟繁岐便壓下了自己的好奇心，約在一月中旬見面。

    尚海飛北市桃園，總共要不了兩三個小時，比去燕京其實還近一些。他兩輩子還真沒有去過寶島，去見李開赴順便走一圈倒也還不錯。

    只是入島許可證，卻像簽證一樣，辦理起來讓人很是不爽。

    ，