本文轉(zhuǎn)載自：Founder Park（ID：Founder-Park）。獵云網(wǎng)已獲授權(quán)。

4 月，王小川宣布下場，成立大模型公司「百川智能」。

6 月，百川智能發(fā)布 70 億參數(shù)開源大模型，Baichuan-7B。

7 月，百川智能發(fā)布 130 億參數(shù)開源大模型，Baichuan-13B。

兩款模型在各種測評(píng)上都有不錯(cuò)的表現(xiàn)，也收獲了國內(nèi)外大量用戶的認(rèn)可。

「開源很簡單，大家可以拿著自己用的，這不是你自己吹牛吹出來的。」

他動(dòng)作很快，比大多數(shù)人想象得都快。就連他自己也很意外：下場動(dòng)手開始做以后，進(jìn)度會(huì)比預(yù)期快很多。

在 AGI Playground 大會(huì)上，王小川透露，百川智能的開源模型能力一定會(huì)超越 Llama 2。按照計(jì)劃，之后百川智能將發(fā)布幾百億，千億級(jí)閉源大模型。

幾個(gè)月前，王小川要「做中國的 OpenAI」登上各種媒體的頭條。

這是一句大眾愛聽的口號(hào)，但未必是一句準(zhǔn)確的描述。

王小川究竟想做什么？他要怎么做？三個(gè)月的實(shí)踐，取得階段性成果之后，他對(duì)大模型時(shí)代的創(chuàng)業(yè)有哪些一手認(rèn)知？

以下內(nèi)容來自極客公園創(chuàng)始人 & 總裁張鵬與百川智能創(chuàng)始人 & CEO 王小川在 AGI Playground 大會(huì)上的訪談，經(jīng) Founder Park 編輯。

開源，OpenAI沒做到的

張鵬：

大家可能最感興趣的，還是你創(chuàng)業(yè)之后這段時(shí)間動(dòng)作很快，發(fā)了兩個(gè)模型：一個(gè)7B，一個(gè) 13B，而且反饋都很好。

大家都很好奇，因?yàn)橐婚_始都認(rèn)為你要做一個(gè)中國的OpenAI，但是看到你做了開源的東西，那開源是一個(gè)技術(shù)階段，還是本身它就是未來你思考的新模型？

王小川：

開源，我們覺得是一個(gè)技術(shù)階段，其實(shí)做中國的 OpenAI 并不代表著完全要復(fù)制它完整的路徑。在硅谷跟 OpenAI 交流的時(shí)候，他們?cè)诶硐肷鲜亲叩梅浅＿h(yuǎn)的，比如說他們現(xiàn)在做 GPT-4 的時(shí)候是需要 2 萬多張卡做計(jì)算，國內(nèi)都沒見過這么大的規(guī)模。

他們很自豪地說他們?cè)谠O(shè)計(jì)把 1000 萬張 GPU 連在一塊做計(jì)算模型。

1000 萬張卡什么概念？英偉達(dá)一年的產(chǎn)量是 100 萬張。1000 萬張就完全是可以登月（moonshot）的這么一種計(jì)劃。

另外，在怎么去做應(yīng)用、做產(chǎn)品上，甚至做一些更廣義的技術(shù)上，這可能是OpenAI的短板，或者是他們現(xiàn)在不是特別關(guān)注的事情。

所以在中國做OpenAI跟美國的生態(tài)環(huán)境會(huì)非常的不一樣。

最近開源的 Llama 2發(fā) 布之后，在國內(nèi)引起一個(gè)狂潮，大家覺得它會(huì)重新改變格局，這是 OpenAI 沒做到的地方。很遺憾這個(gè)不是 Google ，而是 Facebook（Meta） 做的， Google 還是繼續(xù)缺席的位置。但國內(nèi)的話我們就提前看到這件事情了，我們認(rèn)為未來開源和閉源會(huì)有一個(gè)并行的狀態(tài)。

張鵬：

開源和閉源會(huì)是并行的狀態(tài)。

王小川：

并行就有點(diǎn)像現(xiàn)在既有蘋果的系統(tǒng)，也有安卓的系統(tǒng)。甚至在更多的公司要參與進(jìn)來的時(shí)候，光用閉源的API調(diào)用是不夠的，也需要這個(gè)開源模型提供 80%的服務(wù)，最后靠閉源來給大家提供服務(wù)剩下的 20%會(huì)有大量開源的需求。而之前美國沒有，中國更沒有類似的模型。因此Llama 一旦宣布的話，對(duì)美國是很大的震動(dòng)，但中國也有熱潮跟著在走。事實(shí)上，嚴(yán)肅的技術(shù)評(píng)測包括幾種主流的像SuperClue的評(píng)測，以及一些大廠和公司的對(duì)比， Llama 和百川對(duì)比的話，明顯我們現(xiàn)在在中文領(lǐng)域里面是遠(yuǎn)超 Llama 的品質(zhì)。

在中國的開源模型領(lǐng)域，就像我們的手機(jī)行業(yè)一樣，最早也是用美國的，后來就自己追上了。

張鵬：

你覺得 Llama 2 最近這么熱，百川會(huì)比它們做得好？

王小川：

Llama 是有Llama 1 和 2。

首先，我們今年在 6 月份發(fā)布了第一個(gè) 7B 參數(shù)的模型， 7 月份發(fā)布 13B 參數(shù)的模型。在英文的指標(biāo)里面，最重要的一個(gè)指標(biāo)是 MMLU (Massive Multitask Language Understanding)，這個(gè)關(guān)鍵指標(biāo)我們的兩個(gè)模型是優(yōu)于 Llama（1）的，在中文里面大幅度領(lǐng)先。

我們知道 Llama 其實(shí)對(duì)中文的處理部分其實(shí)是不足的，跟Llama（1）相比，百川的英文是能夠部分對(duì)標(biāo)，關(guān)鍵指標(biāo)是超過的，然后中文是明顯是做得更好，很多人在對(duì) Llama進(jìn)行中文改造，但還是沒有本土的百川好用。

Llama 2 發(fā)布之后，我們也能看到技術(shù)報(bào)告，里面大概有 9 個(gè)技術(shù)創(chuàng)新點(diǎn)，其中有 6 個(gè)在我們正在研發(fā)的模型里已經(jīng)做到了。

跟國內(nèi)其他模型相比，我們這邊的思路是目前最接近的，有 6 個(gè)點(diǎn)我們已經(jīng)做了，然后有 2 個(gè)我們沒想到，有一個(gè)我們這是無效的，所以在跟 Llama2 對(duì)比的時(shí)候，我們?cè)诩夹g(shù)的思考里不是簡單的抄襲借鑒，我們是有自己的思考的。我們認(rèn)為在這個(gè)道路里面后面會(huì)有我們的機(jī)會(huì)。

今天我也呼吁，在國內(nèi)大家在用的時(shí)候不要只想著國外很好，OpenAI 現(xiàn)在來講離距離確實(shí)更遠(yuǎn)，年底能夠達(dá)到 GPT-3.5 或者接近的水準(zhǔn)需要時(shí)間，但在開源大模型里面我們現(xiàn)在已經(jīng)很接近了，在中文領(lǐng)域現(xiàn)在就可以替代，也許未來還能超過 Llama，我覺得是可以做到的，我們應(yīng)該有這樣的自信。

張鵬：

所以你的下一個(gè)開源模型，你認(rèn)為會(huì)比 Llama 2 更好？

王小川：

至少是在中文。在中文領(lǐng)域，現(xiàn)在已經(jīng)是超越了。再往下是在全球市場的開源領(lǐng)域去發(fā)出中國的聲音。

張鵬：

英文和中文都要達(dá)到比Llama2好，這件事對(duì)你是看得見、可實(shí)現(xiàn)的。

王小川：

我覺得有機(jī)會(huì)，在可預(yù)測未來是可能會(huì)發(fā)生的。

張鵬：

所以你的觀點(diǎn)是：今天不能簡單的說我們未來大模型就是走向OpenAI——閉源的中心化的模型。開源實(shí)際上是具備著很大的可能性。所以也就意味著一方面在于實(shí)踐技術(shù)，展示技術(shù)能力，但它也確實(shí)有可能蘊(yùn)含著商業(yè)模式和價(jià)值。

同時(shí)，開源的基礎(chǔ)之上，中國做一個(gè)全球最好的中文模型還是一個(gè)讓人可以期待的事。

王小川：

總結(jié)得非常準(zhǔn)確。

搜索的經(jīng)驗(yàn)，是壞的慣性，還是好的資產(chǎn)？

張鵬：

之前很多投資人認(rèn)為，用搞搜索的經(jīng)驗(yàn)做大模型肯定成不了。經(jīng)過這幾個(gè)月的實(shí)踐，你是否驗(yàn)證了你當(dāng)初的與他們不同的判斷？搜索的積累和能力對(duì)大模型有什么幫助？

王小川：

因?yàn)榻裉欤ˋI的）這個(gè)成就是OpenAI做到的，Google沒做到，所以投資人的第一個(gè)想法就是這個(gè)新的技術(shù)正好是搜索的反面。他們很難分清到底是技術(shù)還是組織管理的原因。

導(dǎo)致這種聲音的原因，一個(gè)是不理解搜索技術(shù)和AI的關(guān)系，第二個(gè)是認(rèn)為搜索背景的認(rèn)知會(huì)帶來負(fù)向的效果。

因?yàn)樗阉鞴局饕褪前俣群虶oogle，不太需要對(duì)外融資，也不會(huì)給投資人講搜索是什么。尤其是上一波AI熱潮更多是通過圖像帶起來的，大家對(duì)搜索里的NLP等技術(shù)內(nèi)涵是陌生的。

從結(jié)果上來說，我們6月份發(fā)布了第一個(gè)模型。最早有競爭對(duì)手告訴投資人，百川最早第一個(gè)模型要用半年時(shí)間，其實(shí)我們只用了1/3時(shí)間就做到了，然后又發(fā)了第二個(gè)。而且不久的將來，我們會(huì)發(fā)布一個(gè)閉源大模型。

百川從第一天開始就是自研的，而且冷啟動(dòng)非常非?？?。這背后的原因是什么呢？

今天我們知道高質(zhì)量數(shù)據(jù)是大模型的基礎(chǔ)，那什么公司對(duì)語言數(shù)據(jù)有廣泛的理解呢？那其實(shí)搜索公司干20年，每天都在思考怎么找到這種高質(zhì)量數(shù)據(jù)。比如說首先從1萬億個(gè)網(wǎng)頁中找到100個(gè)高質(zhì)量的網(wǎng)站，然后再做頁面分析，包括信息抽取、去重、反垃圾，甚至按段落級(jí)別來提取內(nèi)容。

這種工作，搜狗、百度和Google已經(jīng)做了很久。

第二點(diǎn)，從人才儲(chǔ)備來說，既要有算法能力，又要有以搜索能力為主的工程能力，這種人基本也在搜索公司?，F(xiàn)在字節(jié)跳動(dòng)做模型就是用的搜索的團(tuán)隊(duì)，百度的進(jìn)度也非?？?，包括沈向洋在做的模型也是Bing的VP過去做的。

做大模型還有一件事情就是評(píng)測。評(píng)測大模型好不好其實(shí)是一個(gè)痛苦的問題，包括推理的問題、精準(zhǔn)問答的問題、創(chuàng)作的問題……有的變好，有的變差，怎么評(píng)價(jià)？所以這種評(píng)價(jià)體系也是搜索公司長期積累的一個(gè)能力，用評(píng)價(jià)來帶動(dòng)后續(xù)算法的迭代。

另外創(chuàng)業(yè)公司又比大廠的組織效率要高很多，有非常且靈活的決策體系，所有效率就會(huì)得到最大化的體現(xiàn)。

張鵬：

所以當(dāng)年認(rèn)為搜索干不好大模型的那個(gè)投資人，后來你跟他聊過嗎？

王小川：

名字打上叉除名了，都不知道是誰了。這種只看商業(yè)不看技術(shù)的，還有特別喜歡美國回來創(chuàng)業(yè)的小鮮肉的，這些投資人就直接劃出來不聊了。

老王說得對(duì)：小創(chuàng)新靠大廠，大創(chuàng)新靠小廠

張鵬：

你覺得創(chuàng)業(yè)者在未來這波技術(shù)變革中會(huì)有足夠大的機(jī)會(huì)嗎？還是說主體仍然由巨頭把控？創(chuàng)業(yè)者該如何抓住屬于自己的機(jī)會(huì)？

王小川：

王慧文雖然對(duì)技術(shù)沒那么懂，但他有一句話我覺得說的特別對(duì)：小創(chuàng)新靠大廠，大創(chuàng)新靠小廠。

雖然大廠有很多人、錢、資源的優(yōu)勢，但組織壯大后反而會(huì)有很多很內(nèi)部問題，組織效率收到了嚴(yán)重限制。

如果我們堅(jiān)定認(rèn)為 AGI 的到來，那么一定會(huì)爆發(fā)出巨大的新物種。這些事情對(duì)創(chuàng)業(yè)公司來說有巨大發(fā)揮作用的機(jī)會(huì)。這個(gè)從歷史推演就能論證，所以只要有AGI，未來就有新的機(jī)遇。

中間的難點(diǎn)在哪呢？

OpenAI 是一個(gè)以研究導(dǎo)向?yàn)橹?，在現(xiàn)實(shí)世界落地產(chǎn)品的公司。你跟著它走，研究領(lǐng)域可以有非常耀眼的成就。但是今天怎么做應(yīng)用，不管是 OpenAI 還是硅谷以技術(shù)驅(qū)動(dòng)公司都還不是太擅長這個(gè)。我有自信中國在應(yīng)用落地上比美國強(qiáng)很多。

全世界都到了一個(gè)轉(zhuǎn)折點(diǎn)，現(xiàn)在技術(shù)已經(jīng)就位，這是第一個(gè)難點(diǎn)。應(yīng)用和需求方面是第二個(gè)難點(diǎn)，這一塊叫做 model service（模型服務(wù)）。所以現(xiàn)在的挑戰(zhàn)是，第一，你有模型了嗎？第二，有了模型就等于有了服務(wù)嗎？

張鵬：

兜售 API 屬于服務(wù)的范疇嗎？

王小川：

我覺得不是。

就像你有了無人駕駛的技術(shù)，但你真的就能造輛車了嗎？顯然不是。其中還需要許多技術(shù)的融合。

現(xiàn)在美國對(duì)于應(yīng)用層比較迷茫，中國現(xiàn)在的問題是模型能力不足。今天很多做模型的創(chuàng)業(yè)公司，也是把自己的視角局限在大模型上，對(duì)其它技術(shù)棧沒那么了解。

講個(gè)最簡單的例子，做模型肯定會(huì)遇到幻覺問題，時(shí)效性問題?；糜X和時(shí)效性都是光靠大模型本身能解決的。有人用擴(kuò)大參數(shù)，擴(kuò)大到萬億，十萬億來解決幻覺；或者用強(qiáng)化學(xué)習(xí)。但其實(shí)最直接的做法就是把搜索和信息檢索帶進(jìn)去。大模型和這些結(jié)合在一塊，才能形成一個(gè)更完整的技術(shù)棧。

這個(gè)技術(shù)提出后，已經(jīng)有點(diǎn)苗頭了。比如現(xiàn)在有一個(gè)叫做向量數(shù)據(jù)庫的東西，它其實(shí)就是搜索的變通，主要應(yīng)用在 toB 里面。

搜索方面，在 2018 年有了 Transformer 技術(shù)后，已經(jīng)具備了語義搜索的能力。大家可能聽過倒排索引，就是把這種符號(hào)網(wǎng)絡(luò)索引起來。

在 2018 年之后，不管是我們、百度還是字節(jié)的向量都已經(jīng)轉(zhuǎn)向了語義搜索，背后支持這種技術(shù)的是三個(gè)巨大的向量數(shù)據(jù)庫。這些技術(shù)棧和大模型結(jié)合在一起，才能讓大模型有更大的發(fā)展。大家可以看到，搜索的團(tuán)隊(duì)經(jīng)驗(yàn)對(duì)于做模型是有優(yōu)勢的。

第二個(gè)方面，現(xiàn)在大模型技術(shù)逐漸實(shí)用化。然后在所謂的知識(shí)計(jì)算中，還需要加入向量數(shù)據(jù)庫和搜索，才能形成更完整的技術(shù)和產(chǎn)品。在這個(gè)問題上，大家正在逐步形成共識(shí)。

今天來講 ChatGPT 的流量，大家開始擔(dān)心是否能夠持續(xù)爆發(fā)。

因此大家還需要更多探索。

我們認(rèn)為在娛樂行業(yè)，在人物角色扮演方面有廣闊前景，但這件事情需要中國公司進(jìn)入才能做得更好。

另外一件事是如何將大模型和搜索如何結(jié)合在一起，Perplexity AI 現(xiàn)在做得挺好，我們則處于被動(dòng)的地位，美國有機(jī)會(huì)，投資人就會(huì)找中國的對(duì)照公司。

如果這家公司，一沒有大模型，只是在調(diào)用API；二沒有搜索技術(shù)，只能依賴 Google，Bing 這些公司的技術(shù)，這樣并不理想。

張鵬：

剛才你說，ChatGPT 這類的用戶量在下滑，就是讓大家感覺新范式未必能夠一下子打穿。這是不是對(duì)創(chuàng)業(yè)者做應(yīng)用的挑戰(zhàn)很大？

因?yàn)楦鶕?jù)你剛才所講，創(chuàng)業(yè)者在一個(gè)技術(shù)不成熟的環(huán)境下，本身創(chuàng)業(yè)探索的代價(jià)就很大。而如果創(chuàng)業(yè)者只是拿別人的API做個(gè)應(yīng)用范式的變化，其實(shí)沒有特別亮眼。

王小川：

前兩天 OpenAI 剛升級(jí)了 code interpreter，然后又升級(jí)了 custom instruction。對(duì)創(chuàng)業(yè)公司來說又形成了巨大的壓力。

美國投資人也在擔(dān)心，在焦慮其中還有沒有機(jī)會(huì)創(chuàng)業(yè)公司能超過巨頭，會(huì)不會(huì)做一半就被大公司取代了。

在中國的話，我覺得走大模型路線的還沒有像OpenAI那樣有一個(gè)占據(jù)頂端的公司出現(xiàn)。現(xiàn)在還處于“百模大戰(zhàn)“的階段。今天做大模型的公司有沒有能力做應(yīng)用，這件事中國比美國有很多看點(diǎn)。

追趕GPT-4？一味追求模型代際提升很危險(xiǎn)

張鵬：

這也引發(fā)了一個(gè)問題，就是接下來中國誰會(huì)追到GPT-3.5，甚至GPT-4的水平

也有另一種聲音說GPT-3已經(jīng)足夠企業(yè)去解決一些垂直場景問題。

我感覺小川你們還是致力于去追GPT-3.5，GPT-4。這個(gè)追的過程難不難？你們?yōu)槭裁凑f一定要追到GPT-4的程度？

王小川：

我覺得這是兩個(gè)事情。

首先是技術(shù)的跨代進(jìn)步，可能對(duì)后續(xù)產(chǎn)品生態(tài)產(chǎn)生碾壓式的影響。無論從理想的角度來看，想象一個(gè)遙不可及的未來，就像戰(zhàn)斗機(jī)的三代、四代、五代一樣，在這其中每一代都可能發(fā)揮重要作用。所以在這個(gè)時(shí)候，大家應(yīng)該爭取在競爭激烈的領(lǐng)域中尋求優(yōu)勢。

但是在爭奪優(yōu)勢的過程中，大家可能會(huì)面臨新的困惑：到哪一代才能真正實(shí)現(xiàn)超級(jí)應(yīng)用？GPT-3.5在美國至今尚未形成超級(jí)應(yīng)用，訓(xùn)練一次大約需要5000萬人民幣，這還不包括前期準(zhǔn)備和實(shí)驗(yàn)之類的成本。GPT-4訓(xùn)練一次可能需要5億人民幣。到GPT-4.5代，成本可能會(huì)達(dá)5億美元。

因此，如果沒有超級(jí)應(yīng)用，單純追求技術(shù)提升也是非常危險(xiǎn)的。所以我們需要在這個(gè)領(lǐng)域同時(shí)追求第四代和第五代技術(shù)能力的提升，同時(shí)要有超級(jí)應(yīng)用。否則，我們可能會(huì)突然面臨兩個(gè)方面的升級(jí)壓力，這兩者都需要同時(shí)升級(jí)才能取得成功。

張鵬：

所以每一波型的技術(shù)里都應(yīng)該能夠誕生有價(jià)值的應(yīng)用。

王小川：

你剛才說的很對(duì)。

在B端里面GPT- 3 基本就已經(jīng)能用了，在C端沒有能用的原因我認(rèn)為還是時(shí)間太短。

加之大家把目光太過聚焦在OpenAI上，它不是一個(gè)產(chǎn)品公司，不是一個(gè)能做超級(jí)應(yīng)用的公司。

能做超級(jí)應(yīng)用不僅需要技術(shù)追趕，也要對(duì)產(chǎn)品有一個(gè)足夠的理解。這件事我覺得年底是水落石出的時(shí)候。

“小川適合做大模型”，“做了20年搜索，沒人說我適合做搜索”

張鵬：

大家有沒有可能高估了OpenAI？或者說我們認(rèn)為OpenAI很難被超越的一點(diǎn)就是因?yàn)樗袛?shù)據(jù)飛輪，你如何理解這個(gè)，數(shù)據(jù)飛輪是真實(shí)存在的嗎？

王小川：

今年年初在提數(shù)據(jù)飛輪的事情，當(dāng)時(shí)特別恐慌。用戶的請(qǐng)求給了它，它知道用戶要什么，然后就更好地去升級(jí)模型。

在目前看的話，這個(gè)問題并不嚴(yán)重。

像 Llama 2 推出之后，大家看到在微調(diào)階段，數(shù)據(jù)要精而少，而不是精而多，現(xiàn)在大家開始逐步形成共識(shí)，技術(shù)的秘密不是在飛輪里面，還是時(shí)間的技術(shù)積累。

像 Claude 的公司 Anthropic 的技術(shù)實(shí)力也漲的很快，OpenAI 遠(yuǎn)遠(yuǎn)它用戶多，這也證明了數(shù)據(jù)飛輪的概念被證偽了。

張鵬：

或者說有可能它里邊真正有價(jià)值的數(shù)據(jù)都體現(xiàn)在跟人對(duì)話的技巧上，我記得最早的時(shí)候，它的對(duì)話方式就挺“木訥”的，但現(xiàn)在就感覺更有人性。

王小川：

這個(gè)東西感覺都不多，更多還是在于它的數(shù)據(jù)集里面，不管在 Pre-training階段還是在微調(diào)階段，怎么去搞優(yōu)質(zhì)的數(shù)據(jù)？如何去配比等，這是它的核心的能力。尤其是我聽他們聊天說，一方面 GPT-4 在訓(xùn)練 GPT-3.5 ，讓 3.5 更高效的工作，同時(shí)用 GPT-4 去生產(chǎn) GPT-5 所需要的部分?jǐn)?shù)據(jù)，在做迭代過程的優(yōu)化。它的迭代在內(nèi)部是使在線服務(wù)更好，同時(shí)生成未來的部分?jǐn)?shù)據(jù)，我覺得這是是內(nèi)部的一個(gè)飛輪。

張鵬：

所以如果 從Llama 的角度去看，通過開源也有可能能夠去 deliver 一個(gè)不斷在提升技術(shù)水平的模型。但如果要從 OpenAI 的這個(gè)視角，可能在某個(gè)階段也需要有足夠的用戶和數(shù)據(jù)。

王小川：

開源的、閉源的，還有應(yīng)用，事實(shí)上今天大家都還在鋪開來做，跟現(xiàn)在美國西部一樣還在擴(kuò)張的階段。

張鵬：

所以今天對(duì)于一個(gè)創(chuàng)業(yè)公司，比如像百川，就不會(huì)輕易的只是說我只配合了某一個(gè)方向，我要保持戰(zhàn)略模糊也好，或者叫可能性的豐富也好，就這些維度可能都會(huì)下注。

王小川：

對(duì)。我這次創(chuàng)業(yè)比較有意思，很多人說小川你特別適合做大模型，我做了 20 年搜索，從來沒一個(gè)人說過小川你特別適合做搜索。

在國內(nèi)做搜索，比百度晚了3年，這種追趕是非常艱難的。而今天這個(gè)積累和經(jīng)驗(yàn)放過來一看，前面都是沒人的。原來想的很難，已經(jīng)晚了好幾年了，但今天在我看起來處處都是機(jī)會(huì)。因此只要我們有足夠多的能力，我們處處都可以在里面試，也看看今天是否能夠改變大家原搜狗的這種印象。

不要盲目崇拜，中美會(huì)有不同的 AI 故事

張鵬

小川說的這點(diǎn)我還挺有感觸的。你終于站到了一個(gè)無人區(qū)。

大模型這件事，可能很多人覺得要學(xué)習(xí)、追趕 OpenAI。但當(dāng)你真干了這件事，才會(huì)真的找到距離和路徑。

王小川：

對(duì)，不用那么崇拜。

我記得 2016 年 AlphaGo 之后，我當(dāng)時(shí)提了兩點(diǎn)，第一，如果（AI）能夠預(yù)測下一幀視頻，那就是 AGI 的到來。

但是說完之后就過了，你也沒有能力去做，動(dòng)力、能力、條件都沒有。后來說如果機(jī)器掌握語言，那么強(qiáng)人工智能也會(huì)到來?，F(xiàn)在其實(shí)已經(jīng)開始驗(yàn)證。

所以我覺得我們自己有很多想法，并不是走在后面的。只是原來各種時(shí)機(jī)、條件不成熟。這就像，一個(gè)學(xué)霸說這件事已經(jīng)可以解了，你這個(gè)學(xué)霸，也不是說一定要把作業(yè)給你抄對(duì)吧？

別人告訴你可解，甚至大的思路給你了，我覺得我們自己就會(huì)做了，不需要盯著別人的作業(yè)打小抄。

張鵬：

所以這里面你真正的樂趣不是實(shí)現(xiàn)和復(fù)刻了別人，而是在這個(gè)無人區(qū)里在探索出一些大家還沒有抓到的東西。

王小川：

是的，我覺得這次有機(jī)會(huì)在部分領(lǐng)域做到領(lǐng)先。

張鵬：

是有這種可能性的，所以中國和美國，百川和 OpenAI，可能它并不是一樣的故事。

王小川：

確實(shí)會(huì)不一樣。中美本來就不是一種制度，一種體系、文化，所以最后長出來的，不管是技術(shù)問題還是應(yīng)用問題，都會(huì)不一樣。

主要工作“和同事聊天”，百川智能剛剛突破 100 人

張鵬：

你平常的工作都怎么安排？你的時(shí)間怎么分配？很多人都說，算力重要、人才重要，但我覺得只有真正創(chuàng)業(yè)的人才知道什么東西最重要。所以我就想問問你時(shí)間花最多的地方在哪？

王小川：

我現(xiàn)在時(shí)間花最多的，是跟我們的同事聊天。

張鵬：

聊天？

王小川：

對(duì)，這聊天在過程當(dāng)中的時(shí)候，其實(shí)是一個(gè)不斷形成共識(shí)的過程，就是把大家的這種認(rèn)知、養(yǎng)分、外面信息匯聚，使大家形成同一個(gè)大腦。

因?yàn)槲覀冎繲op-Down可能會(huì)走偏。比如說這個(gè) Google 為什么沒做成？第一個(gè) Google 本部做的時(shí)候有它慣性。數(shù)據(jù)拿不到，上了線之后成本提升，沒有具體用戶收益，所以有創(chuàng)業(yè)的窘境。

Google Brain的話，它是Button-Up的。它的研究員很自由，什么都干，或者匯成一個(gè)力量，所以他們其實(shí)很多看到了大模型，但是沒法集中一塊做，力量是分散的。那Deepmind是自頂向下的，公司要求做什么，大家做什么。它做了AlphaGo，AlphaZero，AlphaFold，現(xiàn)在開始走向了氫能源、核聚變、量子計(jì)算，但是離大部分已經(jīng)遠(yuǎn)了。

在今天其實(shí)Top-Down、Button-Up做起來叫上下同欲，使大家從這種理想上到技術(shù)上、認(rèn)知上充分地對(duì)齊，變成一個(gè)事兒。所以我認(rèn)為跟大家更多日常的交流，會(huì)使這個(gè)大家變成一個(gè)大腦，這是我最重要的工作。

張鵬：

嗯，有意思。所以一個(gè)小的團(tuán)隊(duì)去發(fā)揮它最大的能量，反而是所有人能夠同喜同悲、同欲同求 。

王小川：

這很重要，今天也不講組織管理了，就是大家變成像一個(gè)人做。百川現(xiàn)在是 100 人，昨天剛到 100 人。

信心的變化，百川的進(jìn)度比想象中更快

張鵬：

過去幾個(gè)月，投身大模型，你的熱情沒有變化，但是信心有變化嗎？跟你一開始的預(yù)期相比，是更難了？還是符合你的預(yù)期？

王小川：

如果講真話，發(fā)自內(nèi)心的，我覺得比我想得更簡單。

預(yù)期就是，一開始都知道很多（困難），國外好幾年的積累，算力、服務(wù)器……但是當(dāng)你和同事在一起工作的時(shí)候，當(dāng)大家在共創(chuàng)的時(shí)候，我們實(shí)際的進(jìn)度、節(jié)奏都比預(yù)期要快。

原來我們預(yù)計(jì)是 Q3 發(fā)一個(gè) 500 億的模型，然后 Q4 發(fā)布一個(gè) 1750億的。

但事實(shí)上，這些東西不會(huì)變，但過程中，應(yīng)用的進(jìn)展速度，模型開源的速度，都比預(yù)期快很多。

而且也更快地，今天我們可以開始說，不只是在國內(nèi)做到最好，我在國際舞臺(tái)上開源。

開源很簡單，大家可以拿著自己用的，這不是你自己吹牛吹出來的。開完之后，我們有信心能在國際舞臺(tái)上拿到非常好的位置。

張鵬：

所以跳到水里之前是不知道深淺的焦慮，真跳進(jìn)去了，發(fā)現(xiàn)其實(shí)能踩到底了，就踏實(shí)了很多？這件事真的這么簡單嗎？

王小川：

分人。

我是一個(gè)做事還比較謹(jǐn)慎的，我當(dāng)時(shí)還在看，然后我們的聯(lián)創(chuàng)一腳把我踹進(jìn)去，說開始干。然后我說好吧，宣布下場開始干。否則還可能更晚，才會(huì)覺得自己準(zhǔn)備 ready 了。但一旦下場之后，會(huì)發(fā)現(xiàn)比自己想的時(shí)候，會(huì)跑得更快一些。

狂熱之后，最近關(guān)注的技術(shù)進(jìn)展

張鵬：

你最近在關(guān)注大模型的那些技術(shù)進(jìn)展？有哪些 paper 是讓你感到比較興奮的東西？

王小川：

第一，光看論文，今天其實(shí)已經(jīng)不重要的。你看不完的。

基礎(chǔ)就那些東西。而且今天 OpenAI 已經(jīng)不把好論文發(fā)出來了。發(fā)出來的都是信息量不大的論文，收獲是有限的。

同時(shí)大家因?yàn)橹斑M(jìn)入狂熱（狀態(tài)），我們叫「度日如年」，每天過得更（技術(shù)進(jìn)步）一年似的。

張鵬：

度日如年是因?yàn)樗艿每臁?/p>

王小川：

對(duì)，不是枯燥。每天都太多新鮮事了。大家神經(jīng)已經(jīng)刺激到了一個(gè)高點(diǎn)，有一點(diǎn)疲軟的狀態(tài)。

說回來，最近有幾個(gè)技術(shù)進(jìn)展，我覺得非常厲害的。

一個(gè)是，大概一周多前，OpenAI 推出了 code interpreter，這是重大的一個(gè)突破，但在國內(nèi)好像沒有形成新一輪的媒體狂潮。

之前的狂潮大家已經(jīng)享受過了，這次的進(jìn)度，code interpreter，我覺得是媒體沒有當(dāng)量地去正視它報(bào)道它。

以及昨天的一個(gè)小升級(jí)，定制自己的 instruction。

代表了它從模型 LLM，開始走向 Agents。

里面會(huì)描述說「我是誰，我有什么特點(diǎn)」，你這個(gè)大模型會(huì)扮演一個(gè)怎樣的角色，有什么特點(diǎn)？形成這樣一個(gè)關(guān)系，是從模型是不是 Agent（角度來看的）。

這兩個(gè)領(lǐng)域，是今天大家關(guān)注報(bào)道不夠的。

創(chuàng)業(yè)的決定，終于等到「適合小川」的無人區(qū)

張鵬：

最后一個(gè)問題，你剛剛提到，你是被「踹」到這個(gè)創(chuàng)業(yè)的局里。我也知道你很早就是AI的狂熱分子，從 AlphaGo 的時(shí)候就是。

最終下決心，成為一個(gè) AGI 領(lǐng)域、大模型領(lǐng)域的創(chuàng)業(yè)者，老王（慧文）也好，中國這波浪潮也好，他們對(duì)你的決策產(chǎn)生了怎樣的影響？經(jīng)歷了這樣一個(gè)過程，你內(nèi)心發(fā)生了怎樣的變化？

王小川：

心路歷程其實(shí)挺長的。

在搜狗的時(shí)候，到后期。第一，錯(cuò)失了推薦引擎，也跟騰訊做了戰(zhàn)略結(jié)盟，在這種情況下，沒有新的技術(shù)突破的話，發(fā)展上是非常受限的。當(dāng)時(shí)把搜狗并給騰訊的時(shí)候，我在挑戰(zhàn)一個(gè)更有意思的事，就是把生命變成數(shù)學(xué)模型。就像我們說，牛頓是把物理變成數(shù)學(xué)模型。

之前在極客公園的平臺(tái)上，我都在講向生命學(xué)習(xí)。

生命是什么？這是我思考了20年的一件事。

怎么把生命變成數(shù)學(xué)模型？這是我關(guān)心的。甚至在研究中醫(yī)，怎么把生命變成數(shù)學(xué)模型，（后來）發(fā)現(xiàn)這條路不一定是能走通的。

怎么在科學(xué)范式里，對(duì)醫(yī)學(xué)有新的突破，這是我特別感興趣的事情。我讀醫(yī)學(xué)的論文比我讀計(jì)算機(jī)的論文多得多，我讀了上千篇醫(yī)學(xué)論文。

21年發(fā)生了什么事呢？21年的時(shí)候大模型已經(jīng)開始有一些機(jī)會(huì)。那時(shí)候我們做了百億模型，來解決搜索變問答的問題。

其實(shí)之前做輸入法，就已經(jīng)在搞「預(yù)測下一個(gè)詞想說什么」，然后怎么改寫，搜索是變成問答。其實(shí)有摸到那個(gè)門，但是那時(shí)候技術(shù)是沒有突破的。

所以你知道把生命變成數(shù)學(xué)模型，我是很感興趣的，所以大模型這波到來之后，我第一想法不是做大模型，我想說，是不是今天可以在生命領(lǐng)域做個(gè)Health ChatGPT？健康的 GPT，一個(gè)數(shù)字醫(yī)生？

張鵬：

你在從應(yīng)用的、解決問題的角度思考。

王小川：

對(duì)，在思考這個(gè)問題。然后又想，如果你今天做一個(gè)垂直模型，它可能會(huì)被大模型干掉。通用智能會(huì)干掉專有智能，對(duì)吧？

但是這種情況下，我們發(fā)現(xiàn)，如果只做一種 HealthGPT，或者只做一個(gè)數(shù)字醫(yī)生，這是不夠的。

最后就說，還是要做大的模型。

（下場做大模型的決定）是轉(zhuǎn)了這么一圈轉(zhuǎn)回來的，并不是覺得之前自己有積累之類的。

但是做大模型，發(fā)現(xiàn)其實(shí)（之前的積累）是挺相關(guān)的，比如語言相關(guān)的處理。

甚至極端一點(diǎn)說，ChatGPT 第三個(gè)把語言模型做成超級(jí)應(yīng)用。前兩個(gè)，一個(gè)搜索，一個(gè)輸入法。

張鵬：

感覺你不把這個(gè)也干了，對(duì)不起之前干的那兩個(gè)。

王小川：

對(duì)，所以發(fā)現(xiàn)之前的積累在今天確實(shí)用得上，這是之前沒想到的。

因此我很感慨，老天對(duì)你很好，給了你一個(gè)機(jī)會(huì)。在搜索畫句號(hào)的時(shí)候，還有一次機(jī)會(huì)，把以前的經(jīng)驗(yàn)用來做一件原來做不到的事。

現(xiàn)在說，大家沒人說過「小川適合做搜索」，但都說「百川適合做大模型」，對(duì)我來講，是一件非常幸運(yùn)的事。

張鵬：

這是你當(dāng)初決定要做的原因。

現(xiàn)在幾個(gè)月下來，大家可能會(huì)覺得這件事很難，OpenAI都沒能變成一個(gè)超級(jí)賺錢的公司，硅谷很多人都質(zhì)疑它的商業(yè)模式。所以大模型對(duì)創(chuàng)業(yè)者會(huì)有這方面的壓力，你感受到這個(gè)壓力了嗎？

王小川：

我都是很亢奮的。

因?yàn)橐郧岸际窃诎俣鹊年幱跋鹿ぷ?，現(xiàn)在是無人區(qū)，這件事對(duì)我來講正好是我想做的事，而不是說前面有個(gè)領(lǐng)導(dǎo)者在里面，然后你跟著追。對(duì)我來說，這是我喜歡的，一個(gè)新的探索。

張鵬：

特別感謝小川今天給我們做了走心的分享，也恭喜你終于迎來了屬于你的無人區(qū)，希望在這里能看到更美的風(fēng)景，掌聲獻(xiàn)給小川，加油！