阿里云優(yōu)惠券 先領(lǐng)券再下單

文|智能相對論

作者| 葉一城

野火燎原，openAI搞出的chatGPT大有當(dāng)年alphaGo的架勢，攪動整個AI業(yè)界春心蕩漾。

從openAI的大金主微軟，到昔日明星alphaGo的爸爸Google，都火急火燎地要出來表態(tài)——前者要彰顯主權(quán)并在內(nèi)部全面應(yīng)用，后者作為全球AI領(lǐng)頭羊怎么能失了對稱的地位，要發(fā)布對應(yīng)的產(chǎn)品。

國內(nèi)科技圈自然也發(fā)揚(yáng)了聞風(fēng)而動的優(yōu)良品格，在元宇宙概念疲軟后，有關(guān)的沒關(guān)的都紛紛貼上來。股市上各種妖魔鬼怪橫行，對于上漲，某些董秘的回復(fù)中，否定或許還帶著撿漏的竊喜。

而“AI大戶”百度在宣布發(fā)布類似的產(chǎn)品“文心一言”后，股價也立刻上漲。

股民們冤不冤？這次可能不太冤，因?yàn)榫?ldquo;中國版ChatGPT”而言，不管騰訊、阿里怎么站位的，某種程度上百度確實(shí)最有技術(shù)資格，也最能從ChatGPT的落地應(yīng)用中獲得現(xiàn)實(shí)的商業(yè)價值。

判斷誰能在技術(shù)的風(fēng)口上占便宜，第一步永遠(yuǎn)是先看技術(shù)的本質(zhì)。

ChatGPT從產(chǎn)品形態(tài)上，是“一個使用自然語言處理技術(shù)實(shí)現(xiàn)和人類互動對話的產(chǎn)品”，而其內(nèi)在本質(zhì)，就是一個預(yù)訓(xùn)練大模型。所謂“大”，就是在巨量到一般人無法想象的數(shù)據(jù)訓(xùn)練下?lián)碛旋嫶蟮膮?shù)規(guī)模，因?yàn)?ldquo;大”而見識多，博學(xué)多才，任何領(lǐng)域都懂，只要稍微調(diào)教一下就能出產(chǎn)特定場景的應(yīng)用。

ChatGPT并不是一次性發(fā)展而來的，其屬于openAI的一系列預(yù)訓(xùn)練模型，所謂GPT，即Generative Pre-Trained Transformer，就是通過Transformer為基礎(chǔ)模型，使用預(yù)訓(xùn)練技術(shù)得到通用的文本模型。從已經(jīng)公布的論文看，從2018年起，GPT家族已經(jīng)先后擁有GPT-1，GPT-2，GPT-3，以及圖像預(yù)訓(xùn)練iGPT等模型，而目前火得一塌糊涂的ChatGPT，更像是一個GPT-4之前的過渡版本GPT-3.5，因?yàn)閺?qiáng)大的對話能力突然爆火起來。

不同的是，ChatGPT采用了新的指示學(xué)習(xí)（Instruction Learning）和人工反饋的強(qiáng)化學(xué)習(xí)（Reinforcement Learning from Human Feedback，RLHF）來指導(dǎo)模型的訓(xùn)練，前者為ChatGPT帶來理解能力，后者通過人工標(biāo)注反饋的方式來增強(qiáng)模型的效果，實(shí)現(xiàn)GPT的進(jìn)化。

在一系列進(jìn)化下，ChatGPT的參數(shù)總量與GPT-3一致，達(dá)到了1750億，實(shí)現(xiàn)了從GPT-2的15億的跳躍。

說到底，ChatGPT就是一個積累已久、有著特殊訓(xùn)練方式的大模型，它的發(fā)展是有技術(shù)進(jìn)化路線的。

而“巧合”的是，百度大力投入的產(chǎn)業(yè)級知識增強(qiáng)文心大模型ERNIE，具備跨模態(tài)、跨語言的深度語義理解與生成能力，其技術(shù)演進(jìn)幾乎走出了同樣的進(jìn)程。

早在2019年3月，百度就做出了文心 ERNIE 1.0，這一技術(shù)創(chuàng)新與“同類”GPT-1、BERT的差距都只有幾個月，而且百度積累的大規(guī)模知識和海量多元數(shù)據(jù)，讓文心得以快速發(fā)展——搜索業(yè)務(wù)給大模型所需要的龐大數(shù)據(jù)訓(xùn)練量帶來了天然的便利。

例如，在文心的發(fā)展過程中，2021年，ERNIE 3.0大模型即擁有千億參數(shù)；與超強(qiáng)算力方聯(lián)合的鵬城-百度·文心作為一款融合了自然語言理解和自然語言生成的大模型，其參數(shù)量達(dá)到了2600億，相對GPT-3和ChatGPT提升了50%。

去年9月，百度CEO李彥宏判斷人工智能發(fā)展在“技術(shù)層面和商業(yè)應(yīng)用層面，都有方向性改變”。據(jù)推測，百度那時候就開始做文心一言。

除了參數(shù)規(guī)模擴(kuò)大、能力增強(qiáng)，文心與ChatGPT一樣，也在適應(yīng)不同需要進(jìn)行技術(shù)進(jìn)化。目前文心大模型總量已經(jīng)有36個，以其中的知識增強(qiáng)輕量級大模型ERNIE 3.0 Tiny為例，該模型能夠通過多任務(wù)知識蒸餾手段將千億多任務(wù)大模型的所學(xué)遷移至輕量級模型中，訓(xùn)練了10億級、億級、千萬級不同體量大小的輕量級大模型，實(shí)現(xiàn)了優(yōu)秀的泛化能力。

回過頭來看，百度在技術(shù)上一直在做與GPT相同的事，但是晦澀的技術(shù)決定了它始終缺乏足夠的曝光度，直到大洋彼岸的ChatGPT突然搞出了“大新聞”，舉起了旗幟，于是，這就成了百度彰顯自身技術(shù)能力的契機(jī)。

從GPT-3到ChatGPT，與從“文心”到“文心一言”（英文名ERNIE Bot）的命名方式，也“驚人巧合”——原本就是一樣的技術(shù)迭代過程罷了，百度之所以3月就能馬上做出來，甚至按目前的節(jié)奏內(nèi)測還可能提前，原因就在于ChatGPT要的那些技術(shù)百度都有，產(chǎn)品上再加入對話算法等，很快就能對齊。

至少在NLP領(lǐng)域，目前國內(nèi)還沒用企業(yè)能夠看齊百度。

而在現(xiàn)實(shí)價值方面，實(shí)際上ChatGPT做的各種對話、各種輔助功能，都與百度的業(yè)務(wù)線較為契合，無論是內(nèi)部的搜索+信息流，還是對外提供的諸如智慧城市等B端解決方案中，都能得到很好的利用。

尤其是，AI與搜索的契合一直是百度近些年的努力方向，以傳統(tǒng)精確搜索為主、“文心一言”的工具型搜索為輔的方式，也更符合未來搜索的形態(tài)。

當(dāng)然，其他輔助的，比如芯片（算力相關(guān)）、開發(fā)框架（飛槳），百度也都有成熟的“基建配套”了，

不過，百度面臨的問題還是那個老生常談的話題：能不能持續(xù)投入下去，等待真正的商業(yè)價值回報？畢竟，ChatGPT吹得再響，現(xiàn)實(shí)的問題肯定少不了，得有一個成熟的過程。

說白了，在沒有進(jìn)入強(qiáng)人工智能時代，ChatGPT再厲害其本質(zhì)也只是“小孩學(xué)舌”，學(xué)得更多當(dāng)然就更像，但也只是“知其然不知其所以然”。

這不是說小孩學(xué)舌就沒有用，能夠?qū)W起來很像、能解決一些問題，價值也很大。只不過，帶過孩子的都知道，小孩學(xué)舌在面臨認(rèn)知問題時，會出現(xiàn)很多邏輯尷尬。

目前ChatGPT在一些對話上就出現(xiàn)了這個問題，例如解一道簡單的數(shù)學(xué)題，能給你扯一大堆，但結(jié)果就是不對。又例如很多專業(yè)領(lǐng)域的會話，和官樣文章一樣看似內(nèi)容很多、邏輯嚴(yán)密，但就是言之無物。

一些程序界大佬驚呼ChatGPT的健壯性遠(yuǎn)超人類，要開除外包程序員，實(shí)際危言聳聽。所謂健壯性無非就是設(shè)定規(guī)則的執(zhí)行，就像數(shù)數(shù)，人從0數(shù)到300，肯定容易出錯，機(jī)器數(shù)，當(dāng)然就不會出錯，沒啥好驚奇的。

無論如何，ChatGPT還有一些路要走，最有資格也最能得益的百度，在風(fēng)潮面前仍然要咬牙繼續(xù)堅持才好，這其中的投入或許會更大。

*本文圖片均來源于網(wǎng)絡(luò)

此內(nèi)容為【智能相對論】原創(chuàng)，

僅代表個人觀點(diǎn)，未經(jīng)授權(quán)，任何人不得以任何方式使用，包括轉(zhuǎn)載、摘編、復(fù)制或建立鏡像。

部分圖片來自網(wǎng)絡(luò)，且未核實(shí)版權(quán)歸屬，不作為商業(yè)用途，如有侵犯，請作者與我們聯(lián)系。

•AI產(chǎn)業(yè)新媒體;

•澎湃新聞科技榜單月度top5;

•文章長期“霸占”鈦媒體熱門文章排行榜TOP10;

•著有《人工智能 十萬個為什么》

•【重點(diǎn)關(guān)注領(lǐng)域】智能家電（含白電、黑電、智能手機(jī)、無人機(jī)等AIoT設(shè)備）、智能駕駛、AI+醫(yī)療、機(jī)器人、物聯(lián)網(wǎng)、AI+金融、AI+教育、AR/VR、云計算、開發(fā)者以及背后的芯片、算法等。

申請創(chuàng)業(yè)報道，分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處，共同探討創(chuàng)業(yè)新機(jī)遇！