李星

CERNET網(wǎng)絡(luò)中心副主任、清華大學(xué)教授

　　對于人工智能領(lǐng)域來說，ChatGPT是一個嶄新的起點。雖然它給出的內(nèi)容對錯參半，但是它可以幫助我們拓寬思路，給予我們新的靈感。ChatGPT的成功無疑是巨大的，那么它為什么成功，我們能從中學(xué)到點什么，理解出什么，都值得進(jìn)一步分析。

　　ChatGPT的理論基礎(chǔ)與“無限猴子定理”

　　ChatGPT是一個大語言模型(Large Language Model)。一般來說，語言模型有兩種，分別是next token prediction和masked language modeling。Next token prediction指單向推導(dǎo)，即知道最前面的話，一步步推導(dǎo)出后面的話，每次推導(dǎo)時都找最有道理的一個字，從而遞歸串出一整句話。另一種則是先確定開頭結(jié)尾的內(nèi)容，據(jù)此去推測中間的內(nèi)容。

　　有一個定理叫做“無限猴子定理”，而ChatGPT可以說就是一只升級版的、講邏輯、懂道理的猴子。

　　“無限猴子定理”認(rèn)為，讓一只猴子在打字機上隨機地按鍵，當(dāng)按鍵時間達(dá)到無窮時，猴子幾乎必然能夠打出任何給定的文字，比如莎士比亞的全套著作，也曾有人用電腦虛擬的猴子來模擬執(zhí)行這一定理。2004年8月4日，電腦模擬的猴子在經(jīng)過4.21625×10^28個猴年之后，打出了以下內(nèi)容“VALENTINE.Ceasetoldor:eFLPOFRjWK78aXzVOw- m)-;8t......”而這胡亂敲打出的前十六個字母，正屬于莎士比亞的劇作《維洛那二紳士》的第一行：VALENTINE: Cease to persuade, my loving Proteus.

　　如果說猴子的選擇來自于純粹的巧合、運氣與概率，那么ChatGPT的選擇則是基于模型運算，把大概率有用的字詞留下，無用的字詞撇去，從而得到一句符合人類邏輯的話。

　　沒有試錯就沒有ChatGPT

　　人工智能的發(fā)展歷程大概可分為三個階段。1950年圖靈最早提出了人工智能的概念，他在論文中直截了當(dāng)?shù)靥釂?，“機器是否可能具有人類智能?”開創(chuàng)了人工智能領(lǐng)域的先河。

　　1997年，IBM的超級計算機“深藍(lán)”(Deep Blue)以2勝1負(fù)3平的成績戰(zhàn)勝了當(dāng)時世界排名第一的國際象棋大師加里·卡斯帕羅夫，一時間轟動全球。但是，“深藍(lán)”還算不上足夠智能，因為它的算法核心是暴力搜索，換言之，它每走一步，都是在窮舉后續(xù)所有可能的情況下再做出決策。再后來，機器學(xué)習(xí)算法如雨后春筍般涌現(xiàn)，包括線性回歸法、邏輯回歸法、決策樹法、隨機森林法、最近鄰居法、貝葉斯法、支持向量機法、 k 平均法、強化學(xué)習(xí)法等，每一個新算法都是對舊算法的改進(jìn)與提升。

艾倫·圖靈與其論文

深藍(lán)打敗象棋大師加里·卡斯帕羅夫

機器學(xué)習(xí)的常見方法

　　最簡單的方法是線性回歸，如果對數(shù)據(jù)進(jìn)行線性回歸后發(fā)現(xiàn)依然有問題，那就在此基礎(chǔ)上做邏輯回歸；但選項也可能不止A、B兩種，此時我們就構(gòu)造決策樹呈現(xiàn)出多種選擇；但決策樹是一門走過去，如果決策錯了怎么辦?于是就出現(xiàn)了隨機森林算法，用多棵隨機生成的決策樹來生成最后的輸出結(jié)果。

　　所以說每一個理論、算法都是研究人員在前人的基礎(chǔ)上探索、摸索而來，是一代代人不斷在已有的基礎(chǔ)上創(chuàng)新、更新，思考下一步如何做得更好，而非一開始就設(shè)計、錨定了最終結(jié)果。

　　機器學(xué)習(xí)中主要有三類學(xué)習(xí)的方式，分別是監(jiān)督式學(xué)習(xí)、非監(jiān)督式學(xué)習(xí)和強化學(xué)習(xí)。監(jiān)督學(xué)習(xí)是從外部監(jiān)督者提供的帶標(biāo)注訓(xùn)練集中進(jìn)行學(xué)習(xí)(任務(wù)驅(qū)動型)。非監(jiān)督學(xué)習(xí)則是一個典型的尋找未標(biāo)注數(shù)據(jù)中隱含結(jié)構(gòu)的過程(數(shù)據(jù)驅(qū)動型)。強化學(xué)習(xí)則會告訴模型自身好不好，給予模型更大的探索自由，從而突破監(jiān)督學(xué)習(xí)的天花板。

　　三者之間也是漸進(jìn)式前進(jìn)的關(guān)系，為了應(yīng)對更多問題，人們總是基于一個已有的方法，想方設(shè)法找出一個更一般性的方法進(jìn)行超越，超越完成后自然進(jìn)入下一個階段。

　　隨著數(shù)據(jù)量的增加，傳統(tǒng)的機器學(xué)習(xí)方法表現(xiàn)得不盡人意。在監(jiān)督式學(xué)習(xí)下就出現(xiàn)了一個嶄新的分支——深度學(xué)習(xí)。深度學(xué)習(xí)的基礎(chǔ)是神經(jīng)網(wǎng)絡(luò)，即通過模擬人的神經(jīng)元系統(tǒng)做出判斷。神經(jīng)網(wǎng)絡(luò)有輸入層、輸出層和隱藏層，輸入通過非線性函數(shù)的加權(quán)后得到了最終的輸出，而我們要做的就是根據(jù)誤差準(zhǔn)則調(diào)整權(quán)重參數(shù)，不需要，也不可能完全知道這些參數(shù)選擇的具體原因。

神經(jīng)網(wǎng)絡(luò)模型示意圖

　　什么叫深度學(xué)習(xí)?神經(jīng)網(wǎng)絡(luò)的層數(shù)直接決定了它對現(xiàn)實的刻畫能力，但是原來隱含層只有一層，對稍微復(fù)雜一些的函數(shù)都無能為力。為此，就可以多加一些隱含層，深度學(xué)習(xí)由此誕生。早期的深度學(xué)習(xí)又有兩個常用的方法，即卷積神經(jīng)網(wǎng)絡(luò)(CNN)與循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)，前者專門解決圖像問題，最大利用圖像的局部信息，將局部特征拼接起來，從而得到整幅圖的特征，類似于通過拼圖來還原圖像；后者則專門解決時間序列問題，用來提取時間序列信息，其最重要的特征是具有時間“記憶”的能力，就像人只有記住前面的對話內(nèi)容，才能決定之后該說什么一樣。

　　此外，生成模型也是深度學(xué)習(xí)領(lǐng)域內(nèi)較為重要的一類模型。生成對抗網(wǎng)絡(luò)(GAN)是一種讓兩個神經(jīng)網(wǎng)絡(luò)相互博弈從而完成學(xué)習(xí)的生成模型，其由一個生成器和一個判別器組成。比如說，生成器生成了一只虛擬狗，判別器需要將其與真實世界中的狗作對比，并判斷虛擬狗是否“過關(guān)”，生成器和判別器相互對抗、不斷學(xué)習(xí)，最終目的是使虛擬狗無限接近于真實的狗，讓它通過判別器的檢驗。

　　自此，三大模型流派形成—— CNN，RNN和GAN，語言模型屬于RNN模型之流。但RNN模型依舊有其缺陷，對于相隔越久的信息，它的記憶力就越差，那么對于過去很久但有用的信息，它就很容易遺漏。為了提高RNN的記憶力，人們又開發(fā)了Self-attention自注意力模型，運用抓大放小的思想，不管重要的東西在哪，都更注重對它的加權(quán)，強化對它的注意力，讓模型牢牢將其印入“腦海”。

　　在上述各類模型的基礎(chǔ)上，ChatGPT的核心結(jié)構(gòu)——Transformer模型橫空出世，中文翻譯也很恰切，譯為變形金剛。

　　那什么是變形金剛?簡單來說，它就像是一個黑盒子，在做文本翻譯任務(wù)時，我們輸入一個中文，經(jīng)過這個黑盒子，就得到了翻譯后的英文。

　　如果我們探秘黑盒中的內(nèi)容，可以看到黑盒由若干個編碼器(Encoder)和解碼器(Decoder)組成，同時盒子里還具備并行(Multi-headed)和自注意力(Self-attention)機制，自注意力機制負(fù)責(zé)挑選出重要的有用的信息，并行機制則負(fù)責(zé)對這些信息進(jìn)行并發(fā)處理，有了這兩大特性，變形金剛也就可以同成千上萬人同時對話，奠定了商業(yè)化的基礎(chǔ)與可能。

　　回溯人工智能的歷史，可以發(fā)現(xiàn)模型的成功歸根結(jié)底來源于試錯。一開始是簡單的人工神經(jīng)網(wǎng)絡(luò)，后來是卷積神經(jīng)網(wǎng)絡(luò)、遞歸神經(jīng)網(wǎng)絡(luò)，每一步都使我們對模型的理解愈發(fā)深入。而在用其解決問題的過程中，一旦發(fā)現(xiàn)現(xiàn)有方法的不足，研究人員就會想方設(shè)法在原有基礎(chǔ)上改進(jìn)，從而開發(fā)出新的模型。

　　雖然我們看到了成功的CNN、RNN模型，但在我們的視野之外，可能還會有別的模型沉寂于歷史長河中。但是，看不到不意味著不重要。如果沒有那些失敗的嘗試幫助我們排除了錯誤的技術(shù)路線，就不會有CNN、RNN的成功，變形金剛的成功和ChatGPT的出現(xiàn)更無從談起。

　　所以創(chuàng)新、創(chuàng)造都是在不斷試錯、迭代中出現(xiàn)，不可能預(yù)先設(shè)計好路線，一蹴而就。因此，若想有創(chuàng)新，就必須有配套機制，允許科研人員大量試錯，盡快改進(jìn)。只要有成熟的機制，能快速迭代、改進(jìn)，科研人員就不怕犯錯，不怕冒險，不怕沒有成果，也就不怕再接再厲、不停嘗試。因此，要鼓勵大膽思考，大膽試驗，即便失敗了也要表揚、肯定。否則就會形成“喪事當(dāng)喜事辦的壞習(xí)慣”，創(chuàng)新也就沒戲唱。

　　創(chuàng)新與機制密不可分 失敗也是創(chuàng)新成功的基礎(chǔ)

　　ChatGPT是初創(chuàng)公司的產(chǎn)物，不是大公司，更不是國企，這其中有一定的必然性。大公司激勵機制的依據(jù)是職工的KPI，但小公司是創(chuàng)業(yè)公司，一旦做出了大的成果，公司就可以上市或者收到巨大的市場效益，這種激勵舉足輕重。如果激勵機制不合適，比如所有人都是低工資，那么人們的積極性就會降低;所有人都是高工資，也無法激發(fā)進(jìn)取心與積極性。只有科研人員的投入、興趣與其回報成正比才能激勵人們?nèi)σ愿啊?/p>

　　德國、日本的工業(yè)很發(fā)達(dá)，但是德國、日本的創(chuàng)新程度依舊不及美國，這是因為它們的激勵機制不同。美國的產(chǎn)業(yè)是高度市場化的，資金籌集來自于風(fēng)險投資，而德國、日本依舊依靠大銀行資助。

　　真正的顛覆性的創(chuàng)新，一定來自于市場驅(qū)動的機制。風(fēng)險投資一百個公司，可能九十幾個都失敗了，成功的只有一兩個，但只要有一個成功了，回報就是成千上百倍的。雖然德國、日本也可以做一些輔助性的創(chuàng)新，但是它們的創(chuàng)造很難具有完全的革命性，因為在它們的激勵機制下，投資方對成果、回報有要求，創(chuàng)造者就要為錯誤負(fù)責(zé)，那么人們就會害怕犯錯，小心翼翼不敢輕舉妄動，只敢在“安全區(qū)”內(nèi)做一些小成果。而這也再次證明，創(chuàng)新是一種可能，帶有必然的風(fēng)險，如果要求資金投入一定有相應(yīng)成果，那么一定會扼殺創(chuàng)新的空間。

　　此外，很多人沒有意識到的是，當(dāng)我們發(fā)現(xiàn)一個東西錯了，錯誤本身就是一個非常大的成果，雖然投入的成本泡湯了，但是這個路子不用蹚了，錯誤選擇被排除了，那么我們離最終的成功一定是更近了。

　　我曾有個機會去美國國家科學(xué)基金會(NSF)，那里的人給我看了他們之前資助過的項目，其中一些項目好像還有些道理，但是有的看上去就天馬行空，似乎是胡說八道。他們卻表示，美國NSF資助的項目只會成功不會失敗，這是為什么呢?

　　NSF的人給出了兩條解釋：第一，真正的創(chuàng)新項目可能看上去就是胡說八道，如果都是自圓其說、在我們理解范圍內(nèi)的東西，那就說明還不夠新，所以我們必須要容忍看上去胡說八道或不靠譜的項目，說不定它們就是大成果的孵化器；第二，此類項目一般是由教授和他們指導(dǎo)的研究生去承擔(dān)。實際上，一個研究生完成了一個失敗項目，他本人的收獲和對于社會進(jìn)步的貢獻(xiàn)一定比做一個成功的項目更大。而且在美國，即使項目沒有正向成果，對失敗原因進(jìn)行有效總結(jié)后也可以拿到學(xué)位。

　　這兩條解釋可以說意味深長、引人深思，尤其是第二條。第二條正是在說明，我們必須要允許人失敗、犯錯，因為犯錯之后，就會收獲相應(yīng)的教訓(xùn)、經(jīng)驗，將來就不會再犯相同的錯誤，后來者也不會再犯同樣的錯誤，因此犯錯也是一種貢獻(xiàn)，甚至可能比成功的貢獻(xiàn)更大。創(chuàng)新正是在千千萬萬次嘗試與犯錯后修正路線、逼近成功，這是個人成長和創(chuàng)新出現(xiàn)的必然且科學(xué)的過程，這也是為什么我們必須要有允許犯錯的體制機制。

　　ChatGPT后，教育何為?

　　ChatGPT可以把海量的信息和數(shù)據(jù)匯集起來，非常全面，在這一層面上，人類難以望其項背。既然ChatGPT能回答各式各樣稀奇古怪、刁鉆、偏僻的問題，那我們就要思考，人的價值是什么?如果我們的教育最終讓人回答出了與ChatGPT同樣的答案，那么教育還有何意義?如果要我回答，教育的價值就應(yīng)當(dāng)是培養(yǎng)學(xué)生想出不同于ChatGPT的答案的能力，未來教育的目標(biāo)也應(yīng)當(dāng)如此。

　　因此，未來的教育，應(yīng)當(dāng)注意培養(yǎng)批判性思維、邏輯能力，并且允許年輕人暢所欲言、自由思想，再給予他們充分的試錯空間。

　　首先，要培養(yǎng)孩子的批判性思維。有些國家對孩子的教育是，誰說的話都可以被挑戰(zhàn)、質(zhì)疑。而且孩子必須講不同于老師的話，而不是對老師的觀點全盤接受、信以為真。在這種教育理念下，孩子們更傾向于擁有自己的判斷，相信自己的判斷，勇于質(zhì)疑。

　　其次，要培養(yǎng)孩子們的邏輯能力，ChatGPT的回答基本符合人類邏輯，一言一語都有因果關(guān)聯(lián)，都是由前推后、由此及彼，所以它的回答有意義，也能解決我們提出的問題。而我們培養(yǎng)孩子的思考能力、邏輯能力，就是培養(yǎng)他們真正解決現(xiàn)實問題的能力。

　　第三，要有探索的空間，否則無法創(chuàng)新。為什么 ChatGPT 由初創(chuàng)公司而非大公司創(chuàng)造而成?除激勵機制外，還因為社會對它們的容忍度更高，所以初創(chuàng)公司的自由度更高，即便發(fā)表了錯誤、出格的內(nèi)容大家也并不在意。但對于微軟、谷歌等大公司來說，“小心駛得萬年船”才是值得恪守的原則，萬一出現(xiàn)錯誤，就難免對名譽造成巨大影響，公司效益也會因而受損。因此，做 AI、 前沿科技的一定是小公司，小公司的自由度更高，不怕犯錯，探索空間就更大，而這也證明只有言論自由、思想自由后，探索才能自由，探索自由后，創(chuàng)新才能生根發(fā)芽。

　　未來教育的目標(biāo)

　　未來教育的目標(biāo)是，年輕人會提出正確的問題，并且判斷答案是否合理，中間的過程就是人和機器的交互，讓機器、人工智能幫助我們?nèi)ネ瓿珊芏喙ぷ?。但這并不代表人與人之間無需再有交流，相反，人和人的交互依然需要，而且更加重要。

　　知名組織理論家羅素·艾可夫曾提出由數(shù)據(jù)、信息、知識、智慧組成的知識金字塔。在知識金字塔中，每一層都比下一層多擁有一些特質(zhì)。數(shù)據(jù)來源于我們的原始觀察與度量，信息來源于我們對數(shù)據(jù)的篩選、整理與分析，知識則來源于我們對信息的加工、提取與評價，而智慧作為我們獨有的能力，意味著我們可以收集、加工、應(yīng)用、傳播知識，以及預(yù)測事物的發(fā)展與未來走向。

　　ChatGPT之后，甚至在其出現(xiàn)以前，計算機對于數(shù)據(jù)處理、信息處理以及知識處理都已經(jīng)非常在行。雖然機器和人工智能并不“懂”知識，但是它可以存儲、調(diào)用知識，可以在特定的情境里與人交互，給出的答案也合乎情理。因此，未來的教育應(yīng)當(dāng)是教人擁有智慧，而不僅僅是擁有知識、信息與技能。智慧是設(shè)計體系結(jié)構(gòu)的能力，而技能僅僅是依照設(shè)計搬磚添瓦的能力，智慧與思維是創(chuàng)新真正的來源，而知識與技能則相當(dāng)次要。

知識金字塔

　　有些大學(xué)為防止學(xué)生作弊而禁止其使用ChatGPT，我覺得此舉值得商榷。ChatGPT是個工具，是種技術(shù)，而技術(shù)是道德中立的，關(guān)鍵在于老師應(yīng)改變傳統(tǒng)的考核方式以適應(yīng)它的出現(xiàn)。斯坦福大學(xué)曾統(tǒng)計，50% 的學(xué)生做學(xué)期論文時都用到了ChatGPT。因此在這種趨勢下，老師必須學(xué)會如何考核。

　　一個可用的考核方式是：學(xué)生用ChatGPT完成一道題后，必須能給別人講清楚答案中哪些是對的，又有哪些是錯的。可能學(xué)生又會把這個問題拋回給ChatGPT，再采用它的答案，但關(guān)鍵是，如果你問得太深入，ChatGPT自己就會“崩潰”，答案也會漏洞百出。在這種情況下，學(xué)生就必須要動腦子，要靠自己找到最初答案的漏洞。而老師正可以對這一點做考察，看學(xué)生能否找到ChatGPT的漏洞，能找到，就說明學(xué)生已將知識掌握透徹。

　　我們這一代人是“數(shù)字移民”，新一代的孩子是“數(shù)字原住民”，所以我們一定要為他們創(chuàng)造自由的空間，而不是讓他們因循守舊、依照傳統(tǒng)行事。

　　科研的層次與大學(xué)的包容

　　科研必須要區(qū)分層次。大型項目是國家發(fā)展、社會前進(jìn)的根本，例如美國NASA牽頭的各類航天、物理項目，中國舉國體制支持的各種重大項目，這些目的明確、規(guī)模投入巨大的項目是不可或缺的。

　　但與此同時，小型的、看上去“沒用”的項目也必須存在。因為科研是一種探索未知的活動，未來哪個項目能開花結(jié)果，哪個能“冒泡”，我們當(dāng)下都是霧里看花，看不真切。所以我們必須要包容一些人，去做一些可能毫無用處的東西，或者是有點出格、方向冷僻的東西，我們必須要讓這些人生存，讓一些可能存在。

　　如果大學(xué)的考核制度過于嚴(yán)苛，青年教師們只能為了保住自己的工作去做“短平快”、功利性的研究，那么優(yōu)秀的人無法靜心思考真正的問題，只能為科研而科研，只做實用性強的科研，這對于科研是一種實質(zhì)性的損害。

　　所以我也有個理論：大學(xué)，要培養(yǎng)精神境界高的、有教養(yǎng)的人，還要包容一些特立獨行的看似是在胡思亂想的“無用的人”的存在。有些研究當(dāng)下看似沒有一點用處，但可能百年之后就有了大用，這都是我們預(yù)料之外的事。

　　有些全球頂尖大學(xué)就會保留不同類型的人才，把一些聰明、能干但怪異、另類的人養(yǎng)在大學(xué)里。未來，我們也可以嘗試包容各式各樣的人才，讓他們做些有意思的、胡思亂想的、短期內(nèi)沒有結(jié)果甚至沒用的東西，或許現(xiàn)在的無心插柳，在未來就變成了夏日炎炎里茂密濃郁的柳蔭。

　　本文根據(jù)CERNET網(wǎng)絡(luò)中心副主任、清華大學(xué)電子工程系李星教授報告、訪談?wù)怼?/p>

?推薦閱讀:黑龍江省財政廳：關(guān)于取消省直考點、哈爾濱考點2022年會計中級資格考試的公告

?推薦閱讀:2023下教資成績查詢?nèi)肟冢褐袊逃荚嚲W(wǎng)

?推薦閱讀:2021年人力資源管理師二級備考試題和答案（32）

?推薦閱讀:2023年廣西省專升本報名對象和條件分別是什么？

?推薦閱讀:成考專升本哪個專業(yè)好 什么專業(yè)比較熱門

以上內(nèi)容由河南考試信息網(wǎng)為您收集整理！如果您覺得有用,歡迎分享給朋友！掃描下方二維碼關(guān)注我們,獲取更多有用考試信息!