ChatGPT 浪潮強襲,許多人在嚷著「完了,XX 工作要被 ChatGPT 取代了」、「很快 AI 就要統治人類了」。


(題外話:老高最近有另一集在談 Web 3.0,不知是我認知有誤還是他真的講錯,我邊聽邊翻白眼,速度直逼吃角子老虎機轉 BAR 鈴噹 777)

大型語言模型(LLM)依靠消化海量資料加上人工巧妙調教,練就一身「不管問他什麼,總能說得頭頭是道煞有其事」的好本領,但事實是 ChatGPT 不懂得判斷對錯,不會算數學,沒有邏輯推理能力,全憑數學演算法拼湊人類最容易買單的字句組合。依此特質,即便有一天 AI 將取代人類,也絕非是靠 ChatGPT 這種語言模型。直覺是這麼想,我欠缺相關專業,說不出個所以然。

同事推薦了一部好影片,再延伸讀了一篇好文章,幫我梳理出對 ChatGPT (或說大型語言模型) 能力的質疑從何而來。

文章作者從語言學本科系轉戰資訊產業,學識背景正好涵蓋 ChatGPT 語言模型涉及的兩個領域,切入觀點也格外深入有力。

閱畢摘要其中較新鮮獨特的觀點備忘:

  • 生成模型:由輸入字串,依據模型推算高維分佈(不是機率),決定輸出結果
  • 監督式學習:人類監督明確告知對錯 / 非監督式學習:放牛吃草 / 強化學習:人類回饋比較好比較不好(非對錯),ChatGPT 屬之
  • OpenAI 釋出 ChatGPT 的目的其實也包含讓大眾知道 AI 會怎麼出錯
  • Augmented AI 強化型 AI - 語言模型偵測到算數學時,交給計算機、遇到照片交給影像模型處理
  • Google 工程師覺得 AI 有意識,是因為 LLM 訓練資料讓它順著對方說出對方想聽的話,讓人誤以為它有意識 (LLM 有做業務的天份)
  • Google 未積極推聊天機器人的顧忌之一是擔心反托拉斯法
  • 小型語言模型 - 透過設計,用少量數據就滿足有限目標,獲得不錯效果
  • 對於 ChatGPT,大家自然形成「樂觀協作派」和「悲觀失業派」兩個陣營。有趣的是,大眾並非未對 ChatGPT 內容或風格正確性進行科學分析判斷,而是依據自己對科技的喜好選擇樂觀或悲觀 (註:一針見血!!)
  • 2015 機器學習 2017 深度學習,是第三波人工智慧發展突破點,主張不需專家介入,機器自己學習的美好願景
  • 但 2022 的 ChatGPT 是靠大量人工標記、人工選擇、人工調整所成就出來的,並非 AI 研究領域的重大突破
  • 資料模型不等於人類思維能力,深度學習模型靠資料驅動,不會因果邏輯推論,沒能力處理沒看過的東西
  • 對 ChatGPT 結果抱持「只要再調整一下下就可以用了」的錯誤期待,想讓深度學習多懂一點點,需要的資料量可不是一點點
  • 較可行的解法:因果網路 (Causality Network) 再利用融合式系統 (Hybrid) 設計,但相關研究被排除主流 AI 社群之外
  • 只要 AI 系統仍然是基於資料模型而沒有結合人類的因果邏輯思維,那麼 AI 革命仍遙不可及,奇點仍然不會到來
  • 最糟的情況是,此刻已經是我們距離奇點最接近的時候,之後只會漸行漸遠
  • 深度學習無法掌握如破題、辯證、結論或起承轉合的結構脈絡,故採用的取巧做法是讓每段成為獨立不帶資訊堆疊關係(例如:先看A句,B句才有意義)的句子,讓它們可以任何調換順序用「還有、也、此外、最後」串接,也不會出現前後文結構衝突。
    註:其中沒有埋藏想表達的主軸或中心思想,故總給人乍看講了一堆,但好像又什麼都沒講的感覺
  • 由於語言模型不具有知識,透過「反事實測試」可輕易讓它被看破手腳。(人類有知識判斷答案有誤、反事實無資料可驅動結果)
  • ChatGPT 的負面影響:2023 年網路上開始充斥由機器產生,貌似專業有條理卻未必是事實的文字;任何人都能用低廉成本隨意充填出精美長篇大論(令人想起買空氣送洋芋片);違背事實的訊息或與事實無關的填充文字充斥,未來搜尋挖掘事實的效率只會日益低落。

補充:由於 ChatGPT 無法辨別對錯,要查詢事實又想要機器人協助可考慮會提供參考來源的 Bing Chat,把辨別真偽的權力留在自己手裡。(ChatGPT vs New Bing 比一比 - 西米露煮粥實例)

【2023-04-02 更新】在參考更多資訊後,我已修正對 GPT-4 的看法


Comments

# by 鳥毅

真心建議看真正的AI專家教學,不要看網紅唬爛,在此推薦臺大教授李宏毅的頻道 ,GPT可以直接看今年最新的課程 https://www.youtube.com/watch?v=yiY4nPOzJEg&list=PLJV_el3uVTsOePyfmkfivYZ7Rqr2nMk3W

# by Leo

之前玩了一會,已有一疑問,ChatGPT 的回覆是確實的答案還是假的答案呢?現在還只是人腦覺得它給的回覆很不錯,很接近完美的答案罷

# by 想辭職開餐廳的工程師

過去寫機械語言,組合語言出現程式變的更好寫了,工作模式改變了 再來寫組合語言,高階語言出現程式變得更好寫了,工作模式改變了 繼續寫高階語言,套件出現之後高階語言更好寫了,工作模式改變了 現在使用著套件,AI出現了更好獲得範本與成品了,工作模式改變了

# by Jeffrey

to 鳥毅,感謝推薦,看過課程與我的認知相近,多虧之前先看過神經網路課程奠定基礎。這裡也推一下我的 AI 啟蒙課 - 神經網路入門課程筆記 https://blog.darkthread.net/blog/neural-network-moocs/

# by Will

錯字: 充斤由機器產生 矯正: 充斥由機器產生

Post a comment


19 - 9 =