讀到保哥推薦的好文章: 從人工智慧、機器學習到深度學習,你不容錯過的人工智慧簡史 - INSIDE 硬塞的網路趨勢觀察

這一年來,人工智慧、機器學習、深度學習等名詞無所不在,一直開啟慈禧太后模式視若無睹充耳不聞也不是辦法,身為連院子都沒踏進的門外漢,讀完這篇文章算是有了概念摸到電鈴,未來聽人豪洨提及這些名詞不再一臉茫然。

簡單摘要如下:

  • 「人工智慧」( Artificial Intelligence, AI )分為強人工智慧(會思考有意識,像科幻片裡會決定幹掉人類的那種)以及弱人工智慧(只模擬人類思維方式,無意識)
  • 1950 年代,第一台通用電腦 EDVAC 問市十年,AI 概念首度在研討會上被提出引發熱議,在小說電影創作界也蔚為風氣,大家樂觀地預期 20-30 年內就能發展出與人腦智能程度相同的 AI
  • 當年的 AI 受限電腦運算能力,侷限於用已知數學模型、演算法尋求答案,無法回答人類自己不知如何解答的問題
  • 1970 年代,一些知名 AI 研究計劃結果不如預期,熱潮退去,政府企業研究單位紛紛收手,AI 第一次泡沫化
  • 電腦硬體的運算能力依循摩爾定律(每兩年增強一倍)突飛猛進,比起 30 年前強大 100 萬倍,開始有機會實現以往不可能做到的事,例如: 機器學習
  • 「機器學習」涵蓋電腦科學、統計學、機率論、博弈論,指用機器(電腦)分析大量資料(大數據)從中找出規律的「學習」過程,由於以資料為本,機器學習也是「資料科學」( Data Science )的熱門技術之一
  • 機器學習理論有很多門派,例如:支援向量機(SVM,在垃圾信分類應用大放異彩)、決策樹( Decision Tree )、AdaBoost、隨機森林,其中有一派「類神經網路」( Neural Network )於 1980 年興起
  • 類神經網路的概念是用電腦模擬人腦的運算模型,1986 年學者 Hinton 提出反向傳播算法可降低類神經網路所需的複雜運算量,但存在神經網路一旦超過3層就失效的瓶頸,跟 SVM、隨機森林等簡單有效的做法相比,類神經網路形同廢柴,一度被學術界鄙夷
  • 儘管外界無人看好,Hinton 對神經網路不離不棄 30 年,在 2006 找到限制玻爾茲曼機(RBM)模型成功訓練多層神經網路,終於突破瓶頸。但因為神經網路的名聲之前臭掉了,Hinton 將多層神經網路( Deep Neural Network )重新命名為「深度學習」( Deep Learning ),把 SVM 等歸類為淺層學習( Shallow Learning )一吐怨氣
  • 2006 年代深度學習使用 CPU 進行運算,速度不理想,跑一個模型要 5 天,發現有問題改一下又要再等五天,等訓練好不知等到猴年馬月。深度學習真正吸引世人目光,是 2012 年的事。
  • ImageNet 圖像識別比賽自 2007 起年年在史丹佛舉辦,起吸引 Google、微軟、百度等大型企業角逐,歷年冠軍的錯誤率一直維持 28%-30% 難有突破,直到 2012 年 Hinton 帶領兩名學生推出具深度學習能力的 SuperVision 以 16.42% 錯誤率狂勝第二名的 26.22%,震驚世界
  • 2013年 Google 人才收購了 Hinton 與他的學生,各家企業開始爭相投入深度學習領域。2015 年ImageNet 比賽由微軟拿下冠軍,3.5% 的錯誤率甚至比人類的 5% 還低
  • 深度學習需要大量矩陣運算,SuperVision 2012 突破的關鍵在於採用「深度學習 + GPU」,原因在於 NVIDIA 於2006年推出全新運算架構CUDA,讓開發者有能力寫程式運用顯卡上的數百顆 GPU 進行運算,NVIDIA 自 GeForce 8 起全面支援 CUDA,GPU 運算能力被廣泛應用在深度學習、VR 及比特幣挖礦,股價一飛沖天。

Comments

# by LianSheng

1998年,由 Yann LeCun 等人發表的 Gradient-Based Learning Applied to Document Recognition / LeNet,讓世人開始關注卷積神經網路 (Convolutional Neural Network)。其論文被後人引用超過萬次,我想該團隊應該也有足夠的立場被編入 AI 發展的重要里程碑裡吧~

Post a comment