小小ber

你好,我的身分是資工所研究生👋 喜歡分享資工的資訊😊

AI 嘉年華主題演講筆記

發布於

主題演講:AI 能讓我們更幸福嗎?

  • 講者: 張智威
  • 服務單位: DeepQ
  • 投影片 影片
  • 演講的很棒,可以學習他的報告方式。

2012年的 AlexNet有30萬個parameters,一個變數需要一個equation來解,類比這個問題,AlexNet需要至少30萬張圖來train才有意義。

認為這次AI的高峰開始往下走。

現在的AI只做了perception(感官),並沒有做reasoning(推論)和understanding。認為現在AI的本質就是暴力法

不能只從紅的物件訓練,然後辨識出藍的物件。

他認為只有IT公司才能聘到真正懂AI的人,其他公司則無法有效運用AI,一個team至少要20個人,10個算法強的,10個系統強的。我們只需要金字塔頂端的人,下面的人我們不需要。算法強的應該創造新的machine learning model 或是將AI自動化。


Automated AI

  1. model selection
  2. parameter tuning(hyper parameters)
  3. system configuration(# of gpu, # of server)
  4. framework selection
  5. cloud platform selection
  6. I/O , GPU scheduling

工程師應該要會挑framework,知道哪個比較efficient,用錯framework會浪費資源。

接下來挑model,有VGG有inception要挑哪一個,一般工程師就算經過AI學校洗禮也還是搞不清楚。

要買GPU嗎,還是用AWS呢?GCE呢?

要幾顆GPU呢?over-allocate會浪費錢。

要tune參數,有1000種combination的話要挑哪些tune呢?

I/O, GPU scheduling國網中心都還沒做。此問題是extremely critical。這需要system非常強的人,台灣這種人趨近於0。因為基本上需要有OS的產業。很多Scalability上不去的原因是memory access, I/O這種東西overhead太重。就像Amdahl’s law所說的一樣。

DeepQ有在幫國網中心做這方面的optimization。


alpha go

有兩個network : policy network value network

value network是棋譜餵出來的。

policy network故意做探索,有機會下一些沒人下過的怪棋。


medical research

一種病例如中耳炎,可能拿到3000張照片,但一定是underfitting,accuracy只有75%,要足夠多的data至少要1 milion。

那怎麼辦呢? 有工程師說可以做transfer learning,將一堆不相關的圖片拿來co-training。最後accuracy竟然變成90%。為甚麼會work呢?

因為最下面的feature可以share的。


data不夠多還可以怎麼搞? 用GAN來產生data? 有時候沒辦法work,像大腦中風影像沒有domain knowledge產生出的影像非常荒謬,血塊可能不在血管上之類的。GAN用在圖片上還可以,產生不同的腳色之類的。(李宏毅)


Q&A

提到DeepQ現在遇到的問題有資料量不足資料隱私問題

說blockchain,用來做醫療是絕對不可能的。 distributed system 的基本理論CAP,consistency availability partition tolerance三個不能一起存在,bitcoin有consistency防止double spending,availability非常低,tps很低只有7,latency有1小時。

但DeepQ的multilayer解法的概念是,每個layer都有CAP的其中兩個,然後巧妙的方法link起來。跟衛服部合作。確保資料隱私。此方法非常複雜。

發布評論

看不過癮?

一鍵登入,即可加入全球最優質中文創作社區