你好,我的身分是資工所研究生👋 喜歡分享資工的資訊😊
AI 嘉年華主題演講筆記
主題演講:AI 能讓我們更幸福嗎?
2012年的 AlexNet
有30萬個parameters,一個變數需要一個equation來解,類比這個問題,AlexNet需要至少30萬張圖來train才有意義。
認為這次AI的高峰開始往下走。
現在的AI只做了perception(感官),並沒有做reasoning(推論)和understanding。認為現在AI的本質就是暴力法
。
不能只從紅的物件訓練,然後辨識出藍的物件。
他認為只有IT公司才能聘到真正懂AI的人,其他公司則無法有效運用AI,一個team至少要20個人,10個算法強的,10個系統強的。我們只需要金字塔頂端的人,下面的人我們不需要。算法強的應該創造新的machine learning model 或是將AI自動化。
Automated AI
- model selection
- parameter tuning(hyper parameters)
- system configuration(# of gpu, # of server)
- framework selection
- cloud platform selection
- I/O , GPU scheduling
工程師應該要會挑framework,知道哪個比較efficient,用錯framework會浪費資源。
接下來挑model,有VGG有inception要挑哪一個,一般工程師就算經過AI學校洗禮也還是搞不清楚。
要買GPU嗎,還是用AWS呢?GCE呢?
要幾顆GPU呢?over-allocate會浪費錢。
要tune參數,有1000種combination的話要挑哪些tune呢?
I/O, GPU scheduling國網中心都還沒做。此問題是extremely critical。這需要system非常強的人,台灣這種人趨近於0。因為基本上需要有OS的產業。很多Scalability上不去的原因是memory access, I/O這種東西overhead太重。就像Amdahl’s law所說的一樣。
DeepQ有在幫國網中心
做這方面的optimization。
alpha go
有兩個network : policy network
value network
value network
是棋譜餵出來的。
policy network
故意做探索,有機會下一些沒人下過的怪棋。
medical research
一種病例如中耳炎,可能拿到3000張照片,但一定是underfitting,accuracy只有75%,要足夠多的data至少要1 milion。
那怎麼辦呢? 有工程師說可以做transfer learning,將一堆不相關的圖片拿來co-training。最後accuracy竟然變成90%。為甚麼會work呢?
因為最下面的feature可以share的。
data不夠多還可以怎麼搞? 用GAN來產生data? 有時候沒辦法work,像大腦中風影像沒有domain knowledge產生出的影像非常荒謬,血塊可能不在血管上之類的。GAN用在圖片上還可以,產生不同的腳色之類的。(李宏毅)
Q&A
提到DeepQ現在遇到的問題有資料量不足
、資料隱私問題
。
說blockchain,用來做醫療是絕對不可能的。 distributed system 的基本理論CAP,consistency availability partition tolerance三個不能一起存在,bitcoin有consistency防止double spending,availability非常低,tps很低只有7,latency有1小時。
但DeepQ的multilayer解法的概念是,每個layer都有CAP的其中兩個,然後巧妙的方法link起來。跟衛服部合作。確保資料隱私
。此方法非常複雜。
喜欢我的文章吗?
别忘了给点支持与赞赏,让我知道创作的路上有你陪伴。
发布评论…