vibertthio

渴求將技術增強社會與個人的創造力與表達力,突破現有音樂與藝術的限制。近期正在思考怎麼讓玩音樂變得更簡單。過去經驗包括藝術家、創投、軟體工程師、中研院助理研究員,並曾任職 Google 與 ByteDance 進行音樂與人工智慧研究。

👩‍🎨 🤖 藝術家/設計師需要了解機器學習的三個原因

發布於

◑ tl:dr

(ㄧ)機器學習的演算法已經可以開始進行非典型的創作
(二)機器學好比 90 年代的電腦視覺,將會成為藝術/設計社群的重要工具
(三)學習門檻降低,許多非技術背景的創作者也開始使用 ML 的技術來創作

藝術家 Memo Akten 的作品《We are made of star dust》。利用機器學習的方式將畫面即時轉化為星雲。

◑ 正文

(ㄧ)機器學習的演算法已經可以開始進行非典型的創作。

歷史上,機器學習的系統最早可以處理的問題都是具有明確答案的問題,也就是對一個問題或是現象進行預測,例如說輸入是五年來全台北的房地產資料,輸出是明年的房地產的變化數字。另外一個例子是,輸入是一張照片,輸出是裡面具有的人的臉部位置與其名字。但是這樣的系統不能處理像是「創作一幅畫」或是「編出一段旋律」這樣的任務,因為這樣的任務並沒有一個正確答案可以參考。但是許多新的研究在許多方面已經開始克服這些問題,例如可以讓機器根據現存的一大堆畫作作為訓練資料,去產生完全不存在的、新的一幅看起來像是畫作的輸出。這種可以產生新的結果的機器學習模型有個統稱:生成式模型(Generative Model),其發展從 2014 年後逐漸獲得重視並穩定發展。以我自己在中研院工作的實驗室 Music and AI Lab 為例,我們就有一個許多研究是專注於如何產生旋律、和弦、節奏與新的聲響等。

這樣的非典型創作方式,是透過藝術家指定生成的任務、整理資料並設計模型架構,最後讓機器去玩成這樣的創作任務,使得藝術家的角色變得非常有趣,好像可以類比為一個神奇寶貝訓練師,雖然參加格鬥館比賽的主體還是小智等人,但是真正在打鬥(創作)的卻是其平常訓練的神奇寶貝。嶄新的創作模式絕對會帶來完全不同向度的能量與思考,藉此也可以刺激藝術家與設計師的大量靈感。

(二)機器學好比 90 年代的電腦視覺,將會成為藝術/設計社群的重要工具

使用機器學習在創作藝術的先驅 Gene Kogan 在一篇推廣這個領域的文章中提到,他認為機器學習在藝術/設計社群中即將扮演相當重要的角色,其發展的路徑可能會類似電腦視覺(Computer Vision,簡稱 CV)。CV 在最早期 70 到 80 年代時,已經有少數科學工程的研究員將其用作創作視覺、互動設計等在當時極其實驗性的用途。直到 2000 年前後,在生活各層面已經出現大量 CV 與軟體應用時,也能夠看到有些先驅的藝術家開始使用電腦技術來創作視覺,像是前陣子來台灣表演的池田亮司,或是互動設計的先驅 Golan Levin 等。自此,各種工具與 framework 被發明用來讓原本非技術社群的創作者也可以利用電腦創作,並產生大量的新媒體藝術作品與網頁設計等。機器學習和 CV 當然有很多不同,像是訓練過程需要大量的資料與運算資源等,但是相對的,其所能應用的問題與情境比起更為廣泛,可以處理語言(文字創作)、視覺創作、影像合成、音樂創作等各式任務。
所以可以想見,在不久的將來,機器學習必定會被大量應用在各種創作的環境與媒材當中,其影響力與廣泛的特性,使得即便創作者本身決定不使用也將會面對與討論到時候出現的海量相關作品與論述。

(三)學習門檻降低,許多非技術背景的創作者也開始使用 ML 的技術來創作

如上段所說,CV 再創作社群的興起與工具練的建立有著密切的關係,只有當創作者不需要如研究員般透澈了解原理也能使用技術的時候,作品的質與量才會顯現出來。目前,已經有非常多專門設計給非技術背景的人使用的程式庫與 App 等,包括大量相關的線上學習資源,都使得要實際創作變得可能。值得一提的是,雖然現階段在台灣多數人還沒意識到機器學習這創作方面的應用已經變得可行,但是在美國、歐洲與日本等不同地方,已經出現逐漸壯大的創作者社群,其中有很多人都不是工程背景,可見其創作門檻已經降低。

喜歡我的文章嗎?
別忘了給點支持與讚賞,讓我知道創作的路上有你陪伴。

CC BY-NC-ND 2.0 版權聲明
4

看不過癮?

一鍵登入,即可加入全球最優質中文創作社區