【創意科技】透過簡單的機器學習,來實現用「語音識別」玩小遊戲!
大家可能有在手機上玩過一些小遊戲APP,會讓玩家透過人聲來控制角色的移動。如果想要在個人電腦上達成這樣的應用,又不想要寫太多Code,我們應該怎麼透過數位工具與Creative Coding來實現呢?
大家可能有在手機上玩過一些小遊戲APP,會讓玩家透過人聲來控制角色的移動。如果想要在個人電腦上達成這樣的應用,又不想要寫太多Code,我們應該怎麼透過數位工具與Creative Coding來實現呢?
顆粒合成(Granular Synthesis)是數位音訊發展中,一個相當有趣且具有特色的聲音合成技術。簡而言之,這種合成法是把一小段聲音,想像為一個整體,將其切碎成許多細小的顆粒(Grain),並透過不同音訊調變手法去處理,例如快轉、回放、停留在某一處等等。這類帶有特殊質地(Texture)的聲響,目前也被大量應用於數位音樂、電子音樂及實驗聲音創作中。
有時候在網路上或現場表演中,看到別人能用嘴巴製造出許多不同音色,是不是會有點羨慕呢?沒關係,現在透過數位工具跟Creative Coding,我們也能稍稍體會一下用「人聲」來演奏的樂趣!
資訊聲音化(Sonification)是能讓人用聽覺來理解周遭不可見事件與狀態的一個詩意手法。這次要跟大家分享一個「把天氣資訊轉換成聲音」,像是在聆聽周遭環境變化一般的Max實作練習。完成的Max Patch程式截圖如下圖,包含了會自動顯示的位置、溫度、風速與天氣類型的Message。
將捕捉到的及時影像做分格處理,藉由偵測到不同區塊的影像變化來觸發音效。其中影像分格的方式也模擬了大家彈奏豎琴時利用兩隻手撥弦的動作,演奏起來真的就像在空氣中撥弄豎琴的樣子。
捕捉即時影像,並將捕捉到的影像分格,藉由偵測到不同區塊的影像變化來觸發聲音的Max Patch。利用簡單的動作變化來觸發預設好的聲音物件,即便只有一個人也可以像擁有整個樂隊一樣喔。
《我想讓你說句話(Say Something, Please)》,在實作上分為網路串接及音訊處理兩部分,使用到的工具包含Firebase Realtime Database、Web Speech API、 Soundflower、Max。
在台北國際藝術村展出的雙個展《聆聽的機器 Listening Machine》中,紀柏豪的作品《單向傳輸 One-Way Transmission》讓觀眾搖晃手機與作品互動、發出聲音,在展場當下創造出獨一無二的音樂流動。繼之前的作品介紹:列車上的流動音景——紀柏豪《單向傳輸 One-Way Transmission》,今天換我來簡單聊聊作品使用到的技術和概念吧!
由索尼電腦科學實驗室(Sony CSL)所開發的「Flow Machine」,亦屬於機器學習演算法產品,其研發宗旨為「探