Motion Detect 動態影像轉換聲音

Motion Detect 動態影像轉換聲音
Max for Live效果器, Max程式設計, 互動及生成式音樂

這是一個可以捕捉即時影像,並轉換成聲音頻率的Max Patch,藉由偵測到的影像,轉換成黑白處理、與疊圖運算,讓畫面捕捉影像變化的數值,最後再轉換成聲音的頻率起伏,就可以聽到如同遊戲般不斷變動的奇妙音樂。

這裡簡單做幾個Motion Detect Patch裡所使用到的物件解說。

透過jit.grab物件來抓取攝像機的影像,影像就像連續的照片,不斷改變影格,一般影像偵測為30fps(frame per second),意思即為每秒有30偵數捕捉所產生變化。

而Qmetro物件是”每毫秒”抓取一個影像偵數(若設為100則每100毫秒抓取下一個偵數),所以要達到30fps,則要將qmetro物件設為33。而之所以可以偵測到影像的變化,是藉由jit.op物件來達成,藉由兩個影像疊圖後進行運算,將當前的影格減去上一個影格,所剩下的即為變動的影像資料,黑色是沒有變動的畫面,白色則為影像有所變化的的區域,藉由jit.3m來轉換黑白之間的比例(0為全黑,1則為畫面全部都產生變化),可以看到jit.3m隨著影像的幀數不斷地變動數值,再將此數值做乘法運算轉換成人耳可以聽到的頻率(0~20000Hz)。

此工具也可以轉換成Max for Live掛件,在Ableton Live裡作聲音的觸發,和其他效果器做搭配串接,現在就下載試試看在Ableton Live的有趣小工具吧!

Motion Detect 動態影像轉換聲音(會員限定下載)

 

相關文章

活動回顧|工研院藝術進駐 x 長者創作互動日

活動回顧|工研院藝術進駐 x 長者創作互動日

圖說:長者體驗數位同動車 2026 年 3 月 12 日下午,工研院藝術進駐團隊前往新北市淡水義山里公共托老中心,舉辦為期兩小時的「長者創作互動日」,邀請約 13 位長者共同參與。參與者包含具備基礎手部活動能力、樂於分享

閱讀更多 »
《節奏繞纏》紀柏豪 × 工研院藝術進駐

《節奏繞纏》紀柏豪 × 工研院藝術進駐

紀柏豪於工研院藝術進駐期間發展《節奏繞纏》,將呼吸、握力與上肢動作等生理訊號轉為聲音,並把復健輔具同動車改造成會發聲的互動裝置。內含摺頁電子版與 2026 科藝未來沙龍講座式表演。

閱讀更多 »

融聲創意|ZONE SOUND CREATIVE

聚焦音樂、科技與藝術

訂閱電子報,探索創意與科技的無限可能!
Subscribe to explore sonic creativity and beyond.

© 2024 All rights Reserved.