Blog

Motion Detect 動態影像轉換聲音

這是一個可以捕捉即時影像,並轉換成聲音頻率的Max Patch,藉由偵測到的影像,轉換成黑白處理、與疊圖運算,讓畫面捕捉影像變化的數值,最後再轉換成聲音的頻率起伏,就可以聽到如同遊戲般不斷變動的奇妙音樂。

這裡簡單做幾個Motion Detect Patch裡所使用到的物件解說。

透過jit.grab物件來抓取攝像機的影像,影像就像連續的照片,不斷改變影格,一般影像偵測為30fps(frame per second),意思即為每秒有30偵數捕捉所產生變化。

而Qmetro物件是”每毫秒”抓取一個影像偵數(若設為100則每100毫秒抓取下一個偵數),所以要達到30fps,則要將qmetro物件設為33。而之所以可以偵測到影像的變化,是藉由jit.op物件來達成,藉由兩個影像疊圖後進行運算,將當前的影格減去上一個影格,所剩下的即為變動的影像資料,黑色是沒有變動的畫面,白色則為影像有所變化的的區域,藉由jit.3m來轉換黑白之間的比例(0為全黑,1則為畫面全部都產生變化),可以看到jit.3m隨著影像的幀數不斷地變動數值,再將此數值做乘法運算轉換成人耳可以聽到的頻率(0~20000Hz)。

此工具也可以轉換成Max for Live掛件,在Ableton Live裡作聲音的觸發,和其他效果器做搭配串接,現在就下載試試看在Ableton Live的有趣小工具吧!

Motion Detect 動態影像轉換聲音(會員限定下載)

 

Write a comment