【創意科技】透過簡單的機器學習,來實現用「語音識別」玩小遊戲!

大家可能有在手機上玩過一些小遊戲APP,會讓玩家透過人聲來控制角色的移動。如果想要在個人電腦上達成這樣的應用,又不想要寫太多Code,我們應該怎麼透過數位工具與Creative Coding來實現呢?

下面這個影片是一個簡易示範:

https://www.youtube.com/watch?v=1S1L1ZIRebk

我們使用的軟體包括Processing、Wekinator跟以Openframework編寫的音訊分析軟體。在抓取出聲音參數後,就交由Wekinator來負責建立機器學習模型並分析即時數據。這邊使用的是Dynamic Time Warping,因為Voice Command都是帶有時間性的一小段聲音指令,每次可能想要下達同個指令,但聲音時間長度會不一樣,因此會需要分析Time-Based的各種Feature變化。

延伸閱讀: 給麻瓜的開源機器學習軟體Wekinator介紹

在影片中,大家應該都能看出,紅色小點是由聲音來驅動,我們可以透過簡單的訓練過程,讓紅點點學會往左、往右、向上跳,並透過不下任何指令的訓練,告訴系統如果沒有下達聲音指令,紅色小點就要維持停在原地不動。

有沒有覺得應用機器學習後,很多困難的事情都變得很簡單呢?大家有什麼應用機器學習的創意點子都歡迎跟我們分享、交流!


探索更多音樂、科技、藝術的交匯與創新應用,現在就訂閱我們!

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *

相關文章

《潮濕的共鳴》紀柏豪個展

《潮濕的共鳴》源自藝術家在汐止的生活經驗,通過與在地社群密切合作,走訪河畔、湖泊及各種治水設施,尋訪水的痕跡。汐止舊名「水返腳(Tsui-Tng-Ka)」,因基隆河漲潮到此又折返而得名。展覽以汐止的水文環境及歷史為背景,探討人們如何對周遭的水—河流、雨水、濕氣—進行控制,而這樣的控制又如何具體而微地體現在日常生活中。

閱讀全文 »

聲化感官實驗室 Sonic Sensory Lab
2023 展覽回顧

在2023年,聲化感官實驗室以創新與多元的藝術探索,為大家展示了一個跨越聲音、自然、科技和社會的奇妙世界。從汐止水岸的聲音探索,到台灣及墨西哥間的環境對話,再從地球共振與保護性噪音的創意抵抗到探索太空時代的未來飲食,最後回看世界各地的城市聲響,每一部作品都是一次感官的旅程,透過視覺與聽覺的雙重刺激,挑戰我們對周遭世界的認知,並引發對更大宇宙意義的探索。

閱讀全文 »
Scroll to Top