聲音、訊號、感測器，什麼使觀眾置身「現場」？(上）

訊號透過聲音，表達了什麼？

Sonification，指將本身非音訊的訊號和資料等，和聲音參數配對發出聲響，並符合「再現性」與「可讀性」這兩大特性。將數值訊號轉換成聲音的手法，在科學研究領域和藝術中都非常常見。

事實上，用聲響「音調」概念與自然界的規律與數值做連結的想像，並不是一件在近代才開始的事。音樂宇宙（musica universalis）是一個在16世紀前被提出的哲學理論。此理論融合形上學、數字、角度、形狀、聲音和比例做連結。那時畢達哥拉斯把音符的音高取決於弦的長度的概念延續到天體的於軌道的運行上，認為日月與行星也遵從著某種秩序與和諧，在運行時會產生嗡嗡聲，並且以全音和半音想像行星之間的音頻，所以整個天體的系統有著旋律，但是這些聲音人耳是察覺不出來的。這一個想法吸引了當時許多學者，16世紀後克卜勒繼續發展其理論，不過也同樣認為這些「旋律」是人耳無法察覺的。儘管這個理論描述的「聲音」無法用自然的方式被聽見，但這樣富有浪漫色彩的理論依舊吸引了許多藝術家以此基礎來譜寫對宇宙的想像，亦有許多藝術家會與科研單位合作，將天體運行等自然現象的數據聲音化為音樂作品。

▲節錄自文藝復興時期 Franchinus Gaffurius的著作 Practica musice (1496) ，上頭刻有阿波羅、繆思，以及天體和調式。

(圖片來源：https://commons.wikimedia.org/wiki/File:The_music_of_the_spheres.jpg)

在20世紀的聲音創作中，有一派藝術家會盡可能的把自己對於聲音的調整、聲音的選擇等介入抹除 (Willcock，2006)，而資料聲音化的創作方式也符合此一潮流 (Supper，2014)。部分藝術家甚至是認為，這些聲音創作的旋律早在人類出現前就已經被譜寫在自然萬物的演替之中 —— 藝術家如同僅只是提供了一個框架，讓「大自然」的力量作為幾乎是對聲音變化的唯一介入，聲音的表現方式也因此趨近單純的音訊波形，讓日月運行、風向、晝夜、空間等自然現象發聲，強調「忠於資料本身」的精神。反之，科學領域對資料的聲音化則是會特別篩選數據或調變悅耳的聲音，為的是吸引大眾接近學科。

Supper, A. (2014) 於Sublime frequencies: The construction of sublime listening  experiences in the sonification of scientific data 文章中指出，人對現象的察覺需要藉由一種「莊嚴的體驗」（sense of sublime），如火山爆發、核彈試爆的空氣波動、歷史上的人為悲劇等讓人震懾恐懼、五感撼動的體感經驗，這些經驗往往會附帶危險性。但，藉由藝術之手的轉化後，便可以把「莊嚴的體驗」以聲音、視覺等感官刺激讓觀者沈浸其中，而聲音化這一以科學數據轉換在美感經驗上的方式，在純然的藝術表現與完全的科學性中間取得了一個平衡。

Supper, A 也在此文中，也用比較講求公益的觀點指出，資料聲音化並不一定只能做為藝術或科學當方面的應用。科學資料往往之於大眾艱澀難懂，與藝術家合作後把資料聲音化可以讓大眾比較願意接近並理解，有助於知識的傳播與普及，而藝術家可以藉由和科研者的合作，去進行藝術性對現象規律的探索與實驗。她認為聲音化對兩個領域的專家而言都是有助益的，並鼓勵跨學科與藝術家合作。

Sonification 的困境

在物聯網與感測技術發達的今日，與開源精神的發揚，藝術家對於資料數據的取得已經不一定需要借助高昂的科研設備，除了自己摸索感測器外，也有很多開放的資料庫可以取得即時或非即時的資料，然而，數據聲音化仍舊有其困境。

▲Data Sonification Archive，一個收集了許多資料聲音化研究或創作的網站，在這裡可以找到舉凡是自然環境、新冠疫情、股票等等五花八門的資料聲音化的作品，甚至依照各種用途和性質分門別類。（ 資料來源：Lenzi S., Ciuccarelli P., Liu H., Hua Y. 2020. Data Sonification Archive. http://www.sonification.design）

Neuhoff (2019) 指出了科學研究方面的困境。在Sonification學術領域的狀況是音樂學院出身的研究者多過原生科學研究人員，這就造成了聲音的展現方式過於偏科，一般沒有樂理知識的大眾很難了解；或是為了忠於數據減少人為的介入，導致資料對應到參數就是很基礎的音頻、響度、濾波等，也會讓觀眾難以想像數據和聲音之間的關係。他其中一項建議是讓科學數據的聲音化導向藝術創作，不需太執著於現象的再現，而是專注於美學表現，以作為引發大眾接近知識的媒介。

對於聲音和資料的連結，聲音化的產物，在藝術領域通常還是介於音樂與聲音實驗之間一個略為尷尬的地帶。這邊拋開前述之以「引起大眾對科學的興趣」為目的的創作，單就為藝術目的而聲音化的作品，同一組數據為不同藝術家所用之下又有很多種表現方式，觀眾不一定聽得出來數據和聲音之間的關係（林其蔚，2012）。再者，那昭示了數據，聽到了數據的聲音，但然後呢？只是聽到轉換的聲音，除了科學以外沒有提出其他敘事和文本，就算是以觀眾身處之環境與空間當下的數據，也會讓人有隔閡，更遑論思考其中意義。

在資訊爆炸、資料唾手可得的今日，藝術家可以非常容易的取得數據，甚至要跨國界取得世界另一端當下的某筆資料也不成問題，但，在使用數據之前，我認為把該數據聲音化的目的需要跳脫僅只是「昭示數據」為目的，不妨可以思考：為什麼我們需要聽到這些數據？這些資料為什麼需要被察覺？藝術家或可以試圖利用聲音化作為一個媒介，引領觀眾思考聲音與資料本身之外的敘事。

Alvin Lucier的作品《Music For Solo Performer》（1965），藝術家Lucier坐在舞台中心，將可以偵測測腦波中的Alpha波的裝置接上自己的腦袋，一旦該裝置接收到腦中的Alpha波訊號，數值就會被分接到不同線路與頻道，控制他面前的樂器敲打。人的Alpha波必須是處在精神放鬆、眼睛閉上且腦內沒在思考，甚至於恍惚的狀態下才會出現，所以藝術家必須對身在眾人面前「演奏」的行為沒有意識，才能「演奏」音樂。

▲ Alvin Lucier的作品《Music For Solo Performer》（1965）

該作品中，腦波的聲音化只是一個形式，樂器的選擇、聲音表現與調變並不是重點，是藉由用聲音昭示「無意識狀態」的數據，讓觀者思索既然「演奏」的想法在表演者腦中不存在才可以演奏，那為觀眾演奏的行為究竟是否還成立，甚至是進一步帶來對音樂演奏的定義的重新思考。

對於針對環境與空間的數據聲音化，我認為比起人為製造的資料還要難延伸文本。若是此資料來自距離觀者以外遙遠的彼方，如日月宇宙、遠洋、另一片大陸，人們往往會想：為什麼要察覺這和自身相對無關的資料和現象？若是此資料是取於觀者此時此地身處的空間，雖然觀者更能夠意會、與之連結，但為什麼需要用聽覺來轉換或凸顯觀者此時此刻能夠自行察覺的事，也是藝術家需要思考的。

但若是以觀眾的置身之現場的資料聲音化，我認為可以用於連結觀眾與場域之脈絡，以探討地域之人文、空間特性等為敘述之創作，這樣一來，聲音可以加深觀眾在場以及對文本的沈浸性，或甚至達到鼓勵觀眾從被動接收轉為積極探索的效果。下一章，我將會論述我認為聲音化與場域脈絡結合的可能性。

參考資料

Supper, A. (2014). Sublime frequencies: The construction of sublime listening experiences in the sonification of scientific data. Social Studies of Science, 44(1), 34-58.

Willcock I (2006) Composing without composers? Creation, control, and individuality in computer-based algorithmic composition. In: Mahnkopf C- S, Cox F and Schurig W (eds) Electronics in New Music. Hofheim: Wolke Verlag, pp. 221–235.

Neuhoff, J. G. (2019). Is sonification doomed to fail?. Georgia Institute of Technology.

林其蔚，2012。超越聲音藝術：前衛主義、聲音機器、聽覺現代性 Beyond Sound Art: The Avant Garde, Sound Machines, and the Modernity of Hearing

Alvin Lucier《Music For Solo Performer》（1965）http://www.alvin-lucier-film.com/solo_performer.html

Musica universalis: https://en.wikipedia.org/wiki/Musica_universalis

延伸閱讀：聲音、訊號、感測器，什麼使觀眾置身「現場」？(下）—— 以數據作為感官的延伸，激發聲音探索動機

鴨編

一隻喜歡科技藝術、遊戲和冷知識的鴨子。