正在閱讀
本非貢獻於藝術的數位科技:點雲建模技術在當代藝術中的角色—2024絕對藝力「文字力・評藝堂」選文

本非貢獻於藝術的數位科技:點雲建模技術在當代藝術中的角色—2024絕對藝力「文字力・評藝堂」選文

2019年,巴黎聖母院(Notre-Dame de Paris)因一場大火讓這座象徵著數百年文化和歷史的建築瞬間化為殘骸,緊接又須面對這座古蹟的還原重建過程。而早在火災發生前已被已故藝術史學家安德魯・塔隆便使用攝影測量技術,從聖母院內外的50多個不同地點,細緻地捕捉了整座教堂的內外部,生成了高達數十億個數據點。這些點雲模型彌補了平面攝影無法捕捉到的建築三維細節,並被用以創建聖母院的三維立體模型,讓建築師和修復專家能夠精確地重現被大火摧毀的部分,使得巴黎聖母院得點雲模型以重拾輝煌。這項技術最初被應用於工程測量、逆向工程、古蹟修復等領域。隨著巴黎聖母院的案例受到全球關注,點雲建模得到了更高的重視並不斷精進發展。

【計畫概述】
「文字力・評藝堂」是臺南「絕對空間」專為新秀藝術評論人打造的培育計畫,主要培力南部青年藝評與研究書寫!今年,我們邀請到來自不同領域的專家,包括許遠達、高子衿、汪正翔、蔡宗祐和楊佳璇,這五位導師涵蓋了機構、學院、出版和自媒體等領域,擁有策展人、藝術家、報導者、編輯及學院教授等多重身份。他們除了進行五場有關藝術評論書寫與觀察的公開講座,還與學員共同參加了五場非公開的書寫工作坊。在這個過程中,導師們提供了寶貴的建議與交流,最終於期末展開了一場精彩的公開發表。

經過公開講座與工作坊的理論與實務訓練,今年的十位學員產出了十篇精彩、面向多元的藝評文章,內容包括:〈對鏡照看——《瞬間——穿越繪畫與攝影之旅》〉何珊、〈療癒之方:談《珍珠─南方視野的女性藝術》中的修復與創生〉吳念澄、〈與社會共做的承諾型策展:我們先是人,我們都是關係人〉李橋河、〈「Transmutation」從新加坡到臺灣:冶煉下的當代陶藝折轉〉張碩尹、〈後複製時代的寫生——吳尚洋在台南新藝獎的洞穴寓言〉許玉昕、〈躺久了骨頭也硬了——談「未記持」林安狗《牙齒血液與鄉愁》〉黃亭茹、〈離返之囊,圖與物的居所——評《Now and then》郭秉恩個展〉蔡煜凡、〈本非貢獻於藝術的數位科技:點雲建模技術在當代藝術中的角色〉蔡睿宇、〈如如因它而動——感覺的隱密支點〉董凱民、〈左右互搏的評論?談歐鈞淞兩檔個展「在哭的風景裡,」與「看一場大雨。」 歐鈞淞,這些文章全文將陸續在《AOFA.TW》上曝光,誠摯邀請大家閱讀,成為這股藝術評論熱潮的一部分!

計畫相關成果連結
本文將引介今年度導師票選出之優秀文章,好文搶先看! ———— 絕對藝力

本非貢獻於藝術的數位科技:點雲建模技術在當代藝術中的角色

文|蔡睿宇

2019年,巴黎聖母院(Notre-Dame de Paris)因一場大火讓這座象徵著數百年文化和歷史的建築瞬間化為殘骸。在這場災難後,雖然收拾這場殘局是艱鉅的工程,但最讓人困擾的反而是這座古蹟的還原重建過程。

其實,巴黎聖母院早在火災發生前已被已故藝術史學家安德魯・塔隆(Andrew J. Tallon)使用點雲測量,即攝影測量技術(photogrammetry),從聖母院內外的50多個不同地點,細緻地捕捉了整座教堂的內部和外部,生成了高達數十億個數據點。(註1)這些點雲模型彌補了平面攝影無法捕捉到的建築三維細節,而這些資料則被用以創建聖母院的三維立體模型,使建築師和修復專家能夠精確地重現被大火摧毀的部分,讓巴黎聖母院的點雲模型(point cloud model)得以重拾輝煌。

圖左為2018年所拍攝的尖塔圖片、圖右為大火中的尖塔。©BBC News。

上述都是正常且非常專業的發揮,而若有關注此事件的人也許也曾讀過一則令人意想不到的新聞。以細膩重現歷史為名的《刺客教條:大革命》(Assassin’s Creed Unity),因遊戲場景內掃描了極其精緻的聖母院,亦為重建提供了重要的參考依據。而《刺客教條:大革命》的開發團隊——育碧蒙特婁工作室(Ubisoft Montréal),也在事發一週內開放所有玩家免費下載,使巴黎聖母院在重建的五年內,玩家們能在遊戲中欣賞高度還原的聖母院。

巴黎聖母院於《刺客教條:大革命》裡的遊戲畫面。©Damienhypolite

點雲建模技術的使用情境

基本原理涉及通過雷達掃描(radar scanning)或圖像辨識技術(image recognition technology,註2),運用拍攝數百張照片,並透過後期程式運算來讀取每張照片的共通點,來獲取物體或場景的XY軸數據點,這些點組成的點雲可被用來構建三維模型(3D model)。這項技術最初被應用於工程測量、逆向工程、古蹟修復等領域。隨著巴黎聖母院的案例受到全球關注,點雲建模得到了更高的重視並不斷精進發展。許多學者和專家開始為世界文化遺產進行數位建檔。

然而,這項技術早在1999年就已經進入影視領域。電影導演大衛・芬奇(David Fincher)在電影《鬥陣俱樂部》(Fight Club)中使用這項技術,將整個廚房的物件進行建模,為電影製作提供支持;此後,Apple TV+的影集《晨間直播秀》(The Morning Show)劇組也應用攝影測量技術,捕捉整個紐約市的街景,用於背景替換。而在遊戲領域,這項技術更是被廣泛應用,像是前文提到的《刺客教條》系列和近期很紅的《黑神話:悟空》(Black Myth: Wukong)裡將中國重慶的大足石刻裡的佛像進行攝影測量的遊戲場景,皆是運用了攝影測量技術來「準確還原」現實世界的場景和材質。(註3)

電影《鬥陣俱樂部》中使用數位測量所拍攝下的廚房場景。圖片來源/《Fight Club》電影片段。
遊戲《黑神話:悟空》與中國重慶大足石刻的實景對比。©ChongqingDazu。

與此同時,這種技術不僅在工程與影視領域發揮作用,還逐漸進入當代藝術的範疇。3D點雲掃描技術被藝術家們巧妙地以「非常不完整」的姿態作為創作媒材使用。在當代藝術中,數位測量技術不再僅僅是操作現實的工具,而是成為了對現實進行重新編碼的手段。這種編碼既是一種解構,也是重構,將現實世界中的碎片化和不完整性轉化為富有張力的視覺語言。透過這種語言,藝術家得以進入一個由數據構建的、充滿著詩意與哲思的數位空間,這種空間既是對現實的記錄,也是對記憶的再現與重塑。

點雲建模不僅捕捉了現實的表面,還在將這些表面碎片轉化為點雲的過程中,激發了觀者對於過去的再思考和再構建。這些點雲在當代藝術中以模糊與不完整的形式呈現,而技術影像成為了一種富有情感的載體,在虛實之間編織出記憶的圖景。透過這種方式,藝術家們記錄了現實的斷片,還賦予了這些斷片新的生命,使觀者得以在視覺與感知中,重新體驗記憶與現實的交錯與重構。

於當代藝術中的視覺感官經驗

從視覺的角度出發,我曾經使用這項技術掃描過白天的宜蘭東門夜市,可以感受到數位測量所製造出的點雲圖不僅僅是數據的展示,更能夠擁有具有視覺衝擊力的藝術表達。這些點雲圖由數千數萬個數據點構成,當我們在3D軟體中用鼠標拖曳它們時,那些微小的點似乎在畫面中翩然舞動,賦予平面影像以立體感和動態效果。這種視覺體驗在技術層面上已經達到了極高的效果,而後續將探討的多位藝術家,無論是以點雲圖的形式,還是進行表面重建後的模型,都展示了這種技術在視覺藝術中的巨大潛力。

以數位測量技術掃描宜蘭東門夜市與周遭環境。圖片來源/蔡睿宇。

首先,點雲圖的視覺效果在某些藝術家作品中被用來表現一種模糊、流動的視覺狀態。例如,Marshmallow Laser Feast團隊在《Breathing with the Forest》中(註4),將這些數位點雲轉化為森林中所有植物的呼吸,呈現出一種若隱若現的生命感。這些點雲不斷地在空間中流動,仿佛捕捉到了生命的脈動,營造出一種生生不息的自然景象;或如洪譽豪的《無以為家》通過緩慢移動的點雲構建了萬華區騎樓下的場景,一個隨時間而消散的記憶空間。當點雲靠近畫面的邊界,那些顆粒也會逐漸減少,畫面也隨之模糊,這種消逝感恰好傳達了他對記憶逐漸模糊的思考。

《Breathing with the Forest》為四分鐘長的三聲道視頻裝置,帶有20.2聲道音訊。圖片來源/Marshmallow Laser Feast網站
2023年12月,《Breathing with the Forest》於倫敦「Shifting Landscapes」一展中展出。圖片來源/Marshmallow Laser Feast網站
《Breathing with the Forest》於亞馬遜雨林中的使用雷達掃描和攝影測量的過程。圖片來源/Marshmallow Laser Feast網站

相較之下,如果經過表面重建(Surface reconstruction,註5)的模型則展現出一種截然不同的視覺感受。許哲瑜在《白屋》(註6)中運用表面重建,將點雲模型處理得如同石膏般,卻又充滿破損與不完整的細節。這些破洞和缺損的部分,尤其在裡面的人物的臉上,展現了物理上的殘缺,也巧妙的呼應了旁白不斷提及的精神和心理上的創傷,讓觀眾感受到一種情感上的破碎感;同樣,索菲.卡恩(Sophie Kahn)在《Machines for Suffering》系列中(註7),透過掃描後並表面重建的影像,並使用3D列印再現了歷史上罹患歇斯底里的病人,而透過雕塑的特性,人體石化般的定格在被不當治療過程中的掙扎和痛苦。她故意保留了模型中的支撐材,這些支撐材又呼應著病患的身體或心理在崩解過程中的脆弱與支撐。

洪譽豪《無以為家》於「穿孔城市」一展中展出。圖片來源/洪譽豪個人網站
《無以為家》中的燈箱裝置。圖/洪譽豪個人網站
許哲瑜《白屋》的片段畫面。圖/許哲瑜個人網站

點雲圖亦或是表面重建後的模型,在視覺效果上有許多值得以符號學研究的角度。我所觀察到的是,點雲圖因顆粒狀的紋理能透過動畫製造出流動效果,因此較常為動態形式呈現,故較常用於描繪場域而並非人物;經過表面重建後的狀態,點已連成面,則使視覺影像上更易辨認,因此更多用於呈現在人物,而或許另一個考量是敷過的模型才更能夠辨識出人的外型。

這些數位測量所視覺化的影像,廣泛運用在許多藝術作品之上。而這些創作出的媒材影像,顯而易見地與攝影測量之發明本該用於鉅細靡遺地逆向建造目標物的工程技術截然不同。藝術相比於工程技術的差異關鍵在於,創作過程中的概念突破和美學追求。因此藝術作品本也應該重新思考這項技術新的運用以及新的符號意義,並不斷突破對於工程技術上本該的固有使用認知。

Sophie Kahn,《Machines for Suffering I》,2018,3D print (laser-sintered nylon) from 3D laser scan,gesso and acrylic paint on custom pedestal,24″ x 35″ x 47″。圖片來源/Sophie Kahn個人網站
Sophie Kahn,《Machines for Suffering I》,3D列印藍圖。圖片來源/Sophie Kahn個人網站

工程領域與藝術領域的應用差異

在工程領域,3D點雲技術的核心目標是精確還原現實。這種精確性旨在捕捉物體的每一個細節,並將其轉化為可以操作的數據,從而在古蹟修復、逆向工程和建築設計中實現高度的真實再現。在這些應用中,技術被視為一種工具,通過盡可能準確的數據來達到客觀性,以保證實際操作的精確度和可靠性。

然而,當這項技術進入藝術領域時,藝術家們並非追求純粹的技術精確性,而是利用技術的「缺陷」或「不完整性」來探索更深層的意義。對於此技術影像的另一個觀點即是從一種「紀錄現實」的工具變成了一種「重構現實」。例如克萊門特.瓦拉(Clement Valla)「Point Cloud Garden」系列作品,在將點雲動畫搬入人造花園時,點雲的數據資訊不僅能夠展示花園的物理結構,還能夠運用數位測量「重構」的特性,去探討人造花園本身也是在對於生態原樣重構的意義,瓦拉在影片訪談中亦有提到此觀點。(註8)

Macau Pointcloud Garden,2023,Former Iec Long Firecracker Factory,Macau。圖/Clement Valla「Point Cloud Garden」系列作品網站

這種創作方式也體現在索菲.卡恩的《Machines for Suffering》中。她使用點雲技術捕捉人體,並故意保留在動態捕捉過程中出現的破碎與扭曲,這些技術上的「缺陷」在藝術家的手中被轉化為表達脆弱性與易碎感的符號,「不完美」的技術同時強化了作品的情感表達,使觀眾能夠感受到技術無法完全掌控的身體經驗,從而引發對人類身體和身份的深層思考;同樣地,Marshmallow Laser Feast的《Breathing with the Forest》亦將3D點雲技術應用於描繪生態系統的動態流動,而非靜態的複製。在此作中,點雲的模糊和不確定性不被視為技術上的瑕疵,而是成為了藝術表達的核心元素。這些動態的點雲使得森林的生命力不再只是視覺上的再現,而是通過技術手段表達出自然的呼吸與流動,觀眾因此被帶入一種與自然共鳴的沉浸式體驗。

因此,在藝術創作中,3D點雲技術不再僅僅是為了精確還原現實,而是被賦予了全新的符號意義。我認為多的藝術家在使用數位測量技術時,「不完整」的影像並非是在技術操控上的限制,藝術家反而利用技術的「不完美」中的可能性展開詮釋來探索現實與虛構、記憶與當下之間的界限,從而在視覺層面上創造出充滿張力的藝術表達。更有甚者,這種從工程技術到藝術媒材的轉換,在藝術領域中延展了藝術對於數位技術本身的彈性。在了解數位測量技術如何從工程應用轉變為當代藝術中的媒材後,或許我們可以更深入地觀看一些打破傳統技術邊界、並提出觀看體驗意想不到的一些案例。

數位測量的藝術技術與嶄新運用

首先是ScanLAB Projects在「2023 TCCF創意內容大會」以及「第79屆威尼斯國際電影節」(Venice Film Festival)播映的作品《FRAMERATE: PULSE OF THE EARTH》中(註9),運用了縮時攝影的概念,其中一個片段捕捉並可視化地球各地在三年間的變遷。這種技術將時間的層疊與空間的轉換具象化,模糊了現實與記憶的界線,讓觀眾沉浸於一個持續變化的開發中地球。值得一提的是,對於掃描隨風飄動的植物是一項極具挑戰的工作,因為在後期進行建模運算時,每張照片中的樹葉位置通常都會不同(這曾是我運算失敗的原因之一)。這部作品需要不間斷的掃描和運算三年的時間,可說是技術含量極高的作品。

ScanLAB Projects,《FRAMERATE: PULSE OF THE EARTH》片段截圖。© ScanLAB Projects。

在ScanLAB Projects與柏林國立歌劇院(Staatsoper Unter den Linden)與柏林樂團合作的劇場作品《FELIX’S ROOM》中(註10),則使用點雲建模將一個已經消失的房間在舞台上重現。這個房間曾屬於一位猶太商人Felix,他在二戰期間使用這個房間作為避難所。團隊通過分析Felix留下的信件、照片和家具細節,精心重建了這個空間,並使用CGI建模技術將房間的每一處細節數位化。這個「虛擬房間」具有極高的可塑性,牆壁可以隱現,讓觀眾更好地觀察到房間內的動作。這樣的處理,營造出一種「幽靈」般的空間效果,點雲圖像不斷地在舞台上漂浮、閃爍,甚至能使舞台像骰子般旋轉,演員也隨著地心引力與場景的配合,讓觀眾在歷史記憶的重現與消逝之間徘徊。

《FELIX’S ROOM》舞台佈景樣貌,六個面皆有數位點雲的投影。圖片來源/BEYOND 2023 發表作品時的講座投影片
《FELIX’S ROOM》舞台的建模檔案。圖片來源/BEYOND 2023 發表作品時的講座投影片
《FELIX’S ROOM》翻轉舞台方向的演出片段。圖片來源/BEYOND 2023 發表作品時的講座投影片

另一個值得關注作品,同樣來自Marshmallow Laser Feast,《In the Eyes of the Animal》一作運用了VR裝置(註11),讓觀眾通過動物的視角來感知和體驗森林中的世界,模擬蜻蜓、蛾、青蛙和貓頭鷹四種不同動物的視覺感官。團隊將掃描成點雲的森林,透過動物的特性轉化為不同的感官方式。例如,蜻蜓的複眼視覺範圍和光譜與人類截然不同,作品因此模擬出了一個具有高動態範圍和更廣視野的景象。這部作品挑戰了人類中心主義,探討生物之間的環境界(Umwelt)。

Marshmallow Laser Feast,《In the Eyes of the Animal》,Abandon Normal Devices Festival,Grizedale,UK,2016。圖片來源/Marshmallow Laser Feast網站
Marshmallow Laser Feast《In the Eyes of the Animal》作品片段,蜻蜓的眼睛。圖片來源/Marshmallow Laser Feast網站

這三件作品展示了點雲建模在藝術創作中的多元運用,從以物理拍攝結合縮時攝影技術的視覺表現;到劇場舞台上的創新挑戰,也有許多在VJ(Visual Jockey)上運用的點雲建模作品;再到利用VR裝置進行環境界的探索。這些創作展示了技術之於藝術的應用,也看見如何利用新興技術突破視覺表現的傳統疆界,甚至挑戰觀眾的感知與思考方式,引發了對人類中心主義的反思,更促使我們重新審視技術在未來創作中的潛力與限制。

結語

回顧前文所述,點雲建模技術從最初的工程測量、古蹟修復,逐漸擴展到電影、遊戲,以及當代藝術創作中。這項技術不僅在現實世界的重建與保存上發揮了關鍵作用,也為藝術家們提供了全新的創作手段。無論是通過點雲圖展示模糊、流動的視覺效果,還是運用表面重建探討破碎與不完整的美學,數位測量技術在視覺藝術中展現了巨大的潛力。

隨著點雲建模技術的進步,越來越多的創作者開始使用這項技術,這固然為創作帶來了新的可能性,但也讓我感到一絲擔憂。當技術逐漸成為常態,某些視覺風格和表現手法難免會變得氾濫,失去原有的新穎性與衝擊力。畢竟,現在已有許多藝術家使用這項技術,但常見的視覺型態往往令人感到似曾相識,缺乏突破與創新。

對我而言,不斷閱讀和研究相關媒材的各種案例,有助於理解這項技術的高技術運用,這更讓我能夠反思和觀察其他藝術家如何思考這些媒材特性的深層意涵。我相信透過不斷的探索和批判性思考,我們才能真正超越技術的表層運用,發掘其內在潛力,從而在未來創作出既具有技術深度又能引發觀者共鳴的作品。這是我對數位測量技術在未來藝術創作中的一個期許,也是我在藝術創作之路上持續前進的重要動力,因為我也是使用點雲建模作為創作媒材時開始研究這些案例的。


註釋
註1 關鍵評論網於2019年4月發布了一篇關於巴黎聖母院火災的新聞報導,詳細描述了火災發生的情況及其影響。此外,Rachel Hartigan於2015年6月在《National Geographic》上發表了一篇文章,介紹了藝術史學家安德魯.塔隆(Andrew J. Tallon)如何通過點雲建模技術對巴黎聖母院進行精細掃描的過程,並探討了該技術在文化遺產保存中的重要性。

註2 GIGABYTE官網提供了一篇關於點雲技術(Point Cloud)的介紹,詳細解釋了點雲技術的基本概念及其在各個領域的應用。

註3 中國自媒體團隊影視颶風於 YouTube 發布的影片《无人机扫描整座山 !耗费30天,用10000张照片还原世界文化遗产》 中,詳細介紹了數位測量技術的應用、使用方法以及相關的使用教學。該影片展示了利用無人機進行數位測量的過程,並說明了如何通過大量照片來重建世界文化遺產的三維模型。

註4 欲了解更多關於《Breathing with the Forest》製作過程的詳細信息,請參考Marshmallow Laser Feast團隊在官網上的介紹。該頁面詳細說明了團隊如何利用數位技術將森林的生態系統轉化為視覺化作品,並展示了這項作品的技術細節和藝術理念。

註5  欲了解有關表面重建技術的詳細技術說明,請參考Open3D官方網站上的這篇文章《Advanced 3D Surface Reconstruction》。文章深入介紹了Poisson重建和TSDF融合等方法,這些技術在3D點雲數據的處理和視覺化中具有廣泛應用。

註6 《複視許哲瑜 — — 《白屋 Gray Room》裡的「白」》深入探討了許哲瑜在《白屋》作品中的創作理念與技術運用,並分析了其如何透過數位測量技術表現破碎與不完整的美學。這篇文章詳細解釋了許哲瑜如何巧妙地運用點雲技術,並展現了作品中深層的情感表達。

註7 索菲.卡恩的個人作品網站上詳細介紹了「Machines for Suffering」系列作品,此外,她的其他作品也多圍繞數位測量技術進行創作。另外,一篇發表於Medium上的文章也探討了其創作理念及其在數位測量技術上的運用。

註8 文章來源於CyberCTM網站,探討了克萊門特.瓦拉的《Point Cloud Garden》系列中的其中一件作品,該作品以澳門益隆炮竹廠為主要拍攝對象,並在專訪中深入解析了數位測量技術在該作品中的應用。另在網站上,可以觀看「Point Cloud Garden」系列中所有拍攝的影像及其展示內容,瓦拉也在YouTube上傳了一段訪談影片,詳細介紹了該系列作品。

註9 ScanLAB Projects《FRAMERATE: PULSE OF THE EARTH》一作詳情介紹,可以在其作品網站上查看。

註10 《FELIX’S ROOM》由ScanLAB Projects與柏林劇團合作創作,作品中通過六個面的投影巧妙地再現了一個消失的歷史房間,特別是面向觀眾的一面投影如同幽靈般透明,可以細緻觀察這些投影效果的實現,詳情可參考柏林劇團的官方網站

註11  Marshmallow Laser Feast《In the Eyes of the Animal》一作細節可參考他們的作品網站,其中詳細介紹了如何將四種動物的視覺轉化成VR裝置內的動畫,以及對每一種動物轉換過程的詳細解說。

註12 環境界(Umwelt)是一個由德國生物學家雅各.馮.烏斯庫爾(Jakob von Uexküll)提出的概念,用來描述不同生物依據其感官與感知方式所建構的世界。每個物種的環境界是獨特的,反映了該物種如何通過其特定的感覺器官與環境互動。這個概念強調了生物世界中的主觀經驗,並挑戰了人類中心主義的視角,詳細介紹可以參考此篇文章

蔡睿宇(Rui-Yu,Cai)( 1篇 )

宜蘭人,對於攝影讓我們誤以為可以擁有的陷阱感到有興趣,喜歡研究各種攝影技術與媒材,現就讀於臺北藝術大學美術系。夢想是至少要考上研究所。

查看評論 (0)

Leave a Reply

Your email address will not be published.