正在閱讀
【臺漫現場專欄】敘事體的一次突變─談VR文學到VR漫畫的非定向演化

【臺漫現場專欄】敘事體的一次突變─談VR文學到VR漫畫的非定向演化

A Mutation in Narrative – Literature and Comics in VR’s Non-directional Evolution
全球的VR發展,除了有演變脈絡的「VR遊戲」、「VR電影」之外,VR在敘事的載體上,是演化的變異體,各個領域的敘事文本都紛紛VR化。

VR即是虛擬實境Virtual Reality,從2016年被稱為VR元年開始,至今已經邁向第5年,現今VR對於大眾來說是科普常識,就算沒體驗過但一定有聽過。VR在體驗上的「沉浸」與「第一人稱」觀看視角的特性,對於「電玩遊戲」極為合適,也因此多數的VR設備開發商,預設的市場對象就是電玩為主的消費客群,而同為敘事媒體的電影也發現了VR的魅力,2017年威尼斯影展首度增加了VR類的獎項,而同年高雄電影節首次推出VR單元「VR電影短片」, 2018年臺北電影節也推出VR單元「VR全浸界」,VR被廣泛應用在遊戲與電影之中。

VR(Virtual Reality)如今對於大眾來說是科普常識,。VR在體驗上的「沉浸」與「第一人稱」觀看視角的特性,對於「電玩遊戲」極為合適。(本刊資料室)

然而觀察2016到2021這五年之間,發現全球的VR發展,除了有演變脈絡的「VR遊戲」、「VR電影」之外,VR在敘事的載體上,是演化的變異體,各個領域的敘事文本都紛紛VR化,誕生「VR展覽」、「VR教育」、「VR新聞」、「VR文學」、「VR漫畫」等等,前三者展覽、教育、新聞還算可以想像,但是後兩者VR文學、VR漫畫卻無脈絡可尋。如果把敘事體的演變透過「科技」與「傳播」的角度去定義,順序分別是文字、圖像、影像、遊戲,而演化的必要則隨著印刷術、電影放映機、電腦等科技的發明,讓敘事的傳播方式有了變化,而VR化若套用此角度卻是一種特例。對於科技與之間是一種非定向演化,就如同演化之中產生了變異,因此文字VR化、圖像VR化、影像VR化、遊戲VR化,並非橫軸的演化,而是同時一起往縱軸移動。本文將思考文學與圖像漫畫VR化的緣由,並且探討漫畫VR化是否有其必要性,與如何區隔漫畫、動畫、遊戲之間VR的差異,或許VR漫畫可能是漫畫的未來式。   

科技演化中的VR

從科技觀測敘事體的演化,如同Martin Heidegger在其著作《The Question Concerning Technology》提及的概念,強調科技不是工具,而是看待世界的方法。科技一直以來也扮演媒體傳播的方法,蔡琰與臧國仁 2017在新聞學研究的發表,說明「科技」在「敘事傳播」的重要性,也因此我們先要瞭解VR的科技史,才能進一步的去推測漫畫VR化的原因。雖然近年VR迅速的發展,但其實VR並非新的科技,早在1962年時,Morton Heilig就發表了一款沉浸式系統的雛型《Sensorama》,以體驗劇院的方式結合彩色顯示器、風扇、氣味發射器、立體聲系統和運動椅等五感技術,讓觀眾可以如同駕駛摩托車穿梭紐約街頭。而計算機圖學之父Ivan Sutherland於1968年發表了最接近現代VR顯示器的設備《A head-mounted three dimensional display》,此款設備透過頭戴式顯示器觀看三維的物件,可以更容易的使觀察進入虛擬世界,但是顯示器過於笨重,只能懸掛在天花板,而不是真正的穿戴於使用者身上。

任天堂曾推出VR遊戲主機「Virtual Boy」。(圖片來源:維基百科)

雖然早在1968年就有第一款頭戴式VR裝置的原型,不過發展速度緩慢。1968年至2000年間,有些許實驗性質的發明,如任天堂推出首款VR遊戲主機「Virtual Boy」,VR正式的走進了家用的範圍,但是近年VR設備會普及,還是因為智慧型手機的流行。智慧手機的發明如同一台攜帶方便的小型電腦,也因此牽動了手機零件的輕量化,包含螢幕、IMU電子羅盤等晶片,都朝向最小最輕「攜帶方便」的角度來思考,也因此2011年Palmer Luckey透過集資網Kickstarter募資到240萬美元,成功推出《Oculus Rift》,並且於2014年被Facebook以20億美金收購,正式開啟了近代的VR科技加速的時代。以科技的角度觀看敘事體上的演化,可以瞭解雖然在漫畫從紙本進入數位的2000年以前,VR技術就已經有了一定的應用,但也因為顯示效果與數位運算尚未普及,也因為重量的限制,就算漫畫開始數位化,但還不足以有VR漫畫的條件。當手機普及時,漫畫也轉成「條漫」的形式,如果以此角度推測,假設當VR更普及,漫畫VR化也是必然的演化。

沉浸式敘事與VR的必要性

VR與其它敘事載體最大的差別,在第一人稱敘事可以非常自然,VR在視角的顯示方式即是「第一人稱鏡頭」,觀眾透過頭戴式顯示器與IMU控制,進到虛擬世界,第一人稱鏡頭的設計也適合第一人稱敘事的表現方式。在敘事學中「敘事觀點」一直是敘述的核心,在Henry James於1934年發表的《The Art of the Novel: Critical Prefaces》就有提及小說的敘事手法,當時即有第一人稱敘事與第三人稱敘事的概念。而第一人稱的方式,是為了讓讀者與敘述的對像可以「感同身受」,這個感同身受則與「沉浸」與否有關。Csíkszentmihályi Mihály的知名著作《Flow: The psychology of optimal experience》,提出了「心流」的概念,透過心流產生出沉浸感,沉浸感也是觀眾如何高度融入敘事的根本,可以達到兩種心理狀態,分別是「身歷其境」與「感同身受」。而VR在設計上的機制就可以快速達到「心流」的狀態,自然也容易讓觀眾產生身歷其境」與「感同身受」的知覺。「身歷其境」與「感同身受」也剛好對應著「VR教育」與「VR新聞」的需求。

教育部「VR/AR 教材開發推動及示範計畫」官方網頁。(網路截圖)

VR教育是以艱深難用課本表達的科學知識,透過VR身歷其境的方式,讓學生可以更佳的理解其內容。目前教育部於2018年開始推動「VR/AR 教材開發推動及示範計畫」,其補助製作的教案也可供全臺國高中小教學使用,2018與2019年已有28件VR教案的累積,也說明VR用在教育領域的重要。另外感同身受最有效的應用就是新聞,新聞也一直與科技的應用息息相關,John Herbert於1999年的著作即把新聞定義成就是科技本身,包含電報、電話、衛星與網路,科技一直伴隨著新聞的發展,也因此新聞也很早就有VR上的應用。一般VR在製作上有分成兩種手法:「幾何式」與「影像式」。幾何式的VR就是透過電腦演算出虛擬世界的即時運算型VR,而影像式則是透過360攝影機進行圓球型的拍攝,最後再把圓球進行縫合與拼貼。360度攝影機的普及也使得VR新聞的技術難度降低, 2015年《紐約時報》發表了世界第一隻VR新聞,以「法國恐攻」之後的畫面,打破新聞學強調的鄰近性,使遠在美國的觀眾可以透過VR進到法國巴黎現場,對於其事件產生感同身受的情緒。也因此可以瞭解,VR非常強調「身歷其境」與「感同身受」的必要。然而若用此重新的看待VR漫畫,「感同身受」這部份就反而沒有需求,因為漫畫在敘事上除了少數因為劇情需求以第一人稱來表現漫畫的張力,都是以第三人稱為主,也因此VR漫畫是強調「身歷其境」的感受,這部份也與VR文學是相似的脈絡。

VR文學到圖書館的VR閱讀區

為何VR文學需要強調「身歷其境」而不一定是「感同身受」,主要是文學在敘事的手法上也非常多元,除了常見的第三人稱敘事外,第一人稱也是主流的敘事手法,甚至有文學作者會切換敘事的觀點方式,而第一人稱與第三人稱之間的差別,除了觀點外,就是「全知」與「限知」的差異。楊雅琄在2002年的碩士論文提及,全知的敘事在故事中就如同有著上帝視角,會知道故事中每一位角色的情緒與內心戲,通常第三人稱就是全知的敘事,而限知的敘事就是第一人稱的敘事方式,在故事中讀者只會知道第一人稱角色的情緒與內心戲,無法得知其它角色的敘事。雖然第三人稱撰寫刻意使用限知的敘事方式,但是其結果與第一人稱的敘事方式很類似,如同第三人稱的後方有一個背後靈觀看限知敘事,也因為在文學之中沒有「鏡頭」,第一人稱與第三人稱只有全知與限知的差異,也說明了文學的第一人稱與VR教育、新聞需要的感同身受是不一樣的。

國立故宮博物院中設置「神遊富春江VR」讓觀眾徜徉於《富春山居圖》畫作當中。(國立故宮博物院提供)

若第一人稱「感同身受」不是文學VR化的關鍵,那「身歷其境」為何就是VR文學的必然,主要是因為VR文學多數應用在文學描述中畫面的補完,如南臺科技大學的作品《郁永河裨海紀遊VR》,把古文提到的內容透過AR的方式補完,這種展示概念其實類似數位典藏計畫,把博物館文物轉譯成互動式劇場一樣,也如同近期故宮推出的「經典之美─故宮數位印象展」,把早春圖、谿山行旅圖等國寶互動劇場化。

國立故宮博物院「風格:富春印象」沉浸式投影劇場。(國立故宮博物院提供)

然而相比之下,VR文學只需要一組VR裝置就可以展示,在開發上較容易,也不需如互動式劇場需要大量的空間與技術,VR簡化數位轉譯的複雜度,也影響了圖書館開始在館設中設立VR閱讀區,與推動VR文學的計畫。為何圖書館開始推動VR呢,從楊智晶於2017在國家圖書館館刊的發表可以得知,2015年加拿大國家圖書暨檔案館策畫了「The Library at Night」,就首度設置了VR展區,之後開始全球的圖書館都紛紛引進VR展區,如美國的卡內基美隆大學(Carnegie Mellon University)、懷雅遜大學(Ryerson University)的圖書館等等。

臉書教育首頁,當中包含使用Oculus穿戴裝置觀看的VR內容。(網路截圖)

2018年,Facebook在全球包含臺灣推動「Oculus Education」計畫,捐贈臺灣50組Oculus VR裝置,給臺灣各處圖書館及博物館。另外也有新聞報導,2021年韓國國家圖書館與中國北京國家圖書館也都設立VR閱讀區,並且開放一般大眾進行VR閱讀。臺灣方面,國家圖書館在執行「漢學場景虛擬實境閱讀體驗先導計畫」,即開設圖書館VR閱讀區,2019年甚至除了設立專區,還開發VR文學,推出林良《小太陽》VR版。其他各縣市圖書館與學校圖書館,也開始設立VR閱讀區。如2017年世新大學圖書館設立VR閱讀區,讓學生可以自由的使用VR設備,2018年新北市立圖書館也設立VR閱讀區,國立臺灣美術館也在2021年改建原本的圖書資訊區,設立由圖書資訊處管理的VR閱讀區,預計於下半年改建完成。因此圖書館設立VR閱讀區,已經是世界的趨勢,VR文學已經是潮流。也因為VR設備的普及,讓圖書館能展示數位轉譯的成果。因此VR漫畫也如VR文學一樣,是圖書館展示的「VR出版品」。

小規模誕生的VR漫畫

博物館的數位轉譯,透過前瞻的科技技術,達到展示展演的極致,而透過VR技術帶來展示難度的精簡化,使得圖書館也可以透過「小規模」展示數位轉譯的VR作品。在這邊的「小規模」並非貶意,而是一種更容易傳播的變通方法,而VR漫畫也是同樣的邏輯所誕生的一種展示方式,若VR漫畫是小規模,那對應的當然就是演化定向的後兩者,也就是動畫與遊戲。動畫與遊戲製作規模與預算的昂貴,根據新聞報導日本一集電視版動畫,張數平均每秒12張,最低預算是1000萬日幣(約250萬臺幣),而遊戲則是一部正常的作品約100萬美金(3000萬臺幣),在製作規模與預算對於尚未有成熟消費市場的臺灣極為困難,也因此VR漫畫可能是小規模實現動態與互動體驗的一種變通方式。

以中國為例,近年非常流行「動態漫畫」也是一種非定向的演化,透過Live2D軟體,讓漫畫局部有動態(如頭髮披風),再透過配音,使漫畫有著如動態腳本般的呈現方式。這種方式在漫畫主流的日本韓國沒有發展起來,反而中國非常流行,甚至觀看流量不輸正統的動畫,因此可以知道,非定向演化也能說是一種對於市場條件限制下的變通方式。

目前的VR漫畫還是現在進行式。2016年,VR工作室Oniride推出了一部VR漫畫《Magnetique VR》,同年美國的VR動態漫畫Madefire VR Comics也成立VR漫畫平台,只要有Oculus頭盔,就能在其平台上觀看美漫型式的VR漫畫。而韓國則是2017年,Studio HORANG推出Sphere Toon VR Comics 的VR漫畫平台。兩個平台的動態設計類似,透過VR的方式體驗漫畫的聲光效果,部份橋段需要觀眾推動劇情的發展,漫畫也都是以第三人稱的敘事方式進行設計,雖然部份劇情是第一人稱,但還是以為了推動劇情變化為主,並非VR電影、動畫、遊戲那種形式的第一人稱。

《諸葛四郎大鬥雙假面AR/VR》影像截圖。(圖片來源:諸葛四郎大鬥雙假面 AR/VR 互動漫畫與數位實境體驗展粉絲頁

目前在臺灣也有少數的VR漫畫創作,如由交通大學教授許峻誠主持的葉宏甲《諸葛四郎大鬥雙假面AR/VR》,是首次把經典漫畫VR化,但是這裡的VR化並非動態漫畫的VR演譯,而是「幾何式」的VR製作方式,透過於3D建模來還原漫畫中的劇情與場景,算是漫畫改編的VR遊戲。另外就是漫畫家小雪於2019年發表的作品《海洋生物超有事!》,使用Madefire VR Comics的製作系統,是標準的動態漫畫的VR演譯。在此作品中,小雪有刻意加入海洋生物的知識與介紹,透過配音與動態的變化,結合科普與教育的功能。也因此如果以「小規模」的製作流程來思考,許峻誠教授主持的葉宏甲已經是VR遊戲的規模,只有小雪的作品符合VR漫畫的定義,也是因為VR漫畫製作工具在臺灣尚未普及的原因。2020年,Kyungjin Han在SIGGRAPH Asia發表了一篇《Creating Virtual Reality Cartoons from Traditional Cartoons》,說明了VR漫畫的製作流程與會碰到的問題,他們發明了一套系統可以讓創作者快速的製作VR漫畫。也許臺灣也需要有自己的VR漫畫開發工具,讓多數的創作者可以嘗試,或許VR漫畫在圖書館VR閱讀區普及的當下,是有需求與可能性的。

「海洋生物超有事!」2019年前置展示意圖。(圖片來源:海洋生物超有事!粉絲頁

XR時代漫畫的未來

VR漫畫的演化起源在於VR文學與動態漫畫的總合,雖然從2016發展至今並沒有流行,但也可能是因為目前的VR顯示器還沒如電視機一樣,家家戶戶都有,這也是VR科技在推動上始於無法如智慧手機的困境。就算VR裝置在架設難易度改為更容易,開發廠商也都有設計Inside-out的定位機型,但是VR還是無法進入家用,可能只有圖書館閱讀區才有需要VR顯示器的需求。

相較之下,AR漫畫就發展順利的多,不過因為漫畫角色會與現實場景融合在一起,因此觀看體驗還是以新奇為主。目前AR已經廣泛的應用的繪本等圖文書上面,如開啟AR程式讓實體書本的圖片動起來,或著辨識圖片會有語音說故事。而AR也應用在很多漫畫作品的展覽呈現上,如AKRU的《北城百畫帖》AR裝置,Yashin的《Deep Blue》AR裝置等等,甚至知名的網路漫畫平台連載LINE WEBTOON在2016年時就推出了AR恐怖漫畫《未知號碼》,而影音平台Netflix在2018年也推出實體漫畫《The Magic Order》使用Facebook AR的技術來呈現AR漫畫。因此與VR漫畫相比,AR在應用上更為適合,透過AR可以讓漫畫人物穿越到現實世界,可能有更多的可能性。

假設AR能讓漫畫有著更多的嘗試,VR結合AR而成MR混合實境,可能也能讓漫畫介於VR與AR之間,能更容易的觀看與應用。目前MR除了Holo Lens以外,一些新聞之中也能聽到國外有眾多產品與研究正在進行著,也有一些高階的MR原型設備被新聞報導。假設AR在漫畫已經很流行,或許MR可以解決VR漫畫無法普及的難題,或著讓漫畫又進行了一次演化,不論如何,漫畫都將永遠的變下去。


參考文獻

1. Sutherland, I. E. (1968, December). A head-mounted three dimensional display. In Proceedings of the December 9-11, 1968, fall joint computer conference, part I (pp. 757-764).

2. Heidegger, M. (1954). The question concerning technology. Technology and values: Essential readings, 99, 113.

3. 蔡琰、臧國仁(2017),數位時代的「敘事傳播」:兼論新科技對傳播學術思潮的可能影響,新聞學研究,131,1-48。

4. Heilig, M. L. (2018). Sensorama simulator (1962), 1.

5. James, H. (1934). The Art of the Novel: Critical Prefaces, with an introduction by Richard P. Blackmore (New York: Charles Scribner’s Sons, 1909, reprinted 1937), 84.

6. Csikszentmihalyi, M., & Csikzentmihaly, M. (1990). Flow: The psychology of optimal experience (Vol. 1990). New York: Harper & Row.

7. 教育部VR/AR 教材開發推動及示範計畫

8. Herbert, J. (1999). Journalism in the digital age: Theory and practice for broadcast, print and online media. CRC Press.

9. 紐約時報Paris Vigil 360 VR

10. 楊雅琄(2002), 吳趼人與魯迅小說中的第一人稱敘事觀點運用,碩士論文, 國立中山大學。

11. 楊智晶、張華城、楊政達、黃文德、呂姿玲、莊惠茹(2017),穿越經典—圖書館以虛擬實境推廣閱讀之個案研究,國家圖書館館刊,2017. 02,134-152。

12. 國立故宮博物院「經典之美—故宮數位印象展」。

13. Han, K., Hwang, J., & Lee, J. W. (2020). Creating Virtual Reality Cartoons from Traditional Cartoons. In SIGGRAPH Asia 2020 Posters (pp. 1-2).

羅禾淋( 4篇 )

畢業於國立台北藝術大學科技藝術研究所碩士與國立台灣大學資訊網路與多媒體所博士。長期研究網路文化與數位科技,對應日常生活、環境、城市等議題。在漫畫跨領域策展方面,開創「漫畫裝置文件」展出的方式,策展經歷包括:《GAME‧NOT OVER‧YET電玩藝術特展》、《當漫畫介入社會》、《滲透次元壁 – 臺日漫畫美學當代藝術特展》等。當代藝術議題方面,以寶藏巖的駐村經驗出發,長期觀察城市與邊陲之間的關係,策展有《日常壞軌》、《都市馬赫帶》、《鄉愁製造機》等。2012被選為臺灣畫廊協會畫廊周年度策展人、2013台灣視覺藝術協會年度策展人、2015與2016大內藝術特區藝術節年度策展人、2017新樂園藝術空間20周年策展人、2018年臺北數位藝術節《超機體》策展人。目前為國立臺南藝術大學動畫藝術與影像美學所專任助理教授。

Copyright © 2021 Artouch Inc. 保留一切權利。