內容轉譯的視覺敘事：談漫畫演繹的應用

此文是個人在平台的首篇，先徇私提及近年來不同形式的數位轉譯議題之分享，也任性地在截稿當天於松山機場候機等飛澎湖前讓靈感思緒飛了會兒，才任隨意流轉地敲鍵寫下初稿，傍晚飛抵台灣後，就遁入咖啡館依其想法寫就此篇。當然，就如題設定，要介紹的還是「漫畫演繹」。

這篇撰寫過程中摻用了許多的「刻意」，那是「經心」的斧鑿痕之隱掩或張揚，也是「思考」過的取捨。文中留下的吊書袋、專有詞編撰、結構論述等痕跡都是種「被設計」，佔著篇幅以文字累積著艱澀晦深，卻頗適合用以去突顯文末所談到的漫畫形式之視覺敘事手法與功能。

對於摻揉著大量圖文的敘事，我絕不陌生，無論是尋圖先行或綴文以圖，圖文的分配不僅有先後之序也有多寡之別。在過去分享的數位轉譯議題中，就很常利用Google Arts &Culture平台上的數位博物館典藏資料，作為多媒體科技與數位敘事技術之論述與案例，對個人而言，也是將分列於歷史橫軸兩側的新科技與古文物共構於同篇中的「刻意」。卻也不意地能與「數位轉譯／博物館科技」走向合拍，我指的是古韻新意、古物新貌、或古新匯趣，要橋接此兩迥異的內容與技術自然是突兀且有難度。值此觀點，近年在許多博物館所實踐的科技介入成果與多媒體內容設計與展示，其實都應得到掌聲。

這些年有許多的「刻意」也在建立以「數位轉譯」為主軸之敘事技術與論述時出現，因為參與此工程的多方專業亟需要共同語言與架構去合作，因之「數位轉譯」的結構與方法就該被設計出來。簡單地說，因應博物館導入數位科技的疊加型第三方專業，「數位轉譯」或可理解為「整合科技與內容的數位展演與敘事技術」；但若要深入地談，「數位轉譯」不僅是設備與技術之處理的成果，更是知識與資料處理的過程，也是在數位技術與設備的條件下，於敘事脈絡中進行的特殊設計。

前面有提到此文中留下了「刻意」斧鑿痕，其中有項就是吊書袋。所以，若接續上述正談著的「數位轉譯」，但改以「數位溝通」的概念去描述數位資訊的閱讀與理解的話，那吊書袋內容就會像是：

這兩個引文談的都是從譯碼形式去描述在資料閱讀時的理解與詮釋，但強調其間有關轉譯的自主性與個別差異。如果對於「數位轉譯」有些理解，就會對於其所提供的數位參與及開放詮釋有所期待，特別是在新博物館學越來越強調趨異、賦權、參與的趨勢下，觀眾擁有自主性就相形重要了。

而若從參考戲劇創作的「戲劇結構」（dramatic structure）來看，在「Five Elements of a Story」結構中，居於劇情轉換樞紐的「高潮」（climax）、「轉折」（plot twist）、「衝突」（conflict）等都是能引劇情起伏的必要元素，特別在針對觀眾去觸發動機、強化參與、增加娛樂等效果上。就像前述提到的「刻意」，許多的展示、教育、推廣確實都是經了心地被設計，其結構也都是思考過的。畢竟「結構」不僅是編劇創作者、敘事者作為情節推移、演繹、連結、互動等所需求的組成外，也是具體化、組織化敘事內容的重要技術。

Lombardo、Pizzo、Damiano（2015）曾針對文化遺址導覽詮釋去引用戲劇理論，並且提出「戲劇本體論層次組合」（Layers of ontology Drammar）。他們引用戲劇理論，進一步將演繹劇情的戲劇時間（theatrical timeline）給切分為個別的段落與單元（segment／unit），每個單元中有不同的動作（action），且這在這戲劇時間中，幾個設計過的單元就組成場景（scene），且這些單元還透過重組、交錯、互替、縮時、延時、增刪、定格、聚焦……等單元間的關係設定，甚至是單元與群體間關係設計，去創造戲劇效果（dramatic effect）。也因此整體時間結構（theatrical timeline）被分解成單元、動作、場景後，這些元素單元如何去連結鋪陳，就有賴前述戲劇技巧的「觸發」（provocation）、「激發」（stimulate）。（註3）

這些研究指出了敘事演繹也是能被結構化地理解與分析的，也就是參與「數位轉譯」的多方專業也能有共同語彙進行溝通與合作。

其實這樣的數位轉譯技術與觀念並不難理解，也能落實在個人的生活歷程中。就像前面所說過的，寫這篇的當下，我人是在松山機場候機大廳，正準備搭機赴澎湖處理某產學案的期末報告。這份為會議審查而準備的簡報檔就很適合說明「演繹結構」（deductive structure），因為演繹就是前後兩段情節、場景、對話間的設計與內容構成。而PowerPoint所提供的內容組成畫面，像是幻燈片揀選器（slide sorter）的截圖，這樣的畫面可以提供幾項編排檢視：

若實踐在實際的展覽相關業務上呢？記得在為2018年11月中為台北數位藝術節「超機體」擔任專家導覽時，也是先到現場賞析作品、撰寫導覽資料，再重新規劃屬於自己導覽內容的節點、動線、區域，也刻意找出區域亮點（地標〔landmark〕），所理出的導覽流程可視覺化為「專家導覽動線圖」。

那是在展區空間、數位敘事、時間掌控、服務對象、數位科技等條件限制下，所規劃出的必要導覽設計，在經過資料消化、場地實勘後，就能將「（節）點」與「（動）線」為形式的敘事內容導出，個人將這技術稱為「串點連線」（path linking），主要有兩種形式：

以上兩種方法都能有動機去引導著在兩「節點」間的移動，並形成「路徑」，進而串起不同「區域」中的「節點」，連成敘事動線。

然而，這些「刻意」地吊書袋，終究是有違常理的，並不易親近理解。且以觀看展覽與分析展示的經驗來說，「看」展覽真的不是「讀」本書，過多的文字敘述是不符合展覽文法的。因此仰賴隱喻（metaphor）、類比（analogic）形式功能的「視覺概念化」（visual conceptualisation）成為橋接「言語敘事」（verbal narrative）與「視覺敘事」（visual narrative）的關鍵轉譯手法。但要讓歷史、文物、藝術、博物館這些無聊的東西變有趣，確實有其難度，何況還必須執行研究、展示、教學、引起動機、說故事等等業務，才有機會在被設計的角度（perspective）、焦點（focus）、 形式（form）上看見上述的「刻意／斧鑿痕」。然而在會議上（講者 vs 聽者）與展覽場域中（策展 vs 觀眾）也是如此，參與者都同時都在編碼與解碼的過程中，若能彼此參與與欣賞，就會是其魅力所在，且所擴散與激發的能量是難以想像的。否則，無法溝通與理解，只可能會落得自顧自言，甚或相顧兩怨。

上面所述就是在預定交稿當天，把機場候機時所草草寫就的初稿給順筆補實後的內容，且在這此刻意設計的文本中，作為一種需要反覆解讀的晦澀存在，相對下使後續的「毫秒直覺」案例的視覺敘事與漫畫演繹之介紹顯得清晰易懂。這樣刻意設計的「晦澀／清晰」之別，確實是在梳理本文論述架構時的靈感，因為吊完書袋後想起曾以漫畫圖像去呈現概念內容的反差，遂想將此記錄下來。

上段提及的「談競速疊杯的毫秒之爭」是我在之前跨界為《競技疊杯運動與休閒》期刊所寫的專文，頗適合討論「文」「圖」演繹內容的差距。該篇在內容中，試著從理論、文件、圖像、介紹競技疊杯的毫秒之距。競速疊杯設備很簡單，所以「技巧習得」（  acquisition）到「技巧熟練」（mastery）就是非常重要的「競技／競速」關鍵能力，其目標就是在於透過不斷地練習、修正微技巧、減少錯誤、加快速度，方能贏得「毫秒之爭」。

就像下述文字版競技疊杯之玩法解說，當讀到「輕輕握住杯身用小指撐住杯底。用手指將杯子間的空隙弄開」，有時會想：若能有圖像（甚至動態影片）的步驟示範，應能更清楚些。

其實疊杯競技廠商提供的教學影片不少，上述「競技疊杯運動的玩法解說-3-6-3式疊法」的關鍵技巧，也能在看了影片後，理解如何以「慣用手」正確抓取三個疊杯，並且「輕輕握住杯身」、「小指撐杯底」、「撥出杯間空隙」。

為疊杯競技的毫秒之爭，我在《競技疊杯運動與休閒》期刊引介「德雷福斯技巧習得模型」（Dreyfus model of skill acquisition）的「技巧習得」到「技巧熟練」，該模型從「指令」與「直覺」分級出新手、進階新手、勝任者、熟手、專家等五個等級。「新手」、「進階新手」、「勝任者」對於指令和規則的依賴程度而有別，「熟手」跟「專家」區分則是對於模式建立與直覺判斷方面的能力差異。不論是關口將太的握壽司或2秒內完成3-6-3競速疊杯，在競技時，都已是不加思索的直覺了。不再依賴準則與指引作為行動判斷，所呈現的直覺能力更是整體技能的無縫轉換。競技疊杯玩到化境，就是這樣的技巧。（註4）

這也讓我想起在在日本漫畫家寺澤大介（寺沢大介，Daisuke Terasawa）所繪的一個情節，所以也用在文中。那是在《將太的壽司》（将太の寿司，1992-1997）系列漫畫第九集時，關口將太在東京壽司師傅大賽中遭遇清川流也。比賽的主題是「握壽司競速賽」，而清川流也有「捏製機器」之名。此人捏製速度極快，平均完成一個握壽司只需要4秒鐘。且擁有「小手返握」神技，只要三手（步驟）就可以完成一個握壽司。然而，壽司習藝五年減一手，將太初入行，約莫要六、七手才能完成，習藝多年的小政師兄需四手，資深的大政師兄僅需三手。面對這樣的速技神手，初到「鳳壽司」習藝的將太該怎麼辦？這位有天份潛力的漫畫主角就想出了幾個重要的「微技巧修正」與「材料準備」創新想法，有效地縮短捏握壽司的速度，也就是：

這「直立返握」還真是傑出的一手。

個人認為漫畫也算是「多媒體」的，除了圖文外，強化「聲音」效果的狀聲詞是其特色；且漫畫雖是「靜態」，但所呈現最具演繹性的「動態凝結」；漫畫景框畫格有大小變化，使畫面構成組合會比固定尺寸的電影分鏡更具畫面敘事張力；漫畫也不像動畫需要「中間幀」（in-between）作為所謂補幀內容，即能以「key pose」（關鍵動態）為重點，在逐格觀看的形式下，自動組成「pose-to-pose」連續動態與劇情演繹。在展場與日常生活中常見的圖解圖說即是此理，取其敘事之能，也收辨讀之易。

行筆至此，若要給此篇的「隨心」與「刻意」一個目的性的話，那就是從繁複的深度論述去突顯視覺敘事在呈現觀念與意象上的明暸與強勢。在分享「數位轉譯」論述與技術的這段時間，自然很清楚「文／圖」與「描述／示象」的不同適性與功能取捨。未來要在此園地逐篇分享的「數位轉譯」之觀念與技術其實還很「新」，既然「新」就不免有著扎手的鋒稜，那是種還未經過修整的銳利。這是在邊補寫邊收拾上午在機場那段flow writing所留下的思緒靈感時，很「刻意」地想要留下的「粗糙雛形＋鍛造鍊形」之複合印象。然而，倒不是夸言著「數位轉譯」就是個未經琢磨的寶石，而是強調其還未被雕琢成形。此外，以我個人這期間的嘗試錯誤（try and error）的實務經驗，就強烈感受著跨域應用與學科整合是目前科技介入各類專業的必須。且無論是從策略、實務、技術、理論去推動／定位／強化「數位轉譯」角色功能；或從實務經驗、業界訪談、文獻資料的經驗累積去媒合／整合／嫁接「內容」與「技術」兩端，「數位轉譯」確實是能因應博物館導入數位科技的疊加型第三方專業。

此篇也隱隱地提示著在數位科技與內容的整合形式與敘事文法上仍待補充、建置、落實的現況，所幸已看到各方專業已從不同方式與方向為此努力著。畢竟，博物館科技要有更成熟的發展，「內容專業」與「技術專業」就必須有更多的交集，而且據以提出專業的兼具內容研究與數位技術能力的「中介技術方」存在之必要性。於此，個人目前是將答案指向：「數位轉譯」。

註1　“Decoding or interpreting in reading refers to the process of changing the coded message into information.” Rizvi, M. A. (2005). Effective Technical Communication: 2/e. New York: McGraw-Hill Education.

註2　"The processes of reading are further complicated by the fact that each mode in a multi-modal text carries its own code, while simultaneously blending to produce a meaning that is often greater than the sum of its parts." Kress, G. R. (2003).  Literacy in the New Media Age . London: Psychology Press.

註3　Lombardo, V., Battaglino, C., Pizzo, A., Damiano, R., & Lieto, A. (2015). "Coupling Conceptual Modeling and Rules for the Annotation of Dramatic Media." Semantic Web, 6(5), 503-534.

註4　Dreyfus, S. E., & Dreyfus, H. L. (1980). A Five-Stage Model of the Mental Activities Involved in Directed Skill Acquisition (No. ORC-80-2). California: UC Berkeley Operations Research Center.