沉浸式艺术丨智媒时代民间传说借力互动装置艺术的创意营造与视觉表达

编者按

中华优秀传统文化的传承与创新是一个大国在世界文化激荡中站稳脚跟的支撑力量，而民间传说是传统文化不可或缺的部分，是传承和发扬中国传统文化内涵和精神的重要载体。民间传说通过口头讲述和文本记录的形式流传至今，在当今数字化、信息化的科技型社会中，文化正转向多媒体文化时代，即“智媒时代”，以“口述”“耳听”“文本”传播途径为主的民间传说在技术、经济和文化的冲击下产生文化断层。因此，民间传说“失语”的困境不容忽视，急需顺应现代化浪潮，运用现代视觉语言为民间传说的传承转化找寻可行出路，创新性完成视觉转译。从沉浸式互动装置艺术的特征出发，以分析民间传说在互动装置艺术中的融合状况为切入点，发现“文学 + 科技 + 艺术”相结合的艺术形式和沉浸式互动的展现方式，总结民间传说视觉转化成功经验。以数字技术与新媒体为依托、助推民间传说的视觉转化是保持时代活力的一种新理念、新途径。

INTRODUCTION

摘 · 要

在当今全新的视觉文化时代，急需利用现代视觉语言为民间传说的传承与创新性转化找寻可行出路。，通过分析沉浸式互动装置艺术的特征，探讨出多元媒介、沉浸式体验、多媒介互动空间构建的 3 种融合策略，对视觉时代背景下沉浸式互动装置艺术与民间传说融合的潜在价值展开了充分的探讨，为民间传说视觉转化与传承的沉浸式互动装置艺术实现提供参考。

一 · 沉浸式互动装置艺术与民间传说

（一）沉浸式互动装置艺术

装置艺术是指特定时空环境——材料的象征意义——艺术家个人情感——合目的性的创作和实验的一种综合性艺术。沉浸式互动装置是科学技术影响下新媒体交互艺术与传统装置艺术融合的产物。沉浸式互动装置为传统装置艺术带来了革命性改变，在当代文化与数字媒体技术的融合推动下，艺术家们开始运用多学科多审美交叉性知识，如编程、影像采集技术、计算机技术、心理学、艺术学等，涵盖多种数字技术如 VR、AR、MR、3D 全息投影、数字影像等，创造出一个全新的艺术空间。装置艺术的呈现模式从现实传统媒介转变到虚拟全息技术，由单向传播转变到双向传播，静态视觉感官转向动态多感官情感交互缩小了作者与观众之间的鸿沟。

沉浸式互动装置艺术与人的互动主要有感官型和行为型两种交互方式。感官式交互包括游客的视觉、听觉、触觉等感知的互动。当单纯的静态视觉内容无法满足人们的需求时，交互技术介入艺术创作，行为型交互产生。因此可以说行为型交互的出现是基于感官式交互体验并加以优化。

（图片：沉浸式互动装置丨来源：网络公开）

（二）民间传说的发展及传承困境

民间传说存在形式发展分为三阶段：首先在文字出现前的早期社会，大多数民间传说主要是以“口述”“耳听”形式流传至今。其次经历漫长的“道听途说”“街谈巷语”后，文字出现，民间传说才被学者记录在册，口承歌谣转为书面文本形式，主干情节和行文逻辑得以稳固。最后，20 世纪中期电子媒介出现，民间传说有了以大众媒介（电视、广播、电影等）为主体全新的传承形态。当下社会，5G 技术高速高质发展，虚拟现实、人工智能等技术多点开花，正是全新的视觉文化时代，传统媒介向多元综合媒介转型，因此找出在新媒介环境下民间故事多样化视觉表达方式是极为迫切和必要的，这是解决其可持续发展问题的有效路径。

基于民间传说的不同属性特征，民间传说可被划分为神话传说、史事传说、民俗传说等多个类别，民间传说视觉转化形式多样，有插画、包装、连环画、动画、影视剧、文创等，文章将围绕沉浸式互动装置艺术视角下民间传说的视觉转化策略展开论述，重新建构民间传说传统故事与现代人类之间的沟通桥梁，以实现民间传说的视觉转化与活态传承。

（图片：民间传说丨来源：网络公开）

二 · 沉浸式互动装置艺术的特征

（一）以全新的数字媒介为载体

数字媒介是以数字技术为支撑的传播介质，其特征是双向传播，相较于传统媒介，数字媒介的传播属性更具有全面性、互动性、时效性及娱乐性，还涉及计算、倚重计算机的功能。进入互联网时代以后，新媒介设计中的媒介技术类型多样，数字技术与多媒介交互融合衍生出一系列互动装置模式与现代视觉艺术新形态，带来沉浸式体验的视知觉感受，对装置作品的欣赏由静态单感官互动走向动态多感官互动、由现实传统媒介走向虚拟数字媒介，冲破时空的约束，缩小了输出者接受者之间的鸿沟。

（二）现代前沿科技与信息技术集成

在沉浸式互动装置的发展过程中，每一次科技革命的爆发都会引领其创新，作品的表现形式也在科学技术手段的进步下变得更为丰富。从较为直观的交互方式到基于硬件设备的交互形式，及至第四次工业革命助推下，以大数据、生物艺术、互联网、人工智能技术为依托引领下的智能化交互设计都对全感官沉浸式艺术作品的结构与内容产生了深远的影响。如：混合现实技术（MR）、虚拟现实技术（VR）、增强现实技术（AR）、3D 全息投影技学习教育、游戏开展等沉浸式情景画面之中。

（图片：数字化图书馆丨来源：网络公开）

（三）多元综合媒介

不同于一般的艺术，沉浸式互动装置不受限于某种学科，而是多门类综合应用的产物，涉及多门学科，诸如心理、人文、历史、物理、计算机、设计学等各个领域。不断更新的互动技术与沉浸式技术为互动装置艺术创造出更多样的形态，同时互动装置艺术的出现促使很多技术和工具都转化成为艺术媒介与材料 [4]。沉浸式互动装置的应用在媒介融合方面能力更强，从单一媒介的运用到多元媒介的交叉融合，综合生物艺术、投影、音频影像、灯光等多元传播媒介，使得艺术更加全面和多样。目前多元媒介的运用主要是在影视化舞台布景及商业化场所，如话剧、电视节目和大型互动展览会等诸多场域，这使得舞台效果不仅可以满足人们在真实环境下产生“身临其境”的体验效果，加强观赏的沉浸感与真实感，进而达到真实互动化体验，还可以满足一些娱乐休闲场所所提出的“寓教于乐”需求。

（图片：沉浸式装置丨来源：网络公开）

三 · 沉浸式互动装置艺术

与民间传说视觉转化融合策略分析

（一）从多媒介应用的角度进行视觉转化

科技更新迭代加速了媒介变革，传统单一媒介逐渐演变为综合材料媒介融合，再到数字互动媒介的呈现，综合运用了灯光、声效、投影、生物艺术、三维环境、数字图像等技术方式，实现传播途径多元化及互动化，这种变革使得民间传说呈现方式从传统口传与文本媒介转为多元综合材料以及数字互动媒介的应用，从实体的传统二维纸媒转变为虚拟的电子媒介。将声效、交互、沉浸式体验等方式融入沉浸式互动装置体验的过程之中，既弥补了单一感官的局限，又成功调动了多感官协同完成信息交流与传播。

民间传说经历了长期的口耳相传进入了文本记载，使民间传说超越了言语媒介，但是书面文本传承过程中，纸质媒介仍较为单一，且留有许多空白，如角色、意境、情节、心理活动等方面的文字描写，这也为民间传说在沉浸式互动装置艺术中创作出多种形态的情节叙事奠定了基础。另外在沉浸式互动装置的艺术创作过程中，艺术家对民间传说中的特色场景进行提炼，对故事情节和精神等文化元素进行发掘、提炼、加工，保留民族特色和故事情节的起承转折，在原有繁冗的文字基础上提炼出大众易于识别且产生共鸣的视觉元素，以一种全新的方式去体现民间传说的特色与内涵，并有效地给社会公众留下体验和想象空间。

（图片：多媒介沉浸式装置丨来源：网络公开）

（二）从沉浸式体验的角度进行视觉转化

沉浸式体验的概念最早由美国心理学家米哈里·契克森米哈赖于 1975 年提出，主要指人们在进行某种活动时全神贯注投入进去的精神状态。从感官层面来讲，沉浸式体验是一种多感官体验，主要包括视觉体验、听觉体验、互动行为体验、声音表达体验、空间场域体验和触觉体验等感官层面。当艺术涉及多重感官时，往往能带给观者全方位的体验，也就可以称之为沉浸式体验。沉浸式体验在视知觉感知方面可以分为 3 个阶段：物理——生理——心理。在空间主导的生理沉浸方面，是指人们在虚拟空间中，通过声光电等多重物理刺激使体验者在感官上获得多维度的、逼真的体验，从而使人们专注于装置艺术特定的空间情境而获得最大的满足感，体验者在沉浸式虚拟维度中得到最真实的体验。

（三）从多媒体互动空间

构建的角度进行视觉转化

沉浸式体验的产生依托于对主题的合理定位和对场景的氛围营造，其核心业态是空间造境。多媒体互动空间建构的展开可从纯参与式空间建构、交互式空间建构、叙事多层次空间建构 3 种营造方法入手。它借助多元技术手段营造多维度空间意境，让观者专注于装置艺术设定的情与景中，置身于设计者营造的空间氛围和主题。交互式空间建构着重点在交互，以人机互动技术为基础，观者在肢体或思维上双重介入，营造虚拟与现实空间结合的空间意境。在应用过程中融入光学三维动作捕捉系统和新型视听表达等技术，实现人与人、人与电脑、人与环境的新体验。谈起民间传说多是观者对遥远时代和未知事物的理解和想象，很难真实地体验古代历史地理、民俗文化等展现的内容。而通过交互式空间营造，观众可以借助动作捕捉等数字技术无意识触发互动行为，并成为传说故事中的角色，再触发系统和程序智能化控制，包括对话、旁白、背景音乐等，让观众沉浸在真实和虚幻交叉的奇妙空间中，为人类窥察世界提供一个全方位视角，弥补了人类精神世界与想象空间的一方无垠天地。

（图片：沉浸式体验空间丨来源：网络公开）

编者后记

作为中华民族特殊意识形态的载体，民间传说不仅是非遗的主要表现形态之一，也是广大人民群众生产生活的缩影。口传与书面形式的民间传说在审美接受方式上以倾听、静读、体悟为特点，审美形式内敛、含蓄，而沉浸式互动的表现形式是视觉、交互、多维空间的，对民间传说进行艺术加工再造，从视觉上打破既定心理状态，诉诸视觉的真实体验。在多元媒介的视觉冲击与沉浸互动盛宴中，单纯以口传和文字为传承载体的民间传说显得微不足道。在现代化媒介冲击下，民间传说形式需要迫切转型，采用沉浸式互动装置艺术来讲述、传播民间传说，不仅给人们提供一个全新的视角去了解民间传说，将传统意义上的物理空间转换成虚拟的数字空间，实现传统文化与现代科技的碰撞，也可以给更多的受众带来传统媒介所无法比拟的轻松、便捷、坦诚的艺术交流形式。