[摘 要] “AR+图书”的融合是近年来图书出版领域的一大亮点。这种媒介融合并非横空出世,其“前世今生”与未来图景都具有深刻的媒介动因。研究基于“冷热媒介观”对“AR+图书”的嬗变展开梳理,大体划分为“嵌入影像”式图书、“简单交互”式图书、“时空升维”式图书三个阶段。在此基础上提出,在这一嬗变历程中,“AR+图书”不仅是媒介形态、传播方式的融合,更是对当今读者“品读性”与“交互性”、“抽象性”与“具象性”、“时间性”与“空间性”思维方式的深度融合,将对智媒时代人的行为方式与生产生活方式产生深远影响。
[关键词] “AR +图书” 媒介融合 读者思维 智媒赋能
图书作为最古老的物质媒介之一,其媒介形态与传播范式相对恒定,从而决定了其受众相对稳定的信息接受方式与相应的文字符号思维。当人类步入智能媒体时代,随着移动互联网对人的全时空覆盖和人工智能对人类能力的高度复刻,传统的图书出版遇到重大挑战。
在媒介进化与狂欢的“热现象”背后,需要我们对人与智能媒体关系展开些许“冷思考”。人的思维方式伴随着不断切换的影像而日趋视听化、发散化,甚至由于大量创造性工作向人工智能转移而造成人类思维能力一定程度的退化。其实,不论是传统纸质图书还是电子图书,都具备其他媒介无法替代的作用,诸如对人类抽象思维、逻辑思维的培养。当然,图书对人类思维的赋能还须考量如今已然适应影像和智能媒体的当代受众的倾向性,在保持图书媒介本体性的同时,借力新兴智媒科技获得媒介融合的升级。增强现实(AR,Augmented Reality)影像技术与图书出版的“联姻”为书业和读者带来福音。
借助AR科技,通过二维码扫描或佩戴专用眼镜设备等方式,“AR+图书”对书面文字所描述的内容实施虚拟可视化立体影像呈现,在品读内容的同时融入交互,在抽象理解的同时加入具象阐释,在线性输出的同时造就“非线性”虚拟时空升维的媒介融合新业态。“AR+图书”在媒介的物质形态、受众的阅读形态、传受的交互形态以及读者的思维形态等多个维度获得延展与突破。近年来,研究者们更多聚焦于“AR+图书”的呈现方式与技术手段等传播端的文本建构,本文侧重于从接受端的读者立场考察“AR+图书”在读者思维赋能上的创新突破,以期为“AR+图书”更好地服务于智媒时代的读者建言。对“AR+图书”思维赋能的探究,还需要在媒介融合新业态的发展脉络中思考其如何作为“人体的延伸”发挥效用。
一、“冷热媒介观”视域下“AR+图书”的融合嬗变
在马歇尔·麦克卢汉(Marshall McLuhan)的“冷热媒介观”视域下回溯,可以看到,从传统图文并茂的纸质图书,到图、文、视频相融合的电子图书,再到正在异军突起的“AR+图书”,这一历程整体上呈现出从“冷媒介”向“热媒介”演进的趋势。依据麦克卢汉的描述,“一种解释是,‘热媒介’传递的信息比较清晰明确,接受者不需要动员更多的感官和联想活动就能够理解……而‘冷媒介’则相反,它传递的信息量少而模糊,在理解时需要动员多种感官的配合和丰富的想象力。” [1]对图书文字的解读需要调动更多想象,因而图书相较于影像理应属于“冷媒介”;影像则由于其丰富的视听信息直接赋予受众而属于“热媒介”。AR影像作为近年来“热媒介”的典型代表,正在对传统图书实现“反哺”。在“冷媒介”与“热媒介”的嬗变趋势与二者的互补融合中,“AR+图书”经历了媒介融合的三个阶段。
第一阶段是“嵌入影像”式图书。“00后”属于读图时代成长起来的“网生代”,影像对其具有巨大的吸引力,同时受到识字量等局限,少儿科普出版领域率先被“AR+图书”突围有其必然性。2013年,浙江少年儿童出版社推出的AR科普读物《孩子的科学》属于“AR+图书”初期探索的典型。读者通过手机、平板电脑等移动客户端扫图书二维码,书中的图片可以在屏幕中显示为立体影像。这实现了纸质媒介与网络媒介的联动,也初步实现了图、文、立体影像的媒介融合。虽然此类“嵌入影像”式的图书中借助网络客户端所播放的是既定导入的影像,但相较于传统的纸质书与电子书而言无疑是一种突破,同时也为“AR+图书”的进一步融合奠定了基本形态与传播范式的基石。
第二阶段是“简单交互”式图书。《孩子的科学》问世后,少儿科普出版界瞬间兴起了追求“AR赋能”的风潮。2014年,接力出版社推出AR系列科普读物“香蕉火箭科学图画书”,共10册图书。这些图书中的立体影像不再止于静观,而是具备了AR交互情境。在该系列中的《身体里软软硬硬的骨头》一书中,读者用APP扫二维码后,屏幕中出现立体影像的“骨头”,并可依据读者以手指滑动给出的指令而做出各种动作;在该系列《我们当上了宇航员》中,读者手指做出的指令,可以让宇宙飞船在眼前腾空而起。此类“简单交互”式图书将第一阶段“枪弹论”式传播的视听符号转化为读者参与其中、构建情境的“交互式传播”,更大程度地彰显了AR影像在补充文字表达时情境交互的优势。
第三阶段是“时空升维”式图书。AR影像赋予受众情境交互、参与叙事的“权利”,于是叙事从“单一型”转向“发散型”。就技术支撑下的虚拟情境而论,“在四维空间中,人们可以选择性地‘看到’过去和未来,并在一条时间轴线上自由跳跃。当某一情节点出现若干可能性时,则由每一种可能性映射出若干条时空线,当至少两条时空线相交于一点时,从这一点出发可以选择完全不同的情节、命运、人生,于是便产生了‘人生可以从头再来’的五维空间。” [2]在“AR+图书”中,被称为“文字推理视觉小说”的AR文学作品《潜伏之赤途》较为典型。“读者在作品中扮演的角色方别是一位潜伏于日军情报机关的地下党。随着扮演的角色推进剧情,读者会在体验过程中遇到无数次的选择,而每次选择都会造成不同的后果,最终在达成内设的条件后达成不同的结局。” [3]在此类视觉小说中,文字和AR影像各自发挥所长,建构出由深度交互而生成的虚拟“高维时空”的故事世界。
纵观 “AR+图书”媒介融合的3个阶段,在一定程度上印证了从“冷媒介”到“热媒介”的嬗变趋势,也说明两种媒介并非二元对立、非此即彼,而是彼此融合、优势互补的关系。虽然在学界讨论中,“冷媒介”与“热媒介”的分类缺乏一以贯之的标准,但“冷热媒介观”表现出不同媒介作用方式的差异性会带来受众思维、心理与行为的差异性。
思维是人脑与外部信息相联系的内在意识活动,也是内在信息处理和符号建构的高级精神活动。一切信息都需要诉诸某种载体,即以某种符号系统的方式传递。文字和影像是不同的符号系统,以图书为代表的文字媒介符号和以电影、电视、移动互联网“多屏互动”为代表的影像符号对受众思维的差异性作用均有其不可替代的价值。AR影像对传统图书的技术赋能带来了读者思维的巨大变迁。进入智媒时代,“AR+图书”的深度媒介融合正在催生彼此互补生辉的新型符号系统,并日益促进着当今读者“品读性”与“交互性”、“抽象性”与“具象性”、“时间性”与“空间性”的多重思维融合。
二、“AR+图书”赋能读者“品读性”与“交互性”的思维融合
图书的“品读性”是文字阅读与品味思索的媒介特性,更是由文字符号的“能指”与“所指”之间的互动带来的一种独特的读者思维特性。文字符号本身是静态的“能指”,而符号通往“所指”彼岸的过程则是读者动态的思维过程。对于“冷媒介”的符号解码,需要读者大量的思维活动,这实则是读者与作者以文字为媒介的一种隐性的交互。“AR+图书”则将这一交互显性化。于是,传统图书品读之“静”与AR情境交互之“动”形成动静相生的传播,并促进读者“品读性”与“交互性”思维的融合。在这一思维融合互补的过程中,需要处理好两个方面的问题。
一方面是“第一性”的问题。“AR+图书”理应将“品读性”作为第一性,这有利于保持文字媒介内容的专业性与理论的深厚度。从印刷媒介时代到广播时代,从影视的诞生到互联网的普及,直至智媒时代的全媒体运用,几乎每一次媒介创新都会伴随着对传统媒体的“唱衰”,于是在媒介史上不乏“纸媒消亡”“电视将死”的论调。然而,即使在“多屏互动”的今天,纸质图书从未退出各层次教育的历史舞台,以文字媒介呈现的论文、专著与研究报告等依然是科研工作的主要成果形式。这足以说明相较于广播影视、互联网新媒体等,文字媒介所承载的内容深刻性与专业深厚度始终具有其不可替代的价值。岳麓书社出版的《AR四大名著》将原著的经典内容,结合AR技术、智能算法,形成“文字+短视频+音频+AR”的复合型“热媒介”文本。在其中的《AR红楼梦》中,读者扫码后选择“故事点读”按钮,进入某一篇章后,可选择阅读同时是否播放名家朗读,还可以点击“AR互动”,进入AR互动游戏,在于情境的交互中融入《红楼梦》的故事世界,以“交互性”来促进“品读性”,深化对名著经典的反复阅读和体悟。
另一方面是“互补性”问题。“AR+图书”要利用好“品读性”与“交互性”在主旨思想阐释中“聚合”与“发散”两种作用的互补关系。所谓“文如其人”,是指文字所蕴含的气质、风格正是作者精神世界在字里行间的折射,尤其是书中的题旨更是作者态度、思想、主张的呈现。读者对著作的品读,最终指向与作者在题旨层面的精神交流。但是,传统的图书阅读带有鲜明的“枪弹论”式的单向传播色彩,读者难以与作者实时互动。“AR+图书”则由AR情境交互弥补了这一缺憾。在《AR四大名著》之《AR水浒传》中,如果再版时能够深度优化AR情境交互,那么读者则可以某一梁山好汉的角色身份进入故事世界,借助交互性来参与叙事。于是,在读者发散式的情节路径选择下,产生了不同的故事走向。表面看来,设计发散式的情节路径赋予读者更多的选择,似乎容易造成与作者原有叙事思路的抵牾,而实际上正是由于读者的情境交互,规避了“枪弹论”式的效果弊端,深化了读者对小说题旨的体悟与认同。虽然所选情节路径不同,但都有一只“看不见的手”将“发散”路径向题旨“聚合”,最终引出《水浒传》“封建专制社会农民起义悲剧”这一结局。与此同时,所谓“书不尽言,言不尽意”“圣人立象以尽意”,正是阐明了“象”之于“言”的补充意义。AR影像赋能文字媒介,正是采取AR情境交互弥补了“言不尽意”的缺憾,形成智媒读书时代“品读性”与“交互性”更高程度的思维融合。
三、“AR+图书”赋能读者“抽象性”与“具象性”的思维融合
作为符号系统的文字语言赋予人类抽象思维的能力。应该说,抽象思维是对具体的、形象的、感性的思考方式的一种高度概括和提炼,亦是人类不断通往哲学化认知的必由之路,但是,对于那些并不擅长抽象思维的读者而言,这种“冷媒介”的接受效果便大打折扣。
“AR+图书”通过抽象文字符号与具象视听符号的高度复合,正在为读者更好地建立抽象思维铺设“阶梯”。以培养少年儿童抽象思维的科普读物为例。吉林科学技术出版社的《超级武器大师系列军事大百科全书》分为《海中奇迹》《陆地霸王》《枪械大师》《空天战争》4部。当读者扫码后,APP的系统会处理标识信息来调取数据,提交实景信息进行虚实叠加,识别标志并捕捉动作,最终在虚实结合与人机互动中显示立体影像。读者能够360度无死角观察武器,并根据书中文字的描述,通过手指推拉屏幕选择“全景”观看飞机、大炮、航空母舰,或是以“特写”来观察武器的零部件。这正是化文字的抽象性为AR的具象性。传统图书通过文字与图示配合来说明武器零部件的构成,但因为纸质媒介的限制,仍属于“纸上谈兵”。在该系列图书中,读者按照文字叙述的步骤,可以在AR情境中全视角地观察和拆解武器零部件。
“AR+图书”对抽象与具象两种思维的融合不应止步于科普读物,而理应向教材出版领域延展。譬如,器械维修、交通工具驾驶等学习需要实务操作,而读者通过传统教材阅读文字、观察图示很难真正掌握原理与技能,此时“AR+图书”大有用武之地。在AR技术赋能之外,虚拟现实(VR,Virtual Reality)技术在教材领域也大有可为。相较于AR的“虚拟+现实”构成,VR是完全的虚拟元素构造,所以是对AR的进一步虚拟化,这也使得VR具有了更为广阔的虚拟想象空间和交互技术需求。中国矿业大学出版社在2013年出版了VR教材《采掘机械与液压传动》,该书动态立体地对书中原有静态图像进行展示。北京大学出版社则对《建筑工程施工技术》等多种教材开展VR化实践。人民卫生出版社开发了《人卫3D系统解剖学》VR图书,为在校生提供VR人体标本。 [4]
又如,数理化对于部分学生而言难度较大的原因之一,在于其思维方式偏抽象性。山东教育出版社出版的《不一样的数学故事》是一次“AR+图书”在小学数学教育领域的有益尝试,但其技术手段主要用于建构动画故事。随着初高中乃至大学数理化难度的深化,学生的抽象思维能力也需逐步强化。AR技术在教材中的融入有助于读者理解数理化的许多原理。一道立体几何题借助AR影像实现全方位、全景观的呈现,读者可以从拟态三维空间清晰地洞察立体图形中的数量与位置关系。一个化学方程式所描述的化学反应借助AR影像实现分子、原子、核外电子微观运动的具象呈现,可以帮助读者动态而形象地理解化学方程式的含义。在高考打通文理分科界限和高校新文科注重文理科交叉融合的今天,在教材中引入“AR+图书”的媒介形态,通过“抽象性”与“形象性”思维的互补,也许有助于不擅长数理化的学生走出理科学习的困局。
四、“AR+图书”赋能读者“时间性”与“空间性”的思维融合
对于受众,文字媒介与影像媒介相比较,前者倾向“时间性”而后者倾向“空间性”。图书阅读的文字识别、符号解码、意涵延展是随着文字逐一向大脑反射的线性时间而完成的传播过程,是对受众线性思维、逻辑判断、推理能力的培养,在思维方式上指向“时间性”;影像传播则依托于视听符号系统的建立、输出和接收,更容易激发受众的发散思维、感性思维、视听想象等,在思维方式上指向“空间性”。日本学者林雄二郎曾就印刷媒介环境和电视媒介环境下完成社会化的两代人进行比较,提出了“电视人”的概念。林雄二郎认为,“电视人”这一代人的成长伴随着电视普及,在视听符号刺激下,这一代人从思维到行为都容易被具象符号吸引而趋向感性。这与其受到印刷环境深刻影响的父辈注重逻辑思维、理性思维形成了鲜明对比。“时间性”与“空间性”是人类认知和改造世界不可或缺的两种思维方式,在智媒时代,“AR+图书”的媒介融合为思维融合提供了路径。对于图书阅读“时间性”的空间拓展,按照前文对“时空升维”图书阶段的阐释,可以分为虚拟“三维时空”和虚拟“高维时空”。
就虚拟“三维时空”而言,AR空间的融入首先是对文字美感的空间补充,通过“热媒介”丰富的信息更直接地通往读者丰盈的精神空间。如《唐诗三百首》中的诗篇实施AR的虚拟空间优化。“玉阶生白露,夜久侵罗袜。却下水晶帘,玲珑望秋月。”这首李白的《玉阶怨》通过文字展现了一种时空的连贯性:夜幕落下,女主人公静立玉阶,露水浓重,浸透罗袜,却还在痴痴等待;寒气渐浓,女主人公回房放下窗帘,却还在望月怀远。诗中对人物的描摹具有时间的连贯性、动作的连贯性、逻辑的连贯性与情感的连贯性。对于固定空间中的连续动作,AR可以采取类似长镜头的360度全景摄影来展现。读者以旁观者视角身处虚拟情境,在承载着漫天哀思愁绪的视听形象中深化对原诗文字的审美体悟。
“AR+图书”除了强化与丰富原有文字的审美性与情感性,还表现为以虚拟空间赋能图书工具性与实用性的发挥。比如,2017年我国首部旅游类VR图书《奇遇》问世。该书作为其同名VR纪录片的衍生产品,“书中以细腻的笔触描述了分布在世界各地的主角们的故事和导演在拍摄过程中的所见所闻所感,既是纪录片内容的延伸,又对其进行了补充。以360度全景形式向读者重新诠释了镜头的意义。” [5]据此,一些历史悠久、人文景观丰富的旅游城市均可作为此类图书取之不尽的素材资源。北京的诸多历史名胜、文化景观既需要文字媒介“时间性”思维的历史梳理,也需要借助AR、VR“空间性”思维实施情境再现,这无疑是对北京文化遗产视听传播的创新。这种三维虚拟时空的导入是对文字符号的跨媒介转译,使读者在居家阅读的同时,在虚拟时空实现了“坐地日行八万里”式的“读万卷书,行万里路”。
就虚拟高维时空而言,“AR+图书”乃至VR技术的大量融入实现了传统图书难以赋予读者的高维时空思维方式。前文提及小说《潜伏之赤途》在“时空升维”上是一次有益的尝试。在此基础上如何发展未来AR或VR与文字媒介的进一步融合,我们可以回到传统的小说改编电影去寻求启迪。2008年由长江文艺出版社推出的《流浪地球》在2018年被拍成同名电影。大银幕的视听呈现更容易激发受众对于“虫洞”“黑洞”“时空弯折”等议题的兴趣。从文字到银幕的跨媒介叙事,其重心在于媒介形态的“跨越”而非媒介功能之“融合”。任何一种媒介叙事都存在尺短寸长的问题。对此,“AR+图书”或“VR+图书”可以通过叙述内容在文字与影像上的合理分布,将小说的时间感与影像的空间感融合起来,促使读者“时间性”与“空间性”两种思维的深度融合。循着时空维度的上升,由四维时空伊始,时间从“线性”转向“非线性”。
当前大量科普类图书已然具备较为详尽的科普文字介绍与相对逼真的AR场景营造,未来的此类图书不妨把“科普性”与“叙事性”相融合。比如,人民邮电出版社2018年推出的AR科普读物《动起来吧,太空探索》在视听感官与情境交互等物理层面的营造上已然处于领先水平,但是在时空思维的意识层面还有待提升。当我们回想电影《盗梦空间》,影片中不断更替的“套层空间”中不同时间长度的相对性在叙事中给观众留下了深刻的印象。这些有关时空的叙事话语策略可以作为“叙事性”因子纳入到“科普性”图书中去,既有利于在波澜壮阔的故事世界中提高读者对宇宙科学探索的兴致,也有利于读者从AR的表层视听体验向深层次的时空思维不断挺进。
五、结语
“书籍是人类进步的阶梯”,实际上,人类也在通过媒介技术的不断升级为书籍的演进搭建阶梯。在智媒时代,“AR+图书”不仅是媒介形态、传播方式的融合,更是对当今读者“品读性”与“交互性”、“抽象性”与“具象性”、“时间性”与“空间性”思维方式的融合,从而对人的行为方式与生产生活方式逐步产生深远影响。
在当前“AR+图书”的成效基础上,未来至少还须在以下三个维度久久为功。首先,在“图书”维度理应秉持文字媒介的本体性。图书所蕴含的文字媒介的品读性、抽象性、时间性等重要的人类思维结晶是其抵挡“纸媒消亡”论调的核心价值。那些逻辑性、概括性、抽象性和洋溢着文字独特美感的内容还应当诉诸文字表达,这需要作者、影像制作者与传播平台对内容进行合理的媒介配置。虽然“他山之石,可以攻玉”,但是AR的融入切不可喧宾夺主,不能剥夺了图书作为文字媒介的本体性。其次,在AR影像维度理应关注视觉营造上的人眼健康问题。AR情境的交互设计、视觉分辨率、动作捕捉和渲染技术等方面的提升固然关系到读者的视听体验感。更重要的是,这些影像的质量关乎读者的健康问题。相较于阅读纸质图书,AR影像的设计失当、过度采用可能会加剧人眼健康威胁。最后,不论是图书还是AR影像抑或其他维度的问题最终都会落实于“人”的建设问题。国家已经颁布《研究生教育学科专业目录(2022年)》《研究生教育学科专业目录管理办法》,未来多层次出版专业学位人才的输出必将为包括“AR+图书”在内的媒介融合优化提供更为多元而广阔的建设路径。
(作者单位:中央民族大学新闻与传播学院)
*本文系2021年北京市社会科学基金青年项目“北京文化遗产的视听传播创新研究”(21XCC012)的阶段性成果