纳金网

标题: 艺术与混合现实 [打印本页]

作者: tc 时间: 2011-8-8 14:27
标题: 艺术与混合现实
[摘要]由于计算机仿真等技术的应用，我们正在进入多样现实并存、交叠、互动的时代，作为理论范畴的“混合现实”是对这种现象的概括。混合现实在理念上导源于古代神话以及小说、电影等艺术作品中的相关描写，在当代生活中代表了增强现实和交互性媒体的新发展。它不仅成为理论探索的对象，而且正在艺术创作、艺术娱乐与艺术教育等领域获得应用。

　　[关键词]艺术；混合现实；新媒体

　　

　　现代意义上的“混合现实”(Mixed Reality)是不同类型的现实(主要是指真实现实与虚拟现实)的彼此混合，这种混合生成了物理对象与虚拟对象可以共存与互动的新环境。在一定意义上，混合现实是增强现实(Augmented Reality)与交互性媒体的发展。虽然相关技术直到晚近才付之应用，但混合现实可以从理念上追溯到古代神话，在技巧上继承各个时代艺术创造的经验。它不仅提供了理论研究的新课题，而且为娱乐、教育和艺术等产业开创了新天地。

　　

　　一、混合现实的艺术渊源

　　

　　所谓“混合现实”，在艺术领域可以理解为物理空间与幻想空间的交叠，可在神话中找到其渊源。例如，塞浦路斯国王皮格马利翁钟情于自己用象牙雕刻出的少女，终于打动爱神，使雕像变成真人并与之结婚。如果说这一故事烙有想象与现实混沌不分为特征的原始思维的印记的话，那么，近世小说、电影中的相关描写则基于自觉的艺术探索。

　　众所周知，艺术以虚构为能事，但又以真实相标榜。某些作品妙境在虚处，某些作品妙境在实处，还有些作品妙在虚虚实实。所谓“虚虚实实”，主要表现在人物设置、环境描写与情节构思等方面将真实成分和虚构成分糅合在一起。以人物设置为例，在《唐·吉诃德》第二卷(1615)的开头，塞万提斯让唐·吉诃德与桑丘·潘讨论这部小说第一卷的接受情况，并显示两位主人公会见过作品的读者，因此将读者与虚拟人物混合在同样的幻想空间中。塞万提斯这样做的原因之一，是前一年有人化名阿隆索·费尔南德斯·阿维利亚纳达出版《唐·吉诃德续集》，歪曲了《唐·吉诃德》第一卷的主题和形象。又如，我国现代作家徐枕亚所著长篇小说《玉梨魂》出版后颇受欢迎。他因此将其后撰著的《雪鸿泪史》说成其所得《玉梨魂》主人公何梦霞亲笔日记的钞本，故弄玄虚，以期博得读者的青睐。巴金在发表小说《第四病室》时，在其前加上一篇《小引》，发表了主人公陆怀民写给作者的信及作者的回信，以期让读者相信确有其人。这类做法都具备明确的意图，而且体现了一定的传播技巧。

　　物理空间与幻想空间的关系，是不少影片感兴趣的题材。科幻作品早就预言了现实的复杂化。正如席尔瓦(Anriana de Souza e Silva)《从仿真到杂种空间：游牧技术如何改变现实》一文所谈到的，1999年上演的影片《异次元骇客》(the Thirteenth Floor)和《黑客帝国》(Matrix)都反映了我们已经或即将生活在杂种空间的观念。科幻之外的影片，也有类似的描写。例如，美国动画片《惊心画中游》(The Pagernas Ter)的主人公来到一个古老的画宫，在那里被奇异的管理员转化成为卡通人物，游历画境，邂逅文学名著中的人物。影片《幻影英雄》(LastAction Hero)中，小影迷丹尼凭着魔术戏票的帮助，得以进入银幕之内的世界，与自己所崇拜的明星交游，并参与锄暴安良的斗争。当恶人遁于银幕之外的世界时，他又回到现实社会与恶人进行决战。《异度历险》写生活于20世纪末的舒妮运用通过电话线进入电脑视像世界的特殊能力寻找失踪的天才少年费沙，取回维系人类安危的重要资料。香港影片《黄金岛历险记》则描写一个小学生因为用拾来的一张奇异光盘玩游戏而进入了卡通世界，有了一番惊心动魄的经历。这类作品要么反映了对于幻想空间的好奇，要么表现了对于物理空间危机的思考。

　　混合现实若仅仅停留在艺术描写，那么是无法真正实现两个世界的互动的。为了打破现实世界与虚拟世界的界限，曾有作家将真实信件汇编作为小说提供给读者，让读者摸不着头脑。交互性戏剧试图从“第四堵墙”突围，引导演员与观众互动。就电影而言，加拿大艺术家加迪夫(Janet Cardiff)和其夫布雷斯·米勒(George Bures—Miller)在第49届维尼斯双年展(2001)推出16座位的电影剧《天堂学院》(The Paradise Institute)，让人们观看神秘影片，作为证人卷入发生于观众中和屏幕上的潜在罪行。电视剧尝试过将演员与艺术角色混同起来的做法，美国的《奥奇与哈里特》(Ozzie and Harriet)即为一例，演员奥奇、哈里特及他们的两个儿子分别扮演自身的虚构版。动画片领域也有类似的尝试。美国导演麦凯(Winsor MeCay)推出《恐龙葛蒂》(Gertie theDinosaur，1914)时，曾在舞台上作为自身的动画形象出现，和身后巨大的电影屏幕上所投映的恐龙葛蒂互动。至于动漫cosplay真人秀、迪斯尼主题公园，从某种意义上来说也体现了混合现实的倾向。这类技巧为网络艺术家所继承和发展。他们利用网络作为交互性媒体的便利条件，将虚拟人物链接到现实世界。在莫尔斯洛普(S.Moulthrop)的超文本小说《黄金时代(Dreamtime，1992)中，某些内容呈现为电子邮件信息的形式，在其顶部标有发件人姓名和电子地址。这些电子邮件(假象)的日期与时间，是读者阅读该文本的事实上的日期与时间(若用户对自己的计算机做了正确设定的话)。真实时间与虚构时间的一致性混淆了现实与呈现的区别，有助于造成读者正在阅读真正的电子信息的幻象。网络剧让人物回复戏迷们的邮件，并邀请戏迷将自己的意见与经历张贴到公告牌，也是类似的做法。索贝尔(David Sobel)所策划的《大学中心》(The Universlty Center，1996)可以为例。

　　网络摄像头在艺术领域的应用，使现实空间和幻想空间的界线模糊化。例如，2001年8月底，纽约艺术家施泰尔(Wolfgang Staehle)分别在德国南部巴伐利亚的一个城堡、柏林电视塔及美国的曼哈顿地区安装摄像头，将当地的实景拍成视频，通过网络传输到纽约邮局局长画廊，作为个人作品展的一部分。安装在曼哈顿地区的摄影头碰巧捕捉到震惊世界的9·11事件的现场画面，令画廊观众目瞪口呆，不知是科幻镜头还是现实悲剧。利用网络摄像头，还可以进行现实世界与虚拟世界之间的互动。亚历山大(Amy Alexander)的《多文化对撞机》(The Multi—Cultural Collider)即为一例。它让访客自行选择源摄像头、获取图像并使之经过加工而“再生”。

　　

　　二、混合现实的理论探索

　　

　　20世纪末兴起的以新技术为基础的混合现实，所追求的是现实世界与虚拟世界的交叠。这里所说的“虚拟世界”，指的是旨在让用户通过化身居住与交互的计算机仿真环境，不同于艺术领域的幻想空间。这种幻想空间是通过虚构创造的，并不要求将自己当成现实(这恰好是艺术的特性)。相比之下，虚拟世界诉诸仿真，即利用模型对实际存在的或设想中的系统进行研究的技术，其依据是客观世界中系统之间的相似性或同构性。虚拟现实就是最有代表性的仿真系统。1999年，美国佛罗里达州雷克沃思市棕榈滩当代艺术学院拉什(Michael Rush)在谈到本雅明《机械复制时代的艺术作品》的现实意义时指出：运用数码技术的艺术家如今能够引进新的“生产”(而不是“复制”)的新形式。例如，“虚拟现实”(数码技术最神秘的产物之一)如今不只是将数据翻译为模拟现实的实物尺寸的图像。它是它自身的现实。这种看法是有根据的，因为虚拟现实同时具备沉浸性、交互性，不等于幻想空间。人们在虚拟现实环境中习得的技能可以迁移到日常生活中，而在幻想空间中不可能习得这样的技能。

　　混合现实是以计算机仿真的兴盛为背景而产生的，相关理论探索主要集中在以下几方面。一是混合现实的定位。早在20世纪末，新媒体艺术家就已经注意到“多样现实”(Variable Reality)的意义。素以思想敏锐著称的网络艺术先驱、英国普利茅斯大学科技与艺术研究中心教授阿斯科特在1996年指出：“干现实见于虚拟现实的沉闷空间。湿现实是我们所养育的自然。潮现实(Moist Real-ity)从人工生命的生物技术中涌现出来。”美国加州大学圣克鲁斯分校莫尔斯(Margaret Morse)在1998年提到“非空间”(Nonspaee)，即作为两个或三个维度之间、之中以及虚拟性和现实性之间的价值流的通信得以“发生”的地方。“潮现实”也好，“非空间”也好，都涉及现实世界与虚拟世界的关系。根据法国建筑师兼评论家比利奥(Paul Vidio)的看法，我们正进入并非只有一个现实、而是有两个现实(事实的与虚拟的)的世界。

　　在这样的背景下，人们不能不深入思考虚拟现实所带来的影响。多伦多大学工业工程系米尔格拉姆(Paul Milgram)将完全真实的环境与完全虚拟的环境视为两个极点，二者的连线构成了“虚拟现实连续体”，代表了虚拟现实与真实环境混合的不同情况。其中，最为知名的是增强现实(Augmented Real—ity，AR)；有争议的是增强虚拟现实(Augmented Vir—tuality，AV)。虽然有不少人同意他的分类，但日本混合现实系统实验室公司山本博之(HiroyukiYamamoto)却表示反对。他认为不应从区分主次的角度来考虑真实世界与虚拟世界的混合或结合，“增强现实”与“增强的虚拟现实”之间没有清楚的界限。因此，他主张直接使用“混合现实”这一概念。

　　混合现实与虚拟现实有明显区别。虚拟现实具备沉浸性，所追求的是尽可能将用户的五官感觉置于计算机系统的控制之下，切断他们与真实世界的联系。相比之下，混合现实则允许用户同时保持与真实世界及虚拟世界的联系，并根据自身需要及所处情境调整上述联系。混合现实的极境是真实世界和虚拟世界天衣无缝的融合，亦虚亦实，亦幻亦真。

　　混合现实与增强现实也有所区别。增强现实(Augmented Reality)指的是将动态的、背景专门化的信息加在用户的视觉域之上。它是以真实世界为本位，强调让虚拟技术服务于真实现实。相比之下，混合现实对真实世界和虚拟世界一视同仁，不论是将虚拟物体融入真实环境，或者是将真实物体融入虚拟环境，都是允许的。山本博之的上述见解正是以此为出发点的。

　　二是混合现实的潜能。山本博之考察了混合现实系统关键技术研究的进展，如基于图像的渲染新模式、可透视头戴显示器等。他指出：运用这种系统，可以穿行于从物理世界重建的“真实赛伯空间”(Realistic Cyberspace)，或者实现基于宽带网络的遥在。如果戴上头盔和装有设备的背包行走于户外环境，可以看到虚拟景观叠加在现实景观之上。混合现实创造了虚拟现实的新时代，将技术从实验室水平提高到可用于日常生活的水平。混合现实是有前景的技术，可用于医疗福利事业、建筑与城市规划，以及教育训练。娱乐业也对它表示巨大兴趣。山本博之的看法已经为实践所证明。

　　混合现实在社会各个领域的应用，需要相应的理论指导，这对于医学、建筑学、教育学、艺术学等学科的发展都是新的契机。正是在这样的背景下，法国学者诺曼(Sally Jane NoFman)提出建立“混合现实边界诗学”的主张。他认为：如何将日常环境的现实混合于为高度专门化的目的而建构的人造的观念的或物理的现实，如何说明它们各自的边界及交叠，对于许多人(包括艺术家，特别是艺术家)是关键问题。混合现实的艺术要求精巧地安排支配被紧密结合成艺术作品的不同现实的代码与修辞。新加坡国立大学切克(David Cheok)等人探讨了赋形混合现实空间(Embodied Mixed Reality Space)作为交互性戏剧体验媒体的潜能。这种空间是赋形计算和混合现实技术的结合，赋形计算则是涉及普适计算、可触计算与社会计算等要素的下一代计算模式。上述结合允许人们创造嵌入数码三维对象与人物的物理环境，这些对象与人物可以通过和物理世界中的自然交互相配合的方式加以操作。物理世界、增强世界和虚拟世界的体验因此无缝交融。他们在论文《混合现实教室：寓学于乐》中进一步指出：混合现实使得下述新的学习模式成为可能：建构主义与得自经验的学习，社会的或合作的学习，虚拟在场，沉浸，交互性。

　　三是混合现实的技术。早在1994年，米尔格拉姆就区分了六类混合现实环境：(1)基于监视器的非沉浸性视频显示；(2)运用沉浸性头盔的视频显示；(3)具备透视能力的头盔(可以运用半镀银的镜子光学地将计算机生成图像添加于直接观看的现实世界景象；(4)具备透视能力的头盔，运用视频(而非光学)观察“外部”世界(将计算机生成图像添加于直接观看的现实世界景象)；(5)完全沉浸的全图像显示环境，加上视频的“现实”；(6)部分沉浸的全图像显示环境(即大屏幕显示)其中用户环境中的物理对象在这一计算机生成的景象中发挥作用(如用手抓某物)。这些混合现实环境需要多样化技术的支持。对此，已经有不少论文加以探讨，如英国苏塞克斯大学马尼亚(Katerina Mania)《真实与虚拟环境中照明印象与在场的联系》、诺丁汉大学拉登科维奇(Milena Radenkovic)《支持混合现实体验的新奇基础设施》、伦敦大学学院Katrien Jacobs等人《混合现实照明方法分类》、新加坡国立大学切克(Adrian David Cheok)等人《面向可触知的混合现实的无线硬件与实时计算机视觉界面的组合》，等等。值得一提的是：英国提兹塞德大学卡瓦扎(Marc Cavazza)等人《在混合现实交互性叙事中的用户行动》一文从混合现实的角度探索了交互叙事技术，介绍了叙事技巧和混合现实背景中用户交互的特性，对开发娱乐系统很有启发。

　　混合现实的起步与发展仅有十余年的历史，还有许多理论问题值得探讨。从开发的角度的看，有虚虚，有实实，有虚而实，有实而虚，变幻无穷。从应用的角度看，在虚拟成分与真实成分并存的情况下，用户的认知、情感和意动过程明显会产生变化。人们可能将混合现实知觉为某种格式塔，神人其中，根据设计者所提供的情境线索做出反应；也可能保持警觉的态度，力求对虚拟成分和真实成分加以区分，以防自己掉入某种心理陷阱。由于诸如此类的原因，混合现实正成为新媒体艺术界的热点。以之为题的国际研展会2008年4月15日在波士顿举行，由Turbulence.org等主办。

　　

　　三、混合现实的实践应用

　　

　　混合现实荟萃了当代计算机仿真、网络超媒体、移动通信、可穿戴计算等多种技术，具有广泛的应用前景，对艺术创新的价值尤其显著。

　　混合现实在艺术领域的应用，目前主要表现为将现场活动与在线交流、真实景观与新媒体技术支持的虚拟显示、物理世界的实时信号与艺术加工产生的虚拟信息结合起来。例如，荷兰建筑学院知识机器人研究组在荷兰电子艺术节上推出《匿名嘀咕》(Anonymous Muttering，1996)，让多用户可以创造声光事件，同时通过网站上的音响图像、展览现场的艺术装置加以体验。又如，洛萨诺·黑默(RafaelLozano—Hemmer)在墨西哥城Zoealo广场推出所谓“关系建筑”(relational architecture)，利用数码工具对人文景观重加解读，以强调都市场所的历史特性。这个名为“垂直上升”(Vectorial Elevation，1999—2000)的作品通过互联网向全球观众开放。现实空间的访客有23万，虚拟空间的访客达70万。再如，国际声学空间研究组在拉脱维亚共和国首都里加市推出《音响空间实验室》(Acoustic Space，2001)，目的是开发跨学科平台，以探索音响环境的社会潜能和创造潜能，表述数据流和电波的关系，并开发合作性广播及流媒体策略。2001年8月4—12日，有30个媒体艺术家会聚在拉脱维亚西部的Irbene，那儿有前苏联军队留下的直径达32米的射电天文望远镜。他们收集来自宇宙空间的信号，以便加以阐释，并和其他音响信号混合，创造新的作品。

　　混合现实在游戏领域颇受欢迎。例如，马克斯(Richard Marks)构思了EyeToy，将这种USB摄像头连接到PS2主机，并用它来玩游戏。PS2可以通过EyeToy感应玩家的影像与动作，玩家因此产生更强烈的体验。索尼计算机娱乐欧洲公司伦敦工作室看好这一设想，在2002年推出相应的四款游戏并取得成功，2003年又发布了与其首款实时游戏配套的硬件。混合现实技术也被应用于电视游戏，BBC的软件工具箱BAMZOOKi(2004)即为一例。人们可以从BBC网站自由下载它，建构虚拟生物ZOOKs，在实时物理仿真环境中测试它们，并提交给BBC。BBC选择某些表现出色的团队，邀请他们到工作室来，并让他们以自己开发的虚拟生物参加各种竞赛。此外，比利时南迪(Alok Nandi)等人开发了名为“跨小说”(Transfietion)的混合现实系统，用于休闲与娱乐。这一系统让用户／玩家沉浸到人工的、视觉的背景中。用户看到自己的图像在屏幕上，根据脚本化于场景中的特定刺激而行动。系统对身体的运动和姿势起反应。不需要什么手套、头盔或任何物理传感器。目前，混合现实由于吸纳了全球卫星定位、移动通信等技术而更具魅力。例如，英格兰艺术委员会等单位委托诺丁汉大学混合现实实验室(Mixed Reality Lab)制作了游戏《现在您能看到我吗?》(Can you see me now?2001—2003)，让用户同时在网上与街上玩。世界各地的玩家都可以在网上虚拟城市与伦敦艺术群体“冲击波理论”(BlastTheory)的成员对抗。这些成员(跑步者)由卫星跟踪，在虚拟城市地图中出现于靠近玩家的地方，在街上则由手持计算机所显示的方位引导、追捕在线玩家。又如，新加坡国立大学切克(Adrian DavidCheok)等人致力于利用可穿戴计算机开发普适广域-多界面混合现实，让玩家得以在四处行动，和游戏空间在物理上进行交互。

　　混合现实与艺术教育的关系也很密切。阿斯科特宣传“潮湿的教育”。他认为：“正如上一世纪交互性媒体的发展转变了印刷与广播的世界、用基于过程的文化取代了对有艺术价值的物品及线性叙事的崇拜那样，本世纪我们将看到进一步的艺术转变，因为硅、像素正与分子、物质融合。在虚拟(virtuality)的干世界与生物的湿世界之间，存在着潮湿的领域，这是一个对创造性心灵而言潜能与许诺的新空间，它要求完全修改艺术教育的理念与实践。湿媒体(Moistmedia，由比特、原子、神经元及基因的多种结合组成)将建构新世纪艺术的基础，这是一种与流动的现实的建构相关的变形的艺术。这将意味着通过无所不在的计算把智能扩散到建筑环境的每一部分，并承认位于我们所居住的星球的每一部分的智能。”让师生了解这一新的存在状态的关键，是将语言理解为创世纪工具，而不仅仅是一种交流关于世界的想法的手段。21世纪的艺术将日益被看成一种世界建造、心灵建构、自我创造的形式，不论是通过数码编程、基因编码、交互性表演、图像化、音频作品、仿真或总体上的超中介解释。他的上述理念与混合现实的教育应用是密切相关的，其要旨一方面是让教育者充分应用综合多种现实之优势的教育手段，另一方面是让受教育者充分掌握适应多种现实之并存的行为规范与专业技能。在实践中已有相关的课题。例如，欧盟资助Art—E—Fact项目致力于为混合现实交互叙事体验开发通用平台，让艺术家得以为多个虚拟人物与一位人类参与者的交互性对话编制脚本，并自由地设计任何交互性手段和模块。基于上述平台的交互性游戏“只谈艺术”(Just Talking about Art)设计了虚拟人物，它们可以在展览会上与观众讨论艺术问题，征询访客的意见，并通过表演来提供教育性娱乐。

　　在人类思想史上不乏对“虚”与“实”的探讨。我国古代文论中就可以发现这样的论述：庄子文章善用虚，以其虚而虚天下之实；太史公文章善用实，以其实而实天下之虚。文到入妙处，纯是虚中有实，实中有虚。实者虚之，虚者实之。虚处实写，实处虚写，虚虚实实，实实虚虚……它们虽然不是针对今天的混合现实而言，但却给我们以启发：虚与实不仅可以并存，而且可以统一。如果说人类曾经有过想象与现实不分的原始时代的话，那么，将物理空间与想象空间区分开来早就已经成为文明人的安身立命之本。与此同时，如何把这两种空间在新的基础上统一起来，又成为艺术家和科技人员孜孜不倦的追求。当今的混合现实正是这种追求的产物。蕴含在这种追求之下的动力，是人类多样化的需要，这种需要不能只靠镜花水月的幻象来搪塞，也不能只靠难以尽如人意的现实来满足。不难设想：在迅猛发展的信息科技的支持下，能够更好地适应人的需要的混合现实将走向繁荣，为艺术和社会生活开辟新天地。

作者: osaka 时间: 2011-8-8 14:37