发布时间：2022-04-09所属分类：计算机职称论文浏览：1次
摘 要： 摘 要：传统的博物馆展示方式大多采用橱窗陈列物品，存在信息表达单一，互动性差等缺陷。通过分析增强现实与虚拟现实混合所涉及的关键技术，提出了一种基于AR-VR混合开发博物馆互动展示系统的方法。实验表明，采用虚拟现实技术和增强现实技术结合的方式可以使馆藏信息
摘 要：传统的博物馆展示方式大多采用橱窗陈列物品，存在信息表达单一，互动性差等缺陷。通过分析增强现实与虚拟现实混合所涉及的关键技术，提出了一种基于AR-VR混合开发博物馆互动展示系统的方法。实验表明，采用虚拟现实技术和增强现实技术结合的方式可以使馆藏信息展示更全面、效果更逼真，激发参观者的观察与思考，实现更深层次的交互体验。
关键词：计算机视觉;虚拟现实;增强现实;互动体验
1 引言
近年来，人们开始对文化的需求呈现出与日俱增的态势，博物馆作为人类认知文明的重要场所，馆藏展品的展示方式一直备受关注。传统的博物馆展示模式大多采用物品陈列方式，几乎所有展品都是以静态方式摆放在橱窗中，再辅以有限的文字说明，这样的展示方式会令参观者感觉索然无味，并且很难观测到展品的细节特征。随着移动互联网的迅猛发展，增强现实(Augment Reality，AR)交互式展示方式得到了更多人的青睐，国内外众多学者都对增强现实技术进行了相关探索及应用研究。例如，Feiner 等人创建了最早期的 AR 原型系统[1] ，这个系统为手持式应用，可以为参观者提供建筑或文物的3D图形信息;陈靖等使用惯性传感器构建室外 AR系统[2] ;北京理工大学利用透视式头盔等显示设备在增强现实技术基础上开发虚拟数字圆明园系统[3] ;任波等人结合 ARToolKit 开发工具实现了增强现实地产样板房展示系统[4] ;李江等人利用增强现实技术开发了一个恐龙博物馆[5] ;胡颖群等人基于增强现实技术研究实现三维虚拟商品展示系统[6] 。
增强现实技术可以用虚拟的附加信息去增强使用者对真实世界的观察，做到从参观者角度出发，充分调动参观者积极性。然而在具体实践中，却暴露出了一些问题，比如沉浸感不强，在博物馆参观过程中，人们在了解展品历史文化时，希望身临其境一般与场景中的模型进行近距离接触，仔细端详各个细节来补充人眼直接观察时不易观察到的细节信息。单一的增强现实技术弱化了使用者对真实世界的观察和感知能力，为了克服这些问题，本文在增强现实技术基础上融入虚拟现实技术，将二者结合。提出一种基于AR-VR混合技术的展品展示方式，并探讨二者混合所涉及的关键技术，该方法打破了传统的静态橱窗展示方式，采用双向互动方式在虚拟现实与增强现实间进行切换，大大增强展览的参与性和交互性，从而克服增强现实技术在交流互动中存在的一些问题，使得人们能够在主动观察的同时有更好的交互体验。
2 关键技术
2.1 系统框架
AR-VR博物馆展览互动系统将虚拟现实技术与增强现实技术结合，利用虚拟现实技术的沉浸感以及增强现实的交互感提升参观者参观博物馆的交流互动体验。系统一共分两个模块，分别是博物馆虚拟漫游模块和增强交互模块，博物馆虚拟漫游模块使用虚拟现实技术[7] ，虚拟的模拟博物馆内外场景，把客观上并不存在的景物，运用计算机技术，在用户眼前生成一个虚拟的环境，使人感到沉浸在虚拟博物馆场景中。而增强交互模块基于增强现实技术，通过摄像头采集场景视频，采用计算机视觉跟踪注册方法[8] 根据真实场景中的人工标志物信息进行跟踪注册，将虚拟信息叠加在真实场景中，以增强展品信息展示，系统具体框架结构如图1所示。
首先开启程序进入虚拟漫游模块，基于预先制作好的三维虚拟场景开启场景漫游模式，参观者可以在博物馆中向前、向后、向左、向右移动，或是用鼠标、头盔控制旋转视角。在AR-VR切换方面，当参观者想从虚拟世界切换到真实世界时只需点击虚拟AR按钮，即可完成模块切换。当切换到增强交互模块后，系统立即开启摄像头捕获场景的初始识别图像，采用基于计算机视觉跟踪注册技术计算出摄像机位姿数据，并持续地将位姿数据不断传递给渲染模块，将虚拟展品加载到真实场景中。系统实现采用Unity3D平台，整合Vuforia SDK进行开发。
2.2 虚拟漫游模块开发
博物馆展览互动系统中虚拟漫游模块开发基于Unity3D 平台，Unity3D 是由 Unity Technologies 公司开发的一款综合性交互式开发平台，拥有高度优化的图形渲染管道，可以与一些增强现实开发工具相结合实现虚实叠加人机交互功能也可以实现虚拟现实世界的生成。首先通过 3ds Max、Maya 等三维软件完成建模和贴图，将模型建好后发布为.fbx格式文件，接下来将.fbx 文件直接导入Unity3D中构建虚拟博物馆场景。最后，为参观者的虚拟漫游加入交互指令，并对场景进行管理，具体实现流程如图2所示。
2.2.1 虚拟场景构建
虚拟博物馆场景模型制作是虚拟现实漫游模块开发中非常重要的组成部分，因为模型的质量决定了虚拟场景搭建后的效果，与博物馆漫游系统的体验效果也直接相关。在本文中，所有博物馆建筑均采用3ds Max建模软件实现，在制作建筑模型过程中，既要考虑模型真实感问题，又要考虑系统运行速度问题[9] 。因此，采用精细建模和简单建模相结合的方式构建虚拟的博物馆三维景观。博物馆场景模型的制作分为两种 ，一种是复杂模型，像博物馆内陈设、展品等，这种模型制作要求非常精细，做建模时要适当保留细节。还有一种是简单模型，像道路、树木等，这种模型的制作非常简单，只需制作出大致的轮廓，可以靠贴图去实现三维效果。模型的制作也有很多的规范，在考虑到系统性能的情况下要求非常多。比如，做模型在不影响真实度基础上，必须要减少模型的面数和分段数，删除模型相交处隐形的面数，单个模型面数最多不能超过1 000，否则场景中复杂模型过多，会影响系统的运行，通过对整个场景中模型的优化达到最终的效果。贴图方面，本文使用高清数码相机拍摄的图片来制作纹理贴图，让体验者有更加直观的感受。
2.2.2 虚拟漫游
当博物馆场景搭建完成后，导入Unity平台，通过加入虚拟漫游交互功能，可以实现体验者在博物馆场景中进行虚拟漫游，体验者通过上下左右键进行前后左右行走，也可以通过头戴设备进行视角转换，或是选择跑步、走路等多种方式以便让用户获得更好的体验，具体实现如下所示。
2.3 增强交互模块开发
同VR技术相比，AR技术可以使博物馆导览系统创造更丰富的互动方式，因为AR技术可以在真实世界中叠加虚拟信息，因此可以增强真实世界的物体和环境[10] 。增强交互模块开发主要分三步进行：首先，通过摄像头采集真实场景视频图像。其次，将检测到的标志进行跟踪注册。最后，在真实的场景中叠加虚拟信息丰富博物馆中展品的信息显示。
2.3.1 视频采集
当系统切换到增强交互模块后，摄像头被立即打开，实时采集博物馆中的环境，并生成一系列的真实场景图像，供系统跟踪注册模块进行调用。
2.3.2 基于计算机视觉的跟踪注册技术
跟踪注册是增强现实系统的核心，目前的增强现实系统中，主要有两大类跟踪注册技术[11] ，一类是基于计算机视觉跟踪注册;另一类是利用设备中的传感器、 GPS进行硬件跟踪注册。基于计算机视觉的跟踪注册方式按照系统是否使用人工标记来区分，分为使用人工标记增强现实技术和没有使用人工标记的增强现实技术[12] 。基于人工标记的增强现实系统能够将虚拟模型准确定位到真实世界，并最大限度地实现虚实之间的无缝融合，具有快速、稳定、准确的特点，可以快速从复杂的真实环境中检测出人工标记且对硬件配置要求不高。因此，大多数增强现实系统的跟踪注册模块都采用基于人工标记的方式实现[13] ，本文采用计算机视觉技术中的人工标志方法进行跟踪注册，并采用彩色识别图，如图3所示。
跟踪注册过程主要分为以下四步，如图4所示。
步骤1 基于视频采集设备采集视频图像。为满足实时性、精确性的要求，AR-VR系统通过调用 Android 移动设备的摄像头，采集真实世界中视频图像。
步骤2 对采集的图像进行预处理，二值化处理捕捉到的视频图像，这样就完成了从彩色的视频图像到黑白两色二值图像的转换;对于图像中任意一点 (x,y),如果其灰度值 S(x,y)≥t 则可以认为该像素点为背景点，否则认为该点为兴趣点，经过阈值化处理的图像可定义为：
通常设置 a0 = 0,a1 = 1 ，得到的即为二值化的图像。然后，利用图像分割及边缘检测技术找出该二值图像中所有的兴趣点。
步骤3 根据模式识别匹配算法，将标记图像与标记库中的模板标记图像进行比较匹配来判断此标记是否为合法标记，如果匹配成功则认为找到了一个兴趣区。
步骤 4 模版匹配成功后，确定当前标志物的特定 ID，进行标志识别。
2.3.3 虚实叠加处理
经过跟踪注册步骤后，则获得了摄像机位姿，此时将摄像头所拍摄的室内环境视频流图像与生成的虚拟文物信息进行实时融合，形成增强现实图像，最终将虚拟的文物信息渲染到屏幕上，使用户体验到真实室内场景与虚拟信息相融合的逼真效果。本文增强现实交互模块开发采用Vuforia SDK实现。Vuforia SDK是一个功能强大的增强现实开发工具包，在 Java、C++和.NET 语言中提供了API接口，并扩展至Unity3D中。
目前国际上比较常用的增强现实开发平台包括AR ToolKit、Aurasma 及 Vuforia[14] 。但是，AR ToolKit 只能进行单视点的位置和方向追踪，如果标识物被遮挡或者移动速度过快就无法产生虚实叠加的效果，且只能对特定标识物进行识别，无法对普通图片或真实场景进行识别，应用范围有限。Aurasma并不是免费的开发者无法获得软件的全部代码，且需要付费。因此本文通过 Unity3D 集成开发环境搭载 Vuforia SDK 进行 AR-VR 系统的开发。
2.4 显示技术
随着计算机软硬件技术的不断发展，VR系统显示设备在不断进步，头盔显示器可以让用户感受到空间立体感，增加用户体验时沉浸效果，所以本文中VR系统采用Oculus Rift DK2 虚拟显示设备，如图5所示。DK2 是 Oculus 公司在 2014 年推出的虚拟现实显示设备，分辨率达到1 920×1 080，根据体验者的反馈来看，DK2的显示效果非常理想。AR系统主要是呈现物体的三维详细信息，应该以轻巧灵便为系统设计原则，所以本文中 AR系统采用基于Android操作系统的智能手机屏幕作为AR系统显示设备，简单便携，可以不受展览环境的限制，拥有更加丰富的使用范围。
2.5 互动体验
博物馆文物展示重在文化传播，构建一个观众与展品间交流互动平台将大大提升参观者互动体验，将增强现实技术与虚拟现实技术结合对系统的界面和行为进行交互设计，让展品与参观者建立一种全新的互动体验关系，使参观者在参观过程中与展品交流互动、发现探索，互动体验主要包括人与空间环境的交互和人与展品的交互两方面内容[15] 。
2.5.1 人与空间环境的交互
人与空间环境的交互采用虚拟现实技术实现，效果如图6~9所示。参观者在参观博物馆时，不仅需要观察展品，更重要的是了解展品的历史年代，发展流传历史。通过Unity3D平台构建虚拟三维博物馆，参观者以第一人称视角，在场景中进行漫游了解展品的详细信息。当用户点击屏幕左侧上方的AR按钮后，VR场景立即切换到AR互动界面。虚拟漫游使参观者沉浸在博物馆营造的空间环境中，周围的展品烘托出浓厚的文化氛围，突出表现特定的场景中观众与展品的“对话和交流”，使参观者感受到活动的视觉语境，提升展品的感染力。
2.5.2 人与展品的交互
人与展品的交互采用增强现实技术实现。传统的橱窗展示方式不能很好地展现展品的细节特征，增强现实交互技术可以创造丰富的互动方式来增强真实世界的展品。当参观者想仔细观察某一个展品时，扫描该展品的人工标记，系统根据扫描的标记立即在真实场景中叠加虚拟三维物体，方便参观者从各个角度进行仔细观摩，大大增强参观者的交互体验。有别于VR环境，由于 AR环境中的识别图和展示内容是叠加在真实场景中，如果在一个界面内同时显示大量信息会导致混乱。因此，AR的交互场景采用简洁、易懂的设计原则，效果如图10所示。
3 实验结果与分析
实验基于 Unity3D 平台，集成 Vuforia SDK 进行开发，实验中所用的移动设备是在内存 Intel CoreTM2 Quad CPU，Q8200@3.22 GHz，4 GB 内 存 ，NVIDIA GT9800显卡的PC测试通过。
启动系统后，默认进入VR系统，参观者可以在博物馆中进行个性化的自主参观，欣赏博物馆外风景或是进入博物馆内部参观博物馆内藏品，提高了参观者和展品的交流互动，效果如图11、12所示。
切换到AR系统后，为验证系统性能，这里定义跟踪角度为标志物与摄像头的夹角[16] ，分别选取跟踪角度为 0°、30°、45°、60°逐帧图像进行注册性能验证，初始跟踪矩为0.5 m。当拍摄角初始为0°时，系统采集不到人工标志图像中所包含的特征信息;当跟踪角度选取30°到 90°之间时，系统采集到人工标志图像中的特征信息，实现了实时跟踪功能;当跟踪角度小于20°时，加载的三维模型出现了抖动和漂移，超过了系统跟踪注册功能模块的正常工作范围，测试结果如图13~16所示。
在实际应用中，标志物遮挡对系统的影响显得尤为重要。标志物被遮挡后，特征信息受到了破坏，系统的注册精度和跟踪性能会受到很大影响。定义标志物的特征信息被破坏的比例为遮挡率，实验通过不同的遮挡率测试系统性能，随着遮挡率的增加，实验系统测试结果如图 17~20 所示。经过多次测试表明本文方法在遮挡环境中能够根据残留的标志物信息来获得准确的跟踪注册数据，具有很好的鲁棒性，可以很好地适应遮挡环境。
相关知识推荐：怎么知道论文发表价格
通过上述实验结果得出，基于 AR-VR 混合技术开发博物馆导览系统具有很好的三维展示和交互功能，参观者可以虚拟地在博物馆中漫游，当对某一个展品感兴趣时，立即切换到AR系统观察展品的细节特征，其标识物不受复杂度影响，对标识物采用特征点检测方式跟踪效果好。
4 结束语
本文提出了一种基于虚拟现实技术和增强现实技术结合的展示系统，实验结果表明该方法能够在终端连续移动过程中自适应显示虚实叠加的效果，对遮挡的标志物识别效果较好。比起传统的交互技术，虚拟现实技术和增强现实技术的结合可以使可视化效果更逼真，在参观过程中能够调动参观者的积极性，动态地展示展品信息，启发参观者的观察与思考，使参观者在交流互动中加深记忆，实现更深层次的交互体验。在未来的研究中，可以将增强现实识别能力作为研究重点，实现云服务和移动增强现实技术的结合。——论文作者：李婷婷1 ，王相海2
SCI SSCI AHCI