摘要:目的:设计、开发一款针对自闭症儿童干预的虚拟现实教育康复游戏。方法:利用3dsmax软件制作模型、Unity3D软件搭建场景, 开发虚拟现实游戏——海底世界, 并应用于三名自闭症儿童。结果和结论:三名儿童在开发出的虚拟现实游戏中, 大部分时间能集中注意力, 偶有情绪行为, 基本习得训练内容。
关键词:虚拟现实; 自闭症儿童; 3dsmax; Unity3D; 教育康复游戏;
Abstract:Objective: To design and develop a virtual reality game of education and rehabilitation for autistic children. Methods: Using 3 dsmax to make models and Unity3 D to set up scenes to develop a virtual reality game underwater world, and applying to 3 autistic children. Results and Conclusion: In the virtual reality game, 3 children were able to concentrate most of their time with few emotional behaviors, and basic acquired training.
Keyword:virtual reality; autistic children; 3dsmax; Unity3D; game of education and rehabilitation;
1、引言
自闭症谱系障碍 (Autism Spectrum Disorders, ASD) 是一种广泛发展障碍, 以社会交往障碍、言语和非言语交流缺陷、兴趣狭窄和行为刻板等为主要临床特征。据美国疾病控制与预防中心最新统计数据显示, 截至2014年, 自闭症谱系障碍的发病率高达1:68;亚洲同欧、美洲自闭症发病率相似, 约为1%。自闭症发病率愈来愈高, 自闭症康复的重要性也日益凸显。已有研究表明, 自闭症是先天性的脑发育障碍疾病, 是神经系统疾病, 并将终身伴随, 不能治愈。但是, 及时、全面、有效的康复训练依然有助于自闭症儿童恢复一般生活能力, 发挥其过人之才, 增加社会整体效益, 减轻个体负担。
目前, 国内外学者对于自闭症儿童的表现性状已有很多研究。很多研究发现, 自闭症儿童有着异于常人的表现特征。如自闭症儿童不能通过注意对象的整体特征来判断其面孔情感, 很难解读他人的情绪[1];感觉功能异常, 这与他们瞳孔光反射收缩振幅的降低显着相关[2];屏幕媒体对他们具有有效的吸引[3];自闭症儿童存在一定的注意转移缺陷[4], 但其精细视觉加工能力表现过人[5], 更擅于从复杂刺激中找出某个图形[6]。研究表明, 80%以上的自闭症儿童对游戏的反应很敏感[7]。
虚拟现实技术是在20世纪80年代初提出的。虚拟现实教育应用案例的分析表明, 虚拟现实技术有七大教育功能:体验、探究、训练、矫正、交流、创作与游戏[8]。由于自闭症儿童存在一部分超敏弱敏现象, 同时, 精细化运动发展不完善, 因此, 本文虚拟现实游戏的设计与开发运用的是桌面式虚拟现实系统 (另外还有增强式、沉浸式、网络分布式三种) 。
此外, 对于自闭症儿童的干预, 虚拟现实技术有着独特的优势。虚拟现实环境能够为自闭症儿童营造安全的教育环境, 为自闭症儿童解决干预训练中的多来源感知困难问题, 促进自闭症儿童习得技能的迁移[9], 激发自闭症儿童的学习欲望, 改善注意力缺陷, 增强他们的参与性与互动性[10]。
2、虚拟现实设备搭建
为了能使自闭症儿童充分沉浸在虚拟现实的教学环境中, 本研究开发一个全封闭的虚拟现实房间。房间内分两个隔间, 分别为一个实验室、一个观察室。实验室设备包括两个音响、一个由36块高清液晶屏幕组成的9*4矩阵三面环屏显示系统 (含触摸膜) 、三台摄像机。观察室设备包括一个计算机柜 (连接实验室36块显示屏) 、一个监视显示器 (连接实验室三台摄像机) 、一个三面环屏同步显示器。当实验室设备全部工作, 自闭症儿童、观察员以及康复师在房间中的站位情况如简图1所示。
图1 VR环境搭建图环境搭建
3、游戏设计与开发
场景设计 本研究采用海底世界作为教育康复游戏的背景, 主要有以下原因。
首先, 相较于暖色, 自闭症儿童更偏好冷色[11];对于环境颜色的偏好, 自闭症儿童更偏向于居中、平和的色调[12]。
其次, 研究发现, 不少自闭症儿童都疯狂地迷恋探索野外世界的电子游戏[13], 而海底世界恰如其分;海底世界的内容丰富多样, 具有极强的探索性。
再次, 丰富多样的游戏内容能够极大调动自闭症儿童的兴趣, 使其能够集中注意力和情感, 全身心投入[14]。
最后, 自闭症患者常被描述为“视觉思维者”或“视觉思考者”, 而海底世界丰富多样的水下效果能够提供给自闭症儿童适合他们思维特点的信息呈现, 这对于自闭症儿童的教育康复训练有极大的促进作用。
游戏模型制作 为了使教育康复游戏达到简单逼真的效果, 对自闭症儿童产生足够强大的吸引, 利用3dsmax软件对游戏中涉及的各种海底生物进行简单建模。整个制作过程包括如下几个步骤[15-16]。
1) 利用3dsmax自带的简单体块模型进行模型的搭建。通过点线面的不断拉伸、旋转、移动、增减, 构建出海底生物的简单外观。
2) 给制作完成的海底生物模型添加逼真的贴图效果, 使模型更加趋于真实。利用NVIDIA等专业的贴图制作软件, 绘制出海底生物的皮肤外壳, 通过贴图之间的相互转换得到所需的反射贴图、法线贴图以及高光贴图;将制作完成的材质贴图附着在模型上, 通过参数的调整来控制模型的质感、逼真度以及与环境的融合程度。
3) 给制作完成的海底生物添加生动的动画效果。利用3dsmax自带的动画系统制作海底生物游动的动画, 通过骨骼绑定的方式, 将制作完成的动画效果添加到对应的模型上。
按照上述流程, 完成建模工作, 就可以得到带有动画的海底生物模型, 如图2所示。
4) 模型制作完成后, 将所有模型以FBX格式保存并导入专业的游戏制作软件Unity3D中, 完成教育康复游戏场景的搭建。
图2 海底生物成模
游戏场景搭建 Unity3D引擎是由Unity Technologies公司开发的一个让制作者轻松创建综合型游戏的开发工具。本研究中教育康复游戏场景的搭建工作在Unity3D中进行。为了能够使整个教育康复游戏看起来更加生动逼真, 达到引发自闭症儿童兴趣的目的, 在Unity3D中进行如下调整。
1) 游戏治疗的目的在于借游戏的特质发挥儿童本身的自我治愈力, 以抒发内在情结, 使人格得以正常发展[17]。为了让模型能在Unity3D中形成逼真的海底世界感官, 将所有导入Unity3D的FBX模型通过复制、变换的方式完成海底世界整个游戏场景的搭建。场景搭建效果如图3所示。
图3 场景搭建效果图场景搭建效果图
2) 许多自闭症儿童存在感觉统合失调, 外界多来源的感觉刺激信号会造成他们机体运转的不和谐。而虚拟现实环境能够将儿童从环境中隔离开来, 帮助儿童在特定情境下对特定刺激做出反应。为此, 在游戏中添加大量相似的UI按钮, 以便自闭症儿童触屏交互, 具体如图4所示。
3) 虚拟现实游戏应当充分调动声音、图片、视频、动画等媒介, 通过完备的视听刺激激发自闭症儿童的兴趣, 促进他们的参与与互动。为了使整个游戏画面更加生动, 利用Unity3D的粒子系统制作出水泡上升的动态效果以及水草的律动, 然后给所有虚拟角色添加上语音效果。通过音乐与动画的有机结合, 形成整体的灵动, 具体如图5所示。
4) 为了使教育康复游戏与自闭症儿童形成互动, 利用Visual Studio软件编写交互脚本, 并附着在相应的模型上。具体操作如图6所示。
图6 交互脚本绑定图
图4 UI界面图图界面图
图5 水泡效果图
另外, 研究发现, 环境色彩的改变对于自闭症儿童的情绪行为等一系列问题都会有所影响。为了探究RGB色彩对自闭症儿童的影响情况, 找出具有积极影响的色谱区间, 在Unity3D中编写脚本, 通过调用R (红色) 、G (绿色) 、B (蓝色) 的不同参数来调整整个游戏场景的主色调变化, 为以后干预实验中RGB色彩参数的探究做准备。
交互功能实现
1) 本研究设计两个操作界面, 用于教育康复游戏的进入与退出。通过编写脚本, 实现两个界面的相互转换。场景切换脚本定义如下:
2) 由于自闭症儿童存在超敏 (或弱敏) 的现象, 本研究中的互动方式采用简单触屏交互。脚本定义如下:
3) 本研究的目的是通过游戏的方式, 让自闭症儿童和虚拟现实环境产生互动, 在一定程度上对自闭症儿童产生康复效果。因此, 自闭症儿童与虚拟现实环境的互动是本教育康复游戏的主要内容。研究中, 当自闭症儿童触摸显示屏设备, 教育康复游戏中的海底生物上就会产生对话框, 发出语音, 形成与儿童的互动。控制脚本定义如下:
4) 为了使游戏画面更加具有动感, 构成完整丰富的水下效果, 海底世界的所有生物都应具备不同的动画效果。因此, 同一个海底生物往往具备两个或两个以上不同的动画效果。为了使动画效果形成有序衔接, 对相关脚本进行如下定义:
4、测试
将本研究中的教育康复游戏运用测试, 选择三名自闭症儿童周XX (6岁) 、陆XX (6岁) 、王XX (7岁) 。经临床诊断, 三人均为自闭症;无视听障碍;无自伤行为;无攻击性行为。
测试在虚拟现实房间进行。首先, 用传统的方式完成对儿童个人信息的采集, 用儿童自闭症评定量表对其进行评估;之后, 将三名儿童分别带入虚拟现实房间, 用上述虚拟现实游戏对其进行康复训练, 总时长为960 s。训练全程用摄像机进行记录, 着重观察儿童注意时长、情绪行为表现以及训练预期达标情况。
结果发现, 相对于传统康复训练, 三名儿童在注意力方面均有不同程度提高, 训练过程中注意时长均能保持在85%以上;三名儿童均对虚拟现实游戏产生浓厚兴趣, 训练过程中均有一至两次冲到显示屏前的亢奋情绪行为。在第207 s小丑鱼出场时, 王XX有一次亢奋情绪;在第650 s大海龟出场时, 三人均出现亢奋情绪。由此, 虚拟现实游戏对自闭症儿童有极强的吸引, 应当适度减弱影响。训练结束, 三名儿童均能将游戏中的对话有一定程度复述。
5、讨论
研究表明, 自闭症儿童在虚拟现实环境中进行教育康复, 注意时间更长, 问题行为更少, 并能初步形成对话复述。这说明虚拟现实游戏的开发对自闭症儿童的干预效果显着。
近年来, 随着虚拟现实技术的日趋成熟, 越来越多的研究人员投身于虚拟现实对自闭症儿童干预的研究中。研究发现, 相对于传统干预方法, 自闭症儿童在虚拟现实环境下能够得到更好的干预[18], 能够提高儿童的情绪认知能力[19]和语言能力[20]。
此外, 随着越来越多新兴技术的出现和成熟, 如互联网+技术、机器人技术等, 如何将这些崭新的技术综合运用到自闭症儿童的康复中形成更加有效的干预, 将会成为一项新的富有生机的课题。
参考文献
[1]陈顺森, 白学军, 沈德立, 等.7~10岁自闭症谱系障碍儿童对情绪面孔的觉察与加工[J].心理发展与教育, 2011, 27 (5) :449-458.
[2]Daluwatte C, Miles J H, Sun J, et al.Association between pupillary light reflex and sensory behaviors in children with autism spectrum disorders[J].Research in Developmental Disabilities, 2015 (37) :209-215.
[3]佚名.自闭症患儿沉迷屏幕媒体[J].中国信息界:e医疗, 2012 (2) :16.
[4]马玉, 张学民, 张盈利, 等.自闭症儿童视觉动态信息的注意加工特点:来自多目标追踪任务的证据[J].心理发展与教育, 2013, 29 (6) :571-577.
[5]阎丽, 翁强.自闭症患者具有超凡的精细视觉加工能力的最新证据及其与视觉搜索的关系[J].医疗保健器具, 2007 (10) :10-12.
[6]马玉, 王立新, 魏柳青, 等.自闭症者的视觉认知障碍及其神经机制[J].中国特殊教育, 2011 (4) :60-65.
[7]郭雷祥.自闭症儿童的问题行为表现及体育游戏干预[J].宜春学院学报, 2012, 34 (12) :139-141.
[8]刘园.VR技术在教育领域的研究与应用[J].电脑知识与技术, 2016 (16) :207-208.
[9]张倩.虚拟现实技术在自闭症患者干预中的应用[J].中国特殊教育, 2010 (5) :27-31.
[10]王海燕.交互式电子白板在自闭症儿童教学中的应用[J].中国现代教育装备, 2014 (18) :49-51.
[11]曹漱芹, 费雯, 孙爱军.4—6.5岁自闭症幼儿颜色偏好的实验研究[J].中国特殊教育, 2012 (5) :46-52.
[12]蒋盈, 王茜.4—6岁幼儿对室内环境颜色偏好的研究[J].湖南第一师范学院学报, 2010, 10 (3) :145-147.
[13]陈英.自闭症患儿社交从打电玩开始[J].检查风云, 2016 (15) :36-37.
[14]刘艳虹, 雷显梅, 胡晓毅.国外自闭症儿童体感游戏研究状况及启示[J].中国特殊教育, 2015 (5) :51-56, 73.
[15]张养安, 李俊锋, 杨爱玲, 等.基于3DMAX的虚拟现实三维建筑模型建模技术初探[J].测绘与空间地理信息, 2015, 38 (10) :151-153.
[16]朱玉.基于Unity3D漫游系统的设计与研究[J].应用成果, 2014 (12) :78-81.
[17]宋风波.儿童自闭症的表现及心理治疗方案[J].中国社区医师, 2007 (23) :49-50.