科技冬奥|高松龄-BiO-MR线上观赛互动系统

项目背景&介绍

付志勇老师团队在国家重点研发计划“科技冬奥”重点专项课题中,针对北京冬奥会运行指挥保障中跨层级、跨时空多源数据融合和信息呈现的需求,研究基于多源数据的大范围比赛场景三维构建与语义理解技术,研究并构建支持冬奥会态势信息可视化的混合现实电子沙盘和数据可视化引擎。帮助冬奥组委主运行中心、赛区指挥部与各比赛场馆指挥中心充分了解现场态势,协助相关人员进行在复杂环境下的跨区域、跨层级沟通合作,为冬奥会指挥系统在赛事筹备、赛事运行、开闭幕式等场景下顺利开展安全监控、后勤保障、突发事件应急处置等工作提供支撑。

2022年2月团队获北京冬奥组委官方感谢信。在此之后团队成员依托已有研究成果与项目经验各自进行设计创作,借此机会以科技冬奥系列专题对团队成员及设计作品进行介绍。

作者简介

高松龄

 硕士研究生

清华大学美术学院2019级硕士研究生在读

北京理工大学设计与艺术学院  学士

本科毕业于北京理工大学设计与艺术学院产品设计专业,2019年推荐免试进入清华大学美术学院信息艺术设计专业学习,导师付志勇副教授。硕士阶段参与国家重点课题科技冬奥项目,研究基于混合现实的冬奥会态势可视化与会商技术等内容。2022年创作毕业设计“BiO-MR线上观赛互动系统”。

访谈内容

Q1

您什么时候和科技冬奥结缘?

我在研一下学期参与了科技冬奥的项目,该项目主要研究基于混合现实的冬奥会态势可视化与会商技术。在研究过程中,我们设计制作了冬奥态势感知数字信息大屏,同时,基于混合现实环境设计制作了高山滑雪项目的冬奥沙盘等内容,通过这些项目实践,让我对混合现实环境有了更深的了解,我的毕设就以这个课题为背景进行实际场景的延伸与应用。

图1 科技冬奥成果

Q2

为什么选择做这个项目?

我希望通过混合现实技术的表现形式为体育赛事线上数字化转型的提供一种思路,以互动性与趣味性较强的交互体验方式,激发公众对冰雪文化的兴趣与热情,推动实现“3亿人参与冰雪运动”的目标,加速2022年北京冬奥会背景下冰雪运动的推广与普及,助力我国冰雪产业的快速发展,用设计的力量向更多的人传递冰雪文化。

Q3

您的作品主要聚焦在哪一方面的问题?

在场景的选择上,我主要聚焦在线上观赛这一场景下。一方面,目前受到疫情影响,很多赛事观众无法到现场观看,数字化服务手段为线上观赛提供了更多的可能;另一方面,2022年中国作为冬奥会的举办国家,冰雪文化不断普及,受到越来越多人的重视。所以我希望通过我的毕设研究,为观众线上观看体育赛事提供更加优质的体验,也将科技冬奥的研究成果进行实际应用场景的延伸。

Q4

您的作品的研究意义?

在理论研究上以情境认知和心流理论作为指导,将用户的心理与所处的环境加入研究范畴,把情感体验与赛事内容融为一体,从关注功能层面的设计上升到情感体验层面上,在情境体验上定位系统的设计方向,向用户更好地传递赛事内容,拓展感知渠道,使得用户的愉悦感和满足感在该环境下得到极大地改善,拓展线上观赛的可能性。

Q5

在前期如何开展研究?

我主要从理论、技术、用户三个方面进行了前期研究。

在理论上,主要学习了情境认知理论和心流理论。情境认知理论早在实用主义时提出,直到20世纪九十年代初步形成,情境认知理论讲知识是情境脉络化的,就像我们学习认字不能仅仅依靠字典,要到实际的场景中学习。知识、情境、行为之间是存在构成关系的。然后是心流理论,这个理论是契克森米哈在1975年提出,它指用户完全投入某项活动时,注意力高度集中,不受无关因素的影响,在体验过程中产生Flow状态,这个Flow不是一个一直的情绪高点,而是曲线动态变化,强调在进程中的节奏感,通过不同的行为不断击中用户的体验触点,让参与者持续不断的沉浸在活动中。观看比赛这个过程本身也是有节奏感的,因此就要在合适的时间提供合适的信息。

图2 科技冬奥成果

在技术上,结合前期冬奥项目的研究,MR技术不同于AR技术,AR技术只是将简单的虚拟和真实信息进行叠加,MR技术环境则是让用户在虚拟和真实融合产生的新环境中发生交互,进行感知。典型设备就是混合现实设备HoloLens眼镜,用户佩戴后,通过基本手势完成信息获取,信息在呈现上范围较广,可以有多种不同的排列方式。对于像观赛过程中的信息叠加的需求,便可以利用这种空间环境的优势进行信息的呈现与获取。

图3 混合现实技术

在用户调研上,我对专业球迷和普通不懂球赛的观众进行了调研,并依据他们的特点,绘制了用户画像,通过调研,了解哪些内容是他们最感兴趣最能全神投入的时刻,哪些时刻哪些内容他们容易走神、感到无聊的,我发现,整个观赛过程中不同的场景内容对用户情绪和状态反应是不一样的。由此,我把一场比赛划分为五个主要的场景,分别是争球、进球、罚球、加时、回看比赛场景。由于不同场景对应的内容不同,因此用户发生的行为就是不一样的。

图4 理论研究架构

有了前期对理论、技术、用户的调研,我就搭建了我最初研究的架构,首先是以情境认知为基础,知识、情境、行为之间是存在构成关系,然后参考平面信息组织结构原子理论,探索了空间信息的组织形式,从细胞组织、模型场景,形成最后的空间。与情境认知理论作对应,就会发现,知识对应界面的信息内容,界面又是由最小的细胞组成,不同的细胞形成不同的排列组织,在空间环境中进行呈现。然后,情境对应不同的模型内容和不同的场景,比如说,争球比赛场景,它是贯穿整个比赛的过程,持续时间比较久,所以他的重点信息就比较少,信息比较分散,用户在这个情境中就会产生疲倦,那对应到行为层的解决办法,就是增多用户的行为互动和辅助信息,来弥补由于场景内容不集中导致用户无聊倦怠的问题,提升用户对于系统的依赖和沉浸感。

由此,可以看出,不同的场景内容会产生不同的场景特点,不同的场景特点又对应不同用户行为交互,通过不同的节奏变化,信息呈现,能够让观众有一个不错的观赛体验。以上,就是我在前期研究中所做的一些工作,通过这些内容,我有了一个基础的理论架构,为后续进行设计实践提供了较强的理论支撑。

Q6

具体的设计过程是怎么样的?

我整个原型系统的设计定位是希望让不懂球赛的“外行观众”通过这个系统看出比赛的“门道”。结合前期的研究,系统以观看冰球比赛为例,借助混合现实设备设计了一套线上观看比赛的系统原型,主要包含观赛和学习提升两部分,每一个部分有对应的功能内容,观赛模块主要是在观看比赛过程中进行,学习提升则是与观赛相关的不同内容模块展示。

图5 系统内容架构

在空间的信息呈现上面,借助空间环境表现信息的优势,将信息划分为三层,顶部导航层是各个功能模块的入口,用户通过抬头的动作完成模块选择,顶部导航区域的icon会通过不同的状态给用户反馈。中间信息面板层是各个功能模块对应的信息面板,分为浏览信息和互动信息两种。底部模型层是跟场馆模型相关的信息内容,包括场地、路线、球员分布等。三个层级各司其职,完成不同信息的呈现。

图6 系统信息分层

Q7

请分享一下您在项目中实践方法。

本设计的系统开发基于Unity 2019.1.7f1版本,编程语言基于C#,编程的集成开发环境(IDE,Integrated Development Environment)基于Visual Studio 2019。此外,为了便于开发者基于Unity平台开发HoloLens 2,Microsoft开源了Microsoft Mixed Reality Toolkit(MRTK)混合现实程序包。在系统的开发过程,本设计主要利用了MRTK基础依赖包Microsoft. Mixed Reality. Toolkit. Unity. Foundation. 2. 7. 3;含可用于创建混合现实体验的工具的Microsoft.MixedReality. Toolkit.Unity.Tools.2.7.3工具包;含用于扩展 MRTK 功能的附加组件的Microsoft. MixedReality. Toolkit.Unity.Extensions.2.7.3扩展包;同时,本设计在Unity平台中使用了DOTween Pro v1.0.175动画插件,DOtween是一种快速,高效的面向对象的动画引擎,它可以在Unity引擎中方便快速地帮实现多种动画效果。除此之外,用于平面设计的软件平台,本设计基于Adobe Illustrator 2019,Adobe Photoshop 2019以及Figma进行平面设计。

图7 开发技术平台

Q8

通过设计实践,您对混合现实设备有什么样的感受?

对于线上观赛这样一个需求,借助混合现实技术环境来实现,是一个新的尝试与思路。设计完成后我进行了用户测试,我发现大多数用户对于通过这个设备进行观赛的新鲜感和想要去体验的感觉是很强烈的,大多数参与者对这个设备充满了好奇心。但通过用户的测试与反馈,我也发现了一些问题,首先,虽然大家愿意去尝试,但是对于新手用户来说,上手操作该系统是有一定困难的,即使我添加了新手引导教学,但空间手势操作起来准确度较低,用户有时会有挫败感,就不想再去尝试了。第二,该设备自身还有一些局限,操作时间过长机器会非常热,而且每更换一次使用者都需要进行一次设备角度校对等问题,这些问题在未来都是可以进行不断优化的。

图8 用户测试

Q9

在研究过程中遇到哪些问题,您怎么解决?

我在前期对于理论的学习花了一些时间,我希望我的这个设计实践不仅仅是功能上的实现,而是通过一些理论来指导后续的设计产出,因此,在前期,我不断查找文献书籍等,多次与导师讨论,梳理思路,最终形成了一个能够指导我后续设计的基础架构,我觉得这一步是很重要的,也很关键。只有你的研究思路清晰了,后续的产出才会相对来说比较顺利,所以,我想说,不要一上来就开始画草图进行设计,而是理清思路,借助了什么样的理论,解决了什么问题,针对的人群又是哪些,基础的架构是怎么样的等等,这些都清楚了,后面设计实践就是在不断的优化效果,最终达到一个比较满意的状态。

成果展示

这里通过一个简单的视频介绍一下我整个原型系统所包含的内容吧!

实践反思

Q11

整个设计实践的一个收获?

从最初的理论研究到调研再到设计实践,让我对混合现实环境的信息呈现有了更加深入的了解。在设计过程中也有很多收获和感悟,我将其总结提炼成了6点设计指引,也希望能够为未来研究相关领域的同学带来一点参考。

主要是布局和交互两部分。在布局组织上:首先,我基于情境化的脉络组织信息,建立了空间信息从细胞形成组织再到模型场景最后到空间的体系架构;第二,在信息呈现上,采用多层立体化的呈现方式,三层信息各司其职;第三,通过兴趣点引导当前焦点信息,尽管空间信息呈现范围更广,但也要注意主次分明,减少重点信息的干扰。

图9 设计指引

在交互逻辑上,第一,建立全景式的信息层级架构,尽量减少过多的层级嵌套,混合现实环境不如平面信息点击的精确度高,因此在交互语言上可以增多Hover,减少Click状态,这样整个操作会更加流畅。第二,我借助了空间环境信息呈现的优势,设计了星空穹顶样式的导航,通过抬头的动作,完成功能模块的选择。第三,由于大多数用户对这个混合环境是不熟悉的,所以新手引导是非常必要的,我通过场景感的引导教学,帮助用户适应系统,好的教学指导决定了用户能否继续使用这个系统的第一印象。

Q12

您对该研究项目的未来展望?

目前这个原型系统仅仅局限在冰球比赛这一项目下,未来希望能够引入更多线上比赛场景,拓展线上观赛的可能性。通过总结线上比赛的共性与个性,有针对性的研发适合不同比赛的线上观赛互动系统,大大提升参与者线上观赛的选择。

基于情境认知理论搭建空间信息设计模式,对于解决二维平面空间信息展示受限的问题起到很大推动的作用,是数字化不断发展过程中所经历的尝试,这其中涉及设计学、心理学、计算机工程等多学科的共同研究,对于未来拓展信息呈现方式具有一定研究意义,需要共同探索!

团队成员

团队负责人:

付志勇  关琰

团队成员:

陶澍  高松龄  徐婧文  张晋  雷杰茗  宋政垠  王麒瑞 武鸿飞

滚动到顶部