来源:雷峰网 作者:李雨晨
医疗与各行各业一样,实现数字化转型和智能化发展,是推动公立医院高质量发展的核心内涵。英特尔与火山引擎的合作踏出了先行的一步,尽早寻找VR和医疗结合的最佳实践,推动VR医疗乃至数字化医疗的大发展。
早在1935年,科幻小说家斯坦利·温鲍姆的小说《皮格马利翁的眼镜》中,就构想了一款实现虚拟现实(VR)的眼镜。近年来,除游戏、娱乐等大众熟知的应用场景外,VR逐渐涉足医疗、教育、生产制造等各种领域。
以医疗为例,VR可能帮助减轻医疗资源有限且分布不均、诊断方式单一等问题,实现远程诊疗、远程医疗教学等一系列新的业态,从而进一步成为传统医学手段的有效补充。
2016年,一名八十多岁的右半结肠癌患者成功接受了肿瘤切除手术,并首次通过VR对手术全程进行了直播,这也是国内较早用虚拟现实身临其境般围观的手术。
尽管在此之后,不少医院都开展了VR方面的研究。但在2016年之后经历了起起伏伏,甚至受到了诸多质疑后,VR的风头远不及同时期的人工智能创业。
一位业内专家表示,我们不得不承认,VR技术还并没有到实质生产的真正成熟期,尤其对于医疗这样特殊的行业,真正走向高可用阶段,还有很长一段路要走,也要经历不断的试错和验证。
不过,外界对VR在医疗行业的期待,也正在慢慢走向现实。根据Perkins Coie的一份数据,2021年VR/AR在医疗健康领域的应用渗透率最高,超过35%,颇有一种虽迟但到的感觉。引入VR系统之后,一些走在前列、勇于尝试的医院体验到了技术带来的真实便利,为自身以及行业的智慧医疗之路开了一个好头。
VR与医疗的结合,是不是镜中之花?自Virtual Reality概念被提出以来,各行业陆续开展了丰富的有关VR设备的研究,而VR在医疗领域的应用可以追溯到上世纪80年代。
1985年,美国国立医学图书馆就开始人体解剖图像数字化研究,并利用虚拟人体开展虚拟解剖学、虚拟放射学及虚拟内窥镜学等学科的计算机辅助教学。1994年英国曼斯特皇家医院成立了欧洲第一个虚拟现实开发中心,用于最小刺入疗法。
2003年初,我国第一军医大学宣布完成了国内首例女虚拟人的数据采集。
而在此后的多年里,VR技术的发展经历了一段蛰伏期,在医疗领域似乎也未掀起太多水花。难道VR与医疗的结合终究只是镜中之花?
火山引擎的一位相关专家向雷峰网表示,任何新技术的发展都会经历5个阶段,科技诞生的促动期,过高期望的峰值期,泡沫化的低谷期,稳步爬升的光明期和实质生产的高峰期,这也就是为什么大家感知到了VR概念和技术从热潮到了低谷。而如今,VR重新走进大家的视线,受到各行各业的重视。从发展史来看,VR已经进入了稳定爬升的光明期。
从行业数据也可以看到,融合VR技术的各类前沿应用在医疗领域正在发挥越来越重要的作用。
国际数据公司(IDC)的数据显示,全球AR/VR支出的五年复合年增长率为78.3%。预计到2023年,全球AR/VR支出将达到1600亿美元,远高于2019年预测的168亿美元。而在医疗领域,AR/VR医疗正在经历大幅度的提升,其预期复合年增长率为33.36%,市场价值预计将从2018年的6.217亿美元增至2024年的34.97亿美元。
行业巨头也正在进一步布局VR及其在医疗领域的产品和解决方案。2020年2月,强生发布了与OSSOVR合作开发的VR头盔,专门用于培训外科手术医生;今年5月,西门子医疗开始提供沉浸式虚拟现实(VR)培训服务,帮助外科医生和技术人员进行术中质量控制和手术工作流程指导。
医院能从VR应用中得到什么?除了医疗巨头的积极布局,VR技术也慢慢进入实际使用方,即医院管理者的视野中。
近年来,一系列行业政策的发布对医院的收支平衡能力、生存能力都提出了巨大挑战。医院需要主动求变,将目光投向医院的智慧化升级,提高医院的服务能力和生存竞争能力。对于更高级别的医院来说,除了日常的诊断工作,他们还承担了重要的医学教学和基层帮扶任务。
北京某三甲医院院长表示,VR技术在医疗体系是十分重要的,尤其是医学教育。而医学教育既面向医务工作者,也承担面向老百姓的科普教育。通过VR技术,让他们身临其境地感受医疗知识,是一个非常好的途径。
他认为,医疗与各行各业一样,实现数字化转型和智能化发展,是推动公立医院高质量发展的核心内涵。
2021年,英特尔携手火山引擎,帮助北京某三甲医院基于全新的VR医疗培训应用,打造集人工智能、全息/VR和物联网等技术为一体的医学应急教育培训中心,并有效提升了医院在医疗培训领域的工作效能。
火山引擎总裁谭待透露,合作有两个部分:一个是VR远程巡诊,通过技术来解决时间和空间对专家资源的限制;另一个是VR急诊培训,通过仿真、沉浸式的VR场景,为急诊人员进行辅导和培训。
从系统部署的具体实施路径来看,北京某三甲医院VR医疗培训方案的整体架构,由部署在第一现场 (病房)、边缘云和第二现场的不同处理设备和显示终端 (VR 眼镜)组成。
其中,第一现场部署有音视频采集设备 (如全景高清摄像头),这些数据将经由5G网络被高速同步到部署在医疗培训中心附近的边缘云中进行音视频渲染和数据计算处理。
经渲染后的VR视频流,将在编码压缩后通过高速5G网络推送到第二现场的VR眼镜中,方便使用者 (教学中的医生、医学生以及志愿者等) 进行VR远程查房、VR远程指导、AED (自动体外除颤器) VR无线急救等行为。
而进行中的用户行为数据也会被同步回传至边缘云进行处理,由此形成整个VR医疗培训闭环流程。
合作过程中,VR培训系统面临着一些通用性的行业挑战:首先,远程实时查房等VR应用带来海量的数据采集、处理和传输需求,如全部工作负载均通过远端数据中心/云服务完成,势必带来巨大网络压力。而VR应用中的沉浸式、交互式体验,也需要方案能有效缩短系统的端到端整体时延;其次,医疗场景的特殊性需要VR应用能在现有网络带宽下,提供更高分辨率的视频格式 (例如8K) 来展现各类细节,这对视频编解码过程的优化能力提出了巨大挑战。
面对两大挑战,方案的核心关键词就是两点:更快、更真。谭待表示,快和真在很多时候是矛盾的,破解这个矛盾就需要有更好的算法,更强的工程能力和更好的基础设施来支持。
火山引擎与英特尔一起,通过引入英特尔高级矢量扩展512 (英特尔AVX-512),优化BVC编解码器,为边缘云数据中心的渲染计算处理提供强劲支撑,来使VR应用加速增效,实现超清、高质视频的实时快速解码。
BVC编解码器是火山引擎多媒体实验室自研产品,在VR医疗培训应用方案中,用以提高VR医疗培训应用使用时的沉浸感和交互感,以及支持8K视频分辨率带来的编码与传输压力。
英特尔AVX-512是由英特尔提供的单指令多数据 (Single Instruction Multiple Data,SIMD) 指令集。得益于其在寄存器位宽等方面的优势,内置英特尔AVX-512指令集的英特尔至强可扩展处理器,在音视频处理、数据加密压缩以及深度学习等高密度计算处理场景中有着出色的性能表现。
而最新一代的第四代英特尔至强可扩展处理器更内置一系列加速器,包括全新的AI加速器—英特尔高级矩阵扩展(英特尔AMX),覆盖包括训练和微调在内的更多深度学习使用场景,可以为不断变化且要求日益增高的应用提供更为可观的计算性能。
围绕着医院部署VR的需求,英特尔与火山引擎一起,分别针对BVC编解码器中处理器资源占用比较高的插值模块和一些基础计算模块,通过英特尔AVX-512指令集进行优化,以提高视频编解码和压缩的能力,从而满足医院VR医疗培训应用影像压缩率高、编码速度快、占用带宽低等的复杂需求。
英特尔云及行业解决方案集团首席技术官吴闻新表示,总体来看,从视频的采集、渲染到推送,我们最终达到了医院的要求,延迟在20毫秒以内,也能在15M的低带宽下,实现8K的效果,有效解决医生教学间的画面精细度问题,为带教和问诊提供了更加科学的现场参考环境。
目前,在三方合力之下,该北京三甲医院医学应急教育培训中心已经获得成功部署,并开展了大量的医疗培训实践,并且将培训内容VR化重复使用,达到了一次投入、永久使用的效果。每次使用的边际成本几乎仅有5G流量费,有效帮助压降培训成本,提升经济效益。
除了大幅提升培训效能外,这套VR应用解决方案还能为医生们提供更为科学、真实的现场带教环境,更能为边远、基层地区的受训医生提升业务水平提供前所未有的途径。更重要的一点是,有别于传统远程会诊,借助VR医疗培训应用,可以让专家通对一线医生进行远程指导,并能和病人实时交流,为远程智慧医疗带来了更多可能。VR技术在医疗健康领域的成功实现,对于国家一直倡导的区域医联体建设、强化基层诊疗能力,都将产生深远的影响。
云边协同,医疗VR如何普惠“健康