手术云直播系统双向交互模块的实现

行业应用与交流Industrial Applications and Communications

手术云直播系统双向交互模块的实现

邱 宾

(陕西省人民医院, 陕西 西安710068)

*

摘 要:在传统的手术直播系统中,高清视频传输技术已经非常成熟,针对目前医院手术直播存在无法达到双向交流的效果的问

题,设计了手术云直播系统双向交互模块,将手术直播、音视频进行实时互动交流、手术全程实时录播、云存储等诸多功能合为一体,具备手术全过程的观看、高质量的播放、灵活的控制、长时间的录制存储等功能,实现了双向语音交流,可利用平板的触摸标记功能对关键部位进行手术远程指导,可满足医院学术交流、移动办公、手术质量管理、远程医疗等需求。

关键词:手术直播;双向交流;触摸标记;远程指导

中图分类号:TP37 文献标识码:B 文章编号:1003-7241(2019)03-0182-04

Implementation of Two-Way Interactive Module

in Operation Cloud Seeding System

QIU Bin

( Shaanxi People's Hospital, Xi' an 710068 China )

Abstract: In the traditional direct seeding system, high definition video transmission technology is very mature. Aiming at the

problem that the effect of two-way communication can not be achieved at present, a two-way interactive module of operation cloud seeding system is designed to carry out the live broadcast, audio and video in real time interactive communication, operation full time video recording, cloud storage and so on. Many functions are integrated. It has the functions of watching the whole process of operation, playing high quality, flexible control and long recording and storage. It realizes the two-way voice communication. It can use the touch marking function of the flat plate to guide the operation of the key parts. It can satisfy hospital academic exchange, mobile office and operation quality, management, telemedicine, and other needs.

Key words: live broadcast; two-way communication; touch mark; remote guidance

1 引言医学是门实践性很强的学科,而临床实践和技能教学是医学教育非常重要环节之一。近年来,随着医院信息化的不断发展,医院对网络化、数字化、智能化的要求也在不断提升[1],手术直播、网络医学教学等远程医疗越来越受到医院的重视。传统临床教学通常采用的都是现场学习的方法,由于现场条件和手术设备的,操作空间较窄,现场观摩人员人数受限,容易发生交叉感染事故,学员在手术过程中也不方便

*基金项目:分级诊疗信息管理服务平台(编号508244798038)收稿日期:2018-06-04

沟通交流,即使有学术意义的手术过程难以记录下来,在紧急汇诊时难以及时组织专家参与,学生的现场学习效果不够理想[2-3],因此对于很多医疗机构来说,急需建设一套高水平手术示教系统。

手术云直播系统的设计涉及到自动化、卫生学、生物学等学科领域,利用系统可以为医院网络节省了大量的经费,可以使学员随时随地的观看想要观看的手术过程,摆脱了传统示教模式在时间、空间和人数上的;系统可以进行资料的录制和备份,可以方便的查询,观看形式多样、没有地域等,为医院手术教学提供了新手段。运用手术云直播系统进行形象直观的手术教学,突破了传统手术室消毒隔离环境的局限,已被国内外专

182| Techniques of Automation & Applications

行业应用与交流Industrial Applications and Communications

《自动化技术与应用》2019年第38卷第3期

家广泛应用于手术观摩交流、远程医疗教学等,是医学生接受临床外科技能培养训练的最佳途径之一。因此,是否建立及使用该系统已成为教育部、卫生部对医学院校进行实验室建设教学设施评估的重要指标之一。

轻医生在手术经验上得到快速积累,从而可以提高手术水平。手术云直播系统的网络拓扑结构如图1所示。

一切的设计都要以满足客户的需求为前提[6-8],经过初步调研,本系统将满足陕西省人民医院学术研讨、内部教学、移动办公、手术录像管理、手术质量管理、远程医疗等场景的需求。在上述场景的应用中,经过分析,可以抽象出本系统的核心功能:在手术室采集腔镜、手术室全景、术野视频信息;与手术室进行实时语音交流;观众可通过文字交流;在腔镜画面叠加笔迹示意;自动在云端存储和归档影像信息;对云端的影像进行整理和剪辑;保证手术影像的安全性。

2 手术云直播双向交互的意义传统的监控系统没有接入声音系统,学员只能看到无声的图像。现在新型的监控系统已经要求集成音频,例如审讯同步录音录像系统、看守所监狱监管系统以及金融网点等。用户不仅可以对区域进行侦听,而且可向访问者或入侵者发送要求或命令[4-5]。现在还有平板标记功能即数字墨迹技术(digital-ink),在手术直播过程中,由于无法身临其境,语言描述有时不能清晰准确的定位关键部位,可以通过数字墨迹技术解决这项难题。

在当前医院快速发展的环境下,年轻医生的手术水平亟需快速提高以满足日益增加的手术量,如何尽快提升年轻医生手术水平成为医院发展的难题,信息处配合临床科室的需求,在成熟手术转播系统的基础上进行了功能模块的再开发,通过双向语音交流以及利用平板的触摸标记功能使得上级医师可以对下级医师进行远程实时指导,尤其是在手术的关键环节上的指点,可以使年

3 系统设计3.1 设计准备软件准备采用Linux操作系统:Red hat Enterprise Linux 7,使用标准C语言与Python写成,在Linux主机上执行,使用开源的PostgreSQL关系数据库;使用内存数据库Redis作为临时数据存储;应用服务器选用Nginx,提供标准RESTful接口供不同平台客户端调用。

本系统使用自有的流媒体服务器,使用国际通用的RTSP(Real Time Streaming Protocol)协议进行网络视频

图1 手术云直播网络拓扑结构

Techniques of Automation & Applications | 183

《自动化技术与应用》2019年第38卷第3期

行业应用与交流Industrial Applications and Communications

传输,PC版的客户端使用Microsoft.NET Framework 4,使用C#语言编写而成,支持Windows XP SP3以上的所有操作系统(客户端);Android的客户端使用Java编写,具备所有主要的功能,并对移动设备的操作进行了优化(客户端),iOS版客户端使用Object-C编写(客户端)。

3.2 硬件准备信号采集终端:用于采集视频信号,并集成对讲功能,每个手术室一台;高清摄像头:用于拍摄全景和术野,每个手术室根据需要配置数个;服务器集群:搭建在虚拟化平台上的服务器集群,虚拟服务器数量依据手术数量与用户数量评估;专业存储设备:使用专业存储设备分级存储影像数据;触控交流设备:使用触屏电脑或平板电脑进行笔迹示意交流;可重用的已有设备:摄像设备、麦克风、拾音器、投影仪、台式电脑、笔记本电脑、平板电脑、智能手机等。

3.3 整体设计与思路手术云直播系统将手术直播、音视频进行实时互动交流、手术全程实时录播、云存储等诸多功能合为一体,实现手术全过程的观看、高质量的播放、灵活的控制、长时间的录制存储。系统架构图如图2所示。

图2 系统架构图

本系统支持同步标记和双向语音可视对讲,也可以进行文字聊天,示教室可通过示教终端与手术室进行双向音视频互动。在手术室通常部署一台高清编码终端,用于采集手术室音视频信息并传输至服务器集群;服务器存储该信息并同步广播到手术示教室/办公室。

安装大屏幕显示设备,为较多的客户提供集中观摩学习、交互答疑的环境,如多台投影机、平板电视等。

184| Techniques of Automation & Applications

办公室一般只能观看手术,显示设备为电脑。用户能灵活切换现场手术视频画面、控制云台和摄像头,方便地组合显示多路的手术视频画面。

4 交互功能的实现4.1 连接建立将摄像机接入网络并进行设置,把腔镜、摄像头、拾音器和麦克风连接正确。通电启动后,在高清编码器上搜索并添加摄像机完毕,摄像机同时采集现场视频信号和声音信号,摄像机首先完成音频信号的A/D转换后,再着手对音视频进行压缩编码,然后依次将打包数据输出至后端高清解码器。在服务器集群中添加高清解码器的IP地址,高清解码器将接收到的数据通过网络转发至中服务器集群[9-10]。

4.2 监听 在系统软件中具有监听功能,在与前端的摄像机建立了连接之后,在要求前端摄像机发送视频的同时,开始发送音频;在高清编码器上能够监听到摄像机所处环境的现场声音。

4.3 双向语音对讲 图3 软件实现流程

具体软件实现流程如图3所示。与摄像机建立连接后,能够双向同步的进行音频对讲。因此处于后端监听处的设备也能够将本地的声音进行一次编码,再通过网络传递给前端的摄像机,经由摄像机进行音频解码,最后由所连的扬声器播放。

4.4 平板触摸标记首先,远程指导,是指不能身临现场解说。上级医师标记的关键部位也只是标记在看到的屏幕上,这就需

行业应用与交流Industrial Applications and Communications

《自动化技术与应用》2019年第38卷第3期

要进行点的映射。如图4所示,我们可以触摸到的屏幕是A,而视频帧真正的尺寸为B;我们标记的点在A上,需要映射到B上,通过公式 以及屏幕A、B的尺寸可以计算出(x,y)的坐标。

图4 标记点映射关系

其次,关键点标记好了,如何显示也是值得注意的。当然,不能只显示一下就结束,这样的话术者可能没有注意到;也不能一直显示,这样会形成遮挡;所以我们标记点显示的时间单位为5s。最后,记录标记的时间,包括打点的开始时间戳和结束时间戳,方便手术研讨时进行关键点回放。另外,本系统也支持文字聊天功能,手术室以外的用户可以轻松进行文字交流。

5 效果与演示5.1 登陆验证用户登陆手术云直播系统,都需进行身份验证,如图5所示。

图5 登陆界面

5.2 交互界面点击对讲图标可进行双向语音交流;点击笔迹图标,利用数字墨迹技术(digital-ink)标记显示出手术的关键部位(墨迹停留时间为5s),达到交互目的。

6 结束语通过对云直播系统双向交互模块进行了设计,实现了在手术室采集腔镜、手术室全景、术野视频信息,与手术室进行实时语音交流,观众可通过文字交流,在腔镜画面叠加笔迹示意,自动在云端存储和归档影像信息,对云端的影像进行整理和剪辑,保证手术影像的安全性,可满医院学术研讨、内部教学、移动办公、手术录像管理、手术质量管理、远程医疗等场景的需求。

参考文献:[1] 冯琪,裴海龙.视频采集与实时传输系统的软件实现方法研究[J].计算机应用研究,2005,(7):188-1.

[2] 赵新跃.基于Windows平台的网络直播实时传输系统的实现[J].中国医学教育技术,2004,(6):382-386.

[3] 张晗,李雪梅.流媒体技术及其在医学教育中的应用[J].中国医学教育技术,2007,(4):307-308.

[4] 刘欸玮.Visual C++视频/音频开发实用工程案例精选[M].北京:人民邮电出版社,2004:161-1.

[5] 洪武城.多路电视腹腔镜数字化处理系统设计[D].武汉:华中科技大学,2008.

[6] 艾小雅.我国网络直播平台的发展现状与前瞻研究[J].新媒体研究,2018,4(4):7-10.

[7] 杨新星,宗瑜瑾,朱霆等.互联网直播在医学超声教学与会议中的应用[J].中国数字医学,2018,13(3):60-62.

[8] 程红阳,陈云虹.流媒体技术实现医学直播及关键技术研究[J].自动化与仪器仪表,2017,(12):204-206.

[9] 陈开红,谭涛,廖薇薇.浅析网络直播在医学期刊的应用[J].中国传媒科技,2017,(9):122-124.

[10] 王斌,王海虹,历小丽.直播可视互动网络课堂在医学教育上的应用[J].全科医学临床与教育,2015,13(3):286-287.

作者简介:邱宾(1985-),男,工程师,研究方向:大数据处理。

Techniques of Automation & Applications | 185