[01641112]基于视觉感知的视频流媒体播出质量服务的研究

一、项目的来源与背景 本课题来源于国家自然科学基金项目《基于视觉感知的可伸缩视频编码技术的研究》和广东省自然科学基金项目《面向视觉敏感区域保护的可伸缩视频编码技术的研究》,负责人为梁永生教授。 播出质量服务是视频流媒体领域的关键技术。随着Internet与多媒体压缩技术的快速发展,视频和多媒体服务的应用范围越来越大,视频流媒体应运而生。然而由于Internet与生俱来的“尽力而为”特性,以及在网络拓扑、传输介质和终端设备能力等方面存在的异构性,要求承载于其上的流媒体系统必须能够提供一定的容错和网络自适应传输机制。此外,多媒体应用对数据存储能力和数据传输带宽的需求超出了现有技术的能力所及,为了提高通信质量,降低通信成本,对信源编解码和传输性能提出了更高的要求。 本项目以视频流媒体为研究对象,提出了融合视频内容分析和视觉感知特性的可伸缩视频播出质量服务方案。在基于内容的视频描述和视觉感知特性分析的基础上,应用视频场景分类器选择视觉敏感区域的特征通道及其权值,使得提取的视觉敏感区域更为准确。根据视觉敏感区域确定可伸缩码流片层数据重要性以及编码优化算法,以低复杂度实现视频流媒体中粒度可伸缩编码方案优化。基于人眼视觉注意检测模型分析眼动策略,结合显著计算得到图像注视区域结果,提出可伸缩编码增强层码率分配算法,在有限带宽条件下有效提升视觉敏感区域的解码质量。在可伸缩码流传输方面,分析SVC的视频码流结构,在综合考虑兼容性、协议格式和负载结构的基础上,实现了SVC的实时传输协议封装。基于运动特性对视频数据包排序,提升数据包调度与视觉感知的一致性。选择三个反映视频流媒体服务质量要求的度量参数：链路下限带宽、节点时延和节点丢包率,提出了一种基于可行性估计的启发式算法,优化QoS选路的结果。采用RTP封装的拷贝恢复的差错隐藏方法,补偿丢失的质量增强层数据,提高视频的播出质量。在视频质量评价方面,提出了一种反映主观视觉感知的客观视频质量评测指标ESTIM,融合视觉注意、视觉掩蔽效应等人眼特性及视频质量稳定性等因素,从时空域进行失真分析并综合计算视频的整体失真状况,实验结果表明本项目提出的主观视频质量计算指标更符合人眼主观评价结果。本项目研究视频流媒体编解码与传输的有效性和鲁棒性,研究成果为视频流媒体播出质量服务保障提供新的思路。 二、技术原理及性能指标 本项目解决了以下关键技术问题： 1、在基于内容的视频描述和视觉感知特性分析的基础上,应用视频场景分类器选择视觉敏感区域的特征通道及其权值,使得提取的视觉敏感区域更为准确。 2、根据视觉敏感区域确定可伸缩码流片层数据重要性以及编码优化算法,以低复杂度实现视频流媒体中粒度可伸缩编码方案优化,提高了解码后的整体视频质量峰值信噪比。 3、提出可伸缩编码增强层码率分配算法,在有限带宽条件下有效提升视觉敏感区域的解码质量。 4、基于运动特性的视频数据包排序方法,提高了注意力加权的峰值信噪比,提升数据包调度与视觉感知的一致性。 5、提出了一种基于时空显著图的可伸缩视频码率分配算法,与同类算法相比,AUC均值有较为显著的提高。 6、提出基于可行性估计的启发式路由算法,优化QoS选路结果。 7、提出了一种反映主观视觉感知的客观视频质量评测指标,融合视觉注意、视觉掩蔽效应等人眼特性及视频质量稳定性等因素,从时空域进行失真分析并综合计算视频的整体失真状况,实验结果表明本项目提出的主观视频质量计算指标更符合人眼主观评价结果。 三、技术的成熟程度、适应范围和安全性 项目技术成熟,研究成果已在几家公司得到应用,已基本具备大规模推广应用条件,适用于视频流媒体相关领域,如IPTV、互联网电视、移动流媒体、网络流媒体、安防监控和视频会议等,运行稳定,安全可靠。 四、项目的应用情况 项目组研究成果在深圳市纽格力科技有限公司、深圳市民德电子有限公司和深圳市励拓软件有限公司的产品中应用,用户反映良好,获得了很好的社会效益和经济效益。