[01660724]雾霾和雨水天气下视频超分辨率增强技术研究

1. 课题来源：广州市科技计划项目 课题背景：雾霾或雨水天气下拍摄的视频或者图像,会受到雾雨的影响,导致视频或者图像的能见度降低。应对室外视频在雨、雾天气下的“看不清”问题,本项目研究了雾霾和雨水天气下视频的超分辨率增强技术,为室外视频监控系统的自动化和智能化提供理论和技术支持。本项目主要围绕的问题是,给定雾霾或雨水天气下拍摄的视频,如何对视频进行去雾和去雨,尽可能地减低雾 雨对视频的影响,提升视频的可见度,然后再对视频进行超分辨率增强。围绕该问题,本项目着重研究了与其密切相关的核心技术和关键科学问题。 2. 技术原理及性能指标 为应对室外视频在雨、雾天气下的“看不清”的难题,本项目针对雾霾和雨水天气下视频的超分辨率增强的问题,研究了其中最为核心的方法和最为关键的技术,列点说明如下。（1）在雾霾和雨水天气下所采集的视频/图像数据,容易存在数据不完整、缺项等情况,会影响分析过程。因此,本项目提出了一种新的张量补全方法,利用低秩张量近似来挖掘数据的全局结构,并利用稀疏编码来解释数据的局部模式。（2）基于雨水痕迹形成之前的形状先验,即雨水通常呈椭圆形,本项目提出了一种单幅图像去雨方法。（3）在雨天,透过窗户拍照的时候,窗户表面的雨滴会对图像造成破坏。基于设计良好的卷积神经网络,本项目提出了一种引入了物理+通道注意机制的端到端的去除雨滴的方法。（4）雾霾或者雨天条件下,很多情况下,人们会从室内环境透过玻璃窗户或者挡风玻璃来拍摄室外场景,所捕捉的图像容易受到雨滴的散射和模糊作用以及窗户的反射作用,使得图像成像模糊,出现重影,能见度下降。本项目提出了一种有效的重影去除方法和一种有效的失焦模糊估计方法,以进一步提高去雾/雨后的视频/图像的视觉质量。（5）视频去雨和去雾的一个关键是,有效刻画出清晰视频与雾霾/雨水图层的特征,并对其加以区分。为此,本项目研究并提出了雾/雨特性的区分性字典学习和稀疏编码方案,以帮助更好地分离图像雾/雨层。（6）为了更好地刻画雨雾层和清晰图层的特征区分性,本项目针对现有标签一致性正则化方法的局限性,研究了标签一致性的利用问题,提出了一种有效的稀疏编码方法。基于以上研究,本项目形成了视频去雾和视频去雨的有效方法,以及去雾/雨后的视频超分辨率增强方法,并讨论了如何结合到多视频协同增强的方案。综合以上成果,本项目研发了一系列原型部件,以支持实际视频处理系统的需要。 3. 技术的创造性与先进性 本项目提出了多种核心方法和关键技术,其成果作为论文发表在国际高水平学术期刊以及顶级学术会议上。 4. 技术的成熟程度,适用范围和安全性 本项目技术先进,成果已达到国际领先水平,并在技术应用领域和市场开辟方面极具前瞻性。本项目形成了视频去雾和视频去雨的有效方法,以及去雾/雨后的视频超分辨率增强方法,并讨论了如何结合到多视频协同增强的方案。综合以上成果,本项目研发了一系列原型部件,可以用于支持实际视频处理系统的需要。 5. 应用情况及存在的问题 项目正在初期使用阶段,用于支持实际视频处理系统的需要。 6. 历年获奖情况 无。 7. 成果简介 本项目申请了发明专利2项,培养了博士4人、硕士5人、学士9人,发表了SCI国际高水平学术期刊论文7篇,以及国际顶级学术会议论文（中国计算机学会CCF-A类）1篇。