[01179015]基于深度学习的视频监控目标分类及检索关键技术研究

①课题来源与背景 本课题是2016年安徽省科技厅下达的安徽省科技攻关计划项目---基于深度学习的视频监控目标分类及检索关键技术研究,由安徽大学牵头,联合公安部第三研究所、涡阳县公安局,采用“产、学、研、用”紧密结合于一体的科研模式实施研发。针对侦查实际应用需求,就公共安全领域的监控视频目标分类及检索关键技术进行深入研究,利用深度学习、图像处理、计算机视觉、语义分析、机器学习和模式识别等领域的知识与技术,开发用于在大量的监控视频中挖掘嫌疑车辆的线索,力求实现大尺度区域全方位智能检索的系统。 ②技术原理及性能指标 本项研究主要研究成果为视频图像云解析服务系统,即“慧眼平台”系统,并交付给安徽省涡阳县公安局免费使用,该系统主要应用于公共安全领域,通过对海量视频数据的结构化处理及深度理解,实现视频信息的语义化、文本化描述,为公安一线实战提供视频信息的分类与快速检索服务,提高公安干警破案效率。系统经第三方检测,1. 实现车牌遮挡、污损条件下的子车型分类;2. 实现以图搜图的检索功能,给出嫌疑目标图像在图像库中搜索相似度目标;3. 建立了公安基础视图库,通过分析目标的个性化特征,实现了车辆个性化特征包括车辆年检标志、遮阳板、安全带、车前部明显特征等,在视图库中找出与目标相同或相似的线索资料;4. 实现了视频图像库中非标车牌车辆（三轮车、摩托车、电瓶车、自行车、行人等）的智能分类及检索。系统响应时间小于100ms,以图搜图车辆检索（前一百张图像中）准确率为63.56%,在100万张车辆图片样本库的系统响应时间5s以内。 ③技术的创造性与先进性 基于监控视频中目标结构化描述技术和深度学习技术,实现对车辆的智能化分析,突破现有卡口视频监控的缺陷,开发适用于公安实践的车型信息库、人员知识库,并建立车辆检索以及车辆通行轨迹的动态信息挖掘系统,人员的快速检索及相似特征的搜寻,从而更好地发挥车辆信息在车型信息库、交通安全监控、刑侦、公安侦查办案和社会安全防控等公安应用中的作用,提高打击犯罪行为的效能,增强对犯罪的威慑力和打击能力。包括如下创新点: （1） 实现和改进存在车标遮挡、污损条件下的车型分类 与传统的车型分类不同,本项目进行车型分类时,并不单纯利用某个特征,而是整体图的输入,提取特征,克服了单个特征的遮挡、污损和受光线、角度条件变化影响这些困难,具有更好的鲁棒性和可靠性。 （2） 建立动态车型信息库 与单纯的车辆跟踪和运动轨迹分析任务不同,通过对视频进行车型分类,本项目能够建立动态的车型信息库,这种大规模的数据,能够用来刑侦、交通规划等工作。 （3） 实现以图搜图的车辆检索系统 本课题采用的基于子窗口目标定位的图像检索方式,利用分支界限法的定位框架,能在线性时间内快速的过滤掉大量与嫌疑目标无关的待检索图片及其包含的子窗口,且能保证定位到全局最优的嫌疑目标子窗口。 （4） 重点车辆运行状态的建模和预测分析 本课题分别利用统计学习算法和概率图模型进行车辆通行轨迹的建模和挖掘分析,能够弥补当前监控视频无法进行违章检测的不足。 （5） 基于车辆通行轨迹进行语义描述和检索、车辆运动特征的快速查找比对检索 本课题实现基于车辆运行轨迹语义描述,实现基于车辆运行轨迹的检索和索引等功能,为刑侦和交通安全执法提供历史数据追溯定位。 ④技术的成熟程度,适用范围和安全性 该课题的研究成果不仅仅服务于安徽公安机关,在上海、北京、江苏、江西、广东、山东、新疆等多地公安机关均有应用,关键技术的解决有力地协助了全国多地公安机关打击违法犯罪行为,从而保护了人民群众人身和财产的安全,起到了较高的社会效益。同时,高新技术的发展同样带动了视频监控行业上下游产业链的发展,增加了就业岗位,间接为社会稳定、人民安居乐业提供了服务。 ⑤应用情况及存在的问题 本课题提出一套较为完整的基于深度学习的视频监控目标分类及检索系统,在实战中取得了比较突出的效果,提升了一线干警侦办案件效率,但如需针对数万路治安视频实时结构化分析,需耗费相当多的硬件资源为支撑。该领域如何在不投入大量硬件资源前提下,将治安视频结构化完全实现解析、分析、标准化存储与一线公安民警对此的迫切需求还有一些距离,从规模和质量上仍然不能完全满足用户的需求。因此,对该领域的研究仍存在很大的改进空间,也是下一步项目团队力争突破相关硬件处理能力方面的目标,为广大一线公安干警打击犯罪提供有力地技术支撑。 ⑥历年获奖情况 此外,随着研究不断深入,各项技术不断提升,因核心技术“视频结构化描述关键技术”的突破,项目合作单位公安部第三研究所荣获了2018 年 “公安部科技进步一等奖”的优异成绩,相关行业技术标准、著作等相关工作持续推进中。