[01501534]基于判别联合深度神经网络的多视角行为识别方法研究

随着智能手机和可穿戴设备的普及,人们可以随时随地拍摄、上传和下载自己喜爱的视频。另一方面,互联网和移动互联网的迅猛发展,促使大量视频网站纷纷涌现,由此产生了海量的视频数据。因此,人们迫切地需要对视频数据进行理解。基于视频的行为识别技术能够帮助人们方便地实现智能监控、视频摘要、无人驾驶、人机交互等功能。因此,行为识别已成为当今模式识别和计算机视觉领域的研究热点。然而,在实际应用中,人体行为识别经常会遇到摄像头角度发生变化的情况,而同一行为从不同角度观察差异很大。由于大部分行为识别方法都依据外观或运动的时空模式进行识别,所以传统行为识别算法对视角变化不鲁棒,导致分类正确率下降。因此,学术界和工业界对精准的多视角行为识别技术的需求日加迫切。本项目就视频行人识别开展研究工作,并将工作重点放在行人图像、视频的特征表示和学习方面,发表相关论文。 具体创新性和实用性如下： （1）提出基于紧致三元损失的表示方法,减小相同行人图像之间的距离,增大不同行人图像之间的变化;同时通过交叉熵损失函数执行分类任务,并将这两种任务融合于一个网络结构中,进一步提高了行人图像特征的判别性,提高了行人再识别搜索的正确率。该方法解决了行人图像特征之间变化太大,不同行人图像特征之间变化不明显的技术问题。 （2）提出基于全局和多尺度局部深度特征融合的表示方法,考虑全局深度特征和多尺度局部深度特征中的互补信息。利用coarse分支学习行人图像的全局深度特征,利用fine分支来学习多尺度局部深度特征,然后把全局深度特征和多尺度局部深度特征进行融合来作为行人图像的特征表示,形成了完备的特征表示,解决了深度学习中未充分利用行人图像的全局深度特征或多尺度局部深度特征的技术问题。 （3）提出混合任务卷积神经网络框架,该框架结合分类任务和排序任务的优点,并将行人的全局特征和局部特征统一到同一个框架下,以此得到一个更加全面的行人再识别算法。同时,为了改进行人的全局特征判别性,提出了一种加权三元组损失,它能够自动的学习权重来强调图像的前景（行人）和弱化背景。 （4）提出局部嵌入深度特征学习,利用验证网络将局部特征映射到同一空间,使得相同类别样本距离更近,不相同类别样本距离更远,并利用识别网络学习全局特征,该方法利用验证网络分析局部特征充分考虑样本结构信息,同时利用识别网络学习具有更强判别能力的特征,提高深度模型性能。 （5）提出基于异构部件深度神经网络,利用对准距离学习图像部分的对准,同时利用交叉熵损失对图像的每个部分学习更具有判别性的基于部分的特征。该方法利用对准距离学习图像部分的对准,并利用不同的损失学习更具有判别性的基于部分的特征,提高深度模态性能。 存在的问题：本项目提出方法只能解决光线充足下的表示学习任务,而在夜间或光线较暗处,基于可见光图像的表示学习技术无用武之地,与此同时夜间或光线较暗处恰恰是犯罪活动的高发时间和地点。为保障人民生命财产安全、节约警力,实现全天候行人图像表示时不我待。因此,还需进一步的改进和完善。 本项目的研究已经在公开标准数据集上的分类正确率超过其他同类方法。项目执行期间共发表文章发表高质量论文39篇,其中SCI检索26篇,EI检索13篇;申请国家发明专利30项;培养研究生6名。