[00670214]面向复杂场景的人物视觉理解技术及应用

该项目属于计算机科学与技术领域。面向复杂场景的人物视觉理解技术及应用是建设智慧城市公共安全的核心技术，契合国家新一代人工智能发展规划和上海市建设人工智能高地重大战略。社会治理面临着超大规模人群的公共安防挑战、国民级公共安全的远程核身难题，以及跨时空寻回拐卖儿童等重大民生问题，复杂场景下的人物视觉理解是解决这些挑战问题的突破性技术。针对人物视觉理解中的跨时空、大规模、多样性等技术难点，该项目从跨时域的人脸检索与分析、大规模场景实时人物识别，到多模态远程身份核实系统；形成了完整的人物理解闭环体系，取得了一系列重大创新性成果，并广泛应用于公共安全、公共防疫、社会民生等重大场景，为建设平安中国提供强大的技术保障。 1.面向人物的图像视频结构化分析创新理论方法： 针对复杂场景下的图像视频信息缺失、多尺度结构、光照环境、物体遮挡变化等难点问题，首次提出了基于范式优化的图像视频主结构提取、基于光照感知的图像增强与色彩结构分析、基于时空概念分解的时序序列理解等创新性方法，为人物特征理解技术提供了强大的理论基础。 2.跨时空多模态的全流程人物特征理解创新技术： 基于图像视频理解基础理论成果，围绕人物特征理解提出了基于分布蒸馏的千万级跨年龄人脸识别、基于多模态活体检测的远程身份核实技术、抗遮挡的实时密集人体姿态估计、可迁移的行为与表情理解等创新技术，形成从人脸识别、表情分析、人体姿态估计到行为理解的全流程人物分析技术体系，为系统应用平台提供全方位技术支撑。 3.复杂场景下的人物理解创新应用平台： 基于全流程人物分析技术体系，突破复杂场景下人物理解的应用瓶颈，项目组研发了跨时域人脸检索与分析系统、大规模场景理解与人物识别、多模态的远程身份核实系统；在智慧民生、公共安全、健康防疫等重大场景落地应用，服务国家重大活动的安防保障。 项目取得国际领先水平成果，系列技术指标18次刷新世界纪录，如在MegaFace百万规模数据集的人脸检索、FDDB上的人脸检测、LFW上的人脸验证、MOT2015和MOT2017上的人体跟踪等。人体姿态估计开源系统AlphaPose在Github开源社区的关注人数排名前十万分之五。 团队发表论文290篇，包括Nature子刊、TPAMI等顶级期刊/会议70篇，授权发明专利165项，发布国家标准8项，构建了人物特征理解与场景分析的技术体系与系统平台。跨年龄人脸识别技术相关API调用高峰超30亿次/天，万亿次/年；远程核身日均调用量超2000万次，健康码覆盖近9亿人口，累计访问量突破80亿；人脸识别技术找回1691名走失或被拐人员、15名被拐10年以上儿童，产生重大社会效益。总经济效益达85.8亿元。该项目取得一系列创新成果，为社会治理及疫情防控作出重大贡献，推动了人工智能相关行业的技术进步。