扫码下载APP

您的位置

资讯详情

本人可编辑资讯

仅支持在APP编辑资讯扫描二维码即可下载APP

东南大学杨万扣课题组:基于原型引导的多行人跟踪实例匹配

论论资讯 | 2023-04-20 3热度

Neurocomputing

Explore content

About the journal

Publish with us

Prototype-guided Instance matching for multiple pedestrian tracking

Wang Q.; Zhang W.; Yang W.; Xu C.; Cui Z.

Published:2023-06-14
DOI:10.1016/j.neucom.2023.03.068

研究背景

人类行为分析是计算机视觉领域的重要研究方向之一,其中多人行人跟踪是一项具有挑战性的任务。虽然现有的跟踪方法采用了检测跟踪范式,但它们在如何提高在杂乱和拥挤的环境中的实例匹配能力方面考虑不足。在这种情况下,本文提出了一种新颖的“原型引导实例匹配”(PIM)方法,旨在提高多行人跟踪任务的性能。

研究内容

本文提出的PIM方法主要由检测器网络、外观嵌入模块和自适应原型字典组成。给定当前帧作为输入样本,首先采用经典检测器选择一组正样本候选,然后将它们的相应多尺度卷积特征馈入外观嵌入模块,以获取稳健的实例级特征表示。接着,本文通过在学习到的实例级特征嵌入和原型字典之间进行原型引导实例匹配优化,从而扩大不同实例之间的可分性,并使相同实例之间的距离更加紧凑。这里采用端到端的方式对目标检测和外观嵌入进行联合优化。此外,本文维护一个自适应原型字典,以存储实例级原型,可以自适应地更新以适应所有跟踪目标随时间变化的外观变化。实例匹配和原型字典更新被建模成交互式优化过程,以便它们可以逐步改进彼此。

研究意义

本文提出了一种新颖的PIM方法,通过原型引导实例匹配,提高了多行人跟踪任务的性能。该方法不仅可以提高实例匹配的准确性,还可以适应外观变化,具有较强的鲁棒性。实验结果表明,与现有的多行人跟踪方法相比,本文提出的PIM方法具有更好的性能。这项研究对于人类行为分析领域的研究具有重要的意义,可以为相关领域的研究提供新的思路和方法。

微信扫码即可查看