期刊文献+

非刚性稠密匹配大位移运动光流估计 预览

Large Displacement Motion Optical Flow Estimation With Non-Rigid Dense Patch Matching
在线阅读 下载PDF
收藏 分享 导出
摘要 光流场是目标检测,无人机定位等众多计算机视觉任务的重要基础.本文针对非刚性大位移运动等困难运动类型图像序列光流计算的准确性与鲁棒性问题,提出一种基于非刚性稠密匹配的TV-L1(Total Variational with L1 norm,TV-L1)大位移光流计算方法.首先,使用非刚性稠密块匹配计算图像序列初始最近邻域场,其次根据图像相邻块区域的相似性消除初始最近邻域场中的非一致性区域以得到准确的图像最近邻域场.然后,在图像金字塔分层计算框架下,将图像最近邻域场引入基于非局部约束的TV-L1光流估计模型,通过Quadratic Pseudo-Boolean Optimization (QPBO)融合算法在金字塔分层图像光流计算时对TV-L1模型光流估计进行大位移运动补偿.最后,采用标准测试图像序列对本文方法和当前代表性的变分方法LDOF(Large Displacement Optical Flow,LDOF)、Classic+NL、NNF(Nearest Neighbor Fields,NNF)以及深度学习方法FlowNet2.0进行对比分析.实验结果表明,本文方法能有效提高非刚性运动、大位移运动以及运动遮挡等困难运动类型光流估计的精度与鲁棒性. Optical flow field is an important basis for many computer vision tasks such as target detection and unmanned aerial vehicle positioning.In order to develop the accuracy and robustness of optical flow estimation suffered from the difficult motion such as non-rigid movement and large displacement motion,this paper proposes a large displacement optical flow estimation approach based on non-rigid dense patch matching.Firstly,we utilize the non-rigid dense patch matching to compute the initial nearest neighbor field between the consecutive frames,and eliminate the inconsistent regions of the computed nearest neighbor field according to the consistency of the neighboring patches in the image to obtain an accurate image nearest neighbor field.Secondly,we merge the nearest neighbor field into the TV-L1(Total Variational with L1 norm,TV-L1) optical flow model,and employ the nearest neighbor field to compensate the large displacement optical flow of TV-L1 model by using the Quadratic Pseudo-Boolean Optimization (QPBO) fusion algorithm during the coarse-to-fine computation scheme.Finally,we employ the standard test image sequences to evaluate the performance of our approach and some state-of-the-art methods including LDOF(Large Displacement Optical Flow,LDOF),Classic+NL,NNF(Nearest Neighbor Fields,NNF) and FlowNet2.0.The experimental results demonstrate that the proposed method has the higher accuracy and better robustness of optical flow estimation for difficult motion such as non-rigid movement,large displacement motion and motion occlusion.
作者 张聪炫 陈震 熊帆 黎明 葛利跃 陈昊 ZHANG Cong-xuan;CHEN Zhen;XIONG Fan;LI Ming;GE Li-yue;CHEN Hao(Key Laboratory of Nondestructive Testing,Ministry of Education,Nanchang Hangkong University,Nanchang,Jiangxi 330063,China;Key Laboratory of Jiangxi Province for Image Processing and Pattern Recognition,Nanchang Hangkong University,Nanchang,Jiangxi 330063,China;Institute of Automation,Chinese Academy of Sciences,Beijing 100190,China)
出处 《电子学报》 EI CAS CSCD 北大核心 2019年第6期1316-1323,共8页 Acta Electronica Sinica
基金 国家自然科学基金(No.61866026,No.61772255,No.61866025) 江西省优势科技创新团队计划(No.20152BCB24004,No.20165BCB19007) 江西省青年科学基金(No.20171BAB212012) 江西省研究生创新专项资金项目资助(No.YC2017S339).
关键词 光流场 目标检测 无人机 计算机视觉 非刚性块匹配 大位移运动 最近邻域场 深度学习 optical flow field target detection unmanned aerial vehicle computer vision non-rigid patch matching large displacement motion nearest-neighbor filed deep learning
作者简介 张聪炫,男,1984年7月出生于河南省焦作市.分别于2007年和2014年在南昌航空大学和南京航空航天大学获得学士和博士学位.现为南昌航空大学副教授,硕士生导师,中国科学院自动化研究所博士后.主要研究方向为图像检测与智能识别.E-mail:zcxdsg@163.com;通讯作者:陈震,男,1969年11月生,江西九江人.分别于1993、2000和2003年在西北工业大学获得学士、硕士和博士学位.现为南昌航空大学教授,博士生导师,主要研究方向为计算机视觉、图像处理与模式识别.E-mail:dr_chenzhen@163.com;熊帆,男,1992年1月生,江西南昌人.现为南昌航空大学测试与光电工程学院硕士研究生.主要研究方向为图像检测与智能识别.E-mail:498180029@qq.com;黎明,男,1965年2月生,江西樟树人.分别于1985年、1990年和1997年在上海交通大学和南京航空航天大学获得学士、硕士和博士学位.现为南昌航空大学教授,博士生导师,主要研究方向为图像处理与模式识别、智能计算.E-mail:limingniat@hotmail.com;葛利跃,男,1992年10月生,安徽蚌埠人.现为南昌航空大学测试与光电工程学院硕士研究生.主要研究方向为图像检测与智能识别.E-mail:lygeah@163.com;陈昊,男,1982年9月生,山东平度人.分别于2004年和2011年在青岛大学和南京航空航天大学获得学士、博士学位.现为南昌航空大学副教授,硕士生导师,主要研究方向为智能进化算法及应用,模式识别与人工智能.E-mail:chenhaoshl@nchu.edu.cn.
  • 相关文献

参考文献1

二级参考文献21

  • 1Hérissé B,Hamel T,Mahony R,et al.Landing a VTOL unmanned aerial vehicle on a moving platform using optical flow[J]. IEEE Transactions onRobotics,2012,28(1):77-89. 被引量:1
  • 2Holte M B,Moeslund T B,Fihl P.View invariant gesture recognition using 3D optical flow and harmonic motion context[J]. Computer Vision and Image Understanding,2010,114(12):1353-1361. 被引量:1
  • 3Horn K P,Schunck B G.Determining optical flow[J]. Artificial Intelligence,1981,17(1-3):185-204. 被引量:1
  • 4Lucas B D,Kanade T.An iterative image registration technique with an application to stereo vision. Proceedings of the 7th international joint conference on Artificial intelligence[C]. Vienna:Springer,1981.674-679. 被引量:1
  • 5Barron J L,Fleet D J,Beauchemin S S.Performance of optical flow techniques[J]. International journal of computer vision,1994,12(1):43-77. 被引量:1
  • 6Papenberg N,Bruhn A,Brox T,et al.Highly accurate optic flow computation with theoretically justified warping[J]. International Journal of Computer Vision,2006,67(2):141-158. 被引量:1
  • 7Drulea M,Nedevschi S.Total variation regularization of local-global optical flow. 14th Conference on Intelligent Transportation Systems[C]. Washington DC:IEEE,2011.318-323. 被引量:1
  • 8Werlberger M,Trobin W,Pock T,et al.Anisotropic huber-L1 optical flow. Proceedings of the British machine vision conference[C]. London:BMVA,2009.1-11. 被引量:1
  • 9Xu L,Jia J,Matsushita Y.Motion detail preserving optical flow estimation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(9):1744-1757. 被引量:1
  • 10Zimmer H,Bruhn A,Weickert J.Optic flow in harmony[J]. International Journal of Computer Vision,2011,93(3):368-388. 被引量:1

共引文献8

投稿分析

相关作者

内容加载中请稍等...

相关机构

内容加载中请稍等...

相关主题

内容加载中请稍等...

浏览历史

内容加载中请稍等...
;
使用帮助 返回顶部 意见反馈