留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于激光和视觉传感器融合的定位与建图

赵以恒 周志峰

赵以恒, 周志峰. 基于激光和视觉传感器融合的定位与建图[J]. 上海工程技术大学学报, 2022, 36(4): 392-397. doi: 10.12299/jsues.22-0121
引用本文: 赵以恒, 周志峰. 基于激光和视觉传感器融合的定位与建图[J]. 上海工程技术大学学报, 2022, 36(4): 392-397. doi: 10.12299/jsues.22-0121
ZHAO Yiheng, ZHOU Zhifeng. Location and mapping of lidar and vision sensor fusion[J]. Journal of Shanghai University of Engineering Science, 2022, 36(4): 392-397. doi: 10.12299/jsues.22-0121
Citation: ZHAO Yiheng, ZHOU Zhifeng. Location and mapping of lidar and vision sensor fusion[J]. Journal of Shanghai University of Engineering Science, 2022, 36(4): 392-397. doi: 10.12299/jsues.22-0121

基于激光和视觉传感器融合的定位与建图

doi: 10.12299/jsues.22-0121
详细信息
    作者简介:

    赵以恒(1996−),男,在读硕士,研究方向为多传感器融合建图. E-mail:zyh96hfut@163.com

    通讯作者:

    周志峰(1978−),男,副教授,博士,研究方向为自动驾驶和定位与建图. E-mail: zhousjtu@126.com

  • 中图分类号: TP242

Location and mapping of lidar and vision sensor fusion

  • 摘要:

    定位与建图是自动驾驶的关键技术之一. 激光传感器或视觉传感器具有局限性,通过多传感器融合可以发挥不同传感器各自的优点,提高定位与建图的精度和鲁棒性. 通过优化Harris算法对图像进行角点提取,利用关键帧对特征点匹配算法进行优化,然后利用非线性最小二乘法进行后端优化. 通过试验平台进行定位与建图试验,对算法进行验证,并用EVO工具对定位误差进行分析. 结果表明,提出后端优化算法误差比单一传感器定位误差减少13%.

  • 图  1  SLAM算法经典框架

    Figure  1.  Classic framework of SLAM algorithm

    图  2  图优化示意图

    Figure  2.  Graph optimization diagram

    图  3  Harris角点检测流程图

    Figure  3.  Flow chart of Harris corner detection

    图  4  Harris示意图

    Figure  4.  Harris diagram

    图  5  基于原始的Harris角点检测

    Figure  5.  Harris corner detection based on original

    图  6  改进后的Harris角点检测

    Figure  6.  Improved Harris corner detection

    图  7  暴力匹配特征点匹配

    Figure  7.  Violence matching feature point matching

    图  8  采用关键帧优化后的特征匹配

    Figure  8.  Feature matching after key frame optimization

    图  9  没有后端优化的建图

    Figure  9.  Mapping without back-end optimization

    图  10  融合视觉及后端优化的建图

    Figure  10.  Map building integrated vision and back-end optimization

    图  11  利用单一传感器建图效果

    Figure  11.  Drawing effect using a single sensor

    图  12  利用激光传感器和视觉传感器融合进行建图

    Figure  12.  Map building with fusion of laser sensor and visual sensor

    图  13  EVO定量分析定位精度

    Figure  13.  Positioning accuracy of EVO quantitative analysis

    表  1  激光视觉传感器定位误差和单一传感器比较

    Table  1.   Comparison of positioning accuracy between laser vision sensor and single sensor

    算法最大误差最小误差平均误差中值误差均方根方差
    LOAM2.51372.32672.45392.44292.3535
    OURS2.17641.99652.03682.04662.0036
    下载: 导出CSV
  • [1] GRAETER J, WILCZYNSKI A, LAUER M. LIMO: Lidar-Monocular Visual Odometry[C]//Proceedings of IEEE, 2019: 7872 − 7879.
    [2] SHIN Y S, PARK Y S, KIM A. Direct visual SLAM using sparse depth for camera-lidar system[C]//Proceedings of the 2018 IEEE International Conference on Robotics and Automation (ICRA). Brisbane: IEEE, 2018: 1−8.
    [3] HUANG S S, MA Z Y, MU T, et al. Lidar-monocular visual odometry using point and line features[C]//Proceedings of 2020 IEEE International Conference on Robotics and Automation (ICRA). Paris: IEEE, 2020: 33−42.
    [4] SILVA V D, ROCHE J, KONDOZ A. Fusion of LiDAR and camera sensor data for environment sensing in driverless vehicles[J] . arXiv,2017. doi: 10.48550/arXiv.1710.06230
    [5] ZUO X X, GENEVA P, YANG Y L, et al. Visual-inertial localization with prior LiDAR map constraints[J] . IEEE Robotics and Automation Letters,2019,4(4):3394 − 3401.
    [6] JI Z, SINGH S. Visual-lidar odometry and mapping: low-drift, robust, and fast[C]//Proceedings of 2015 IEEE International Conference on Robotics and Automation (ICRA). Seattle: IEEE, 2015: 345−351.
    [7] ZHANG J, SINGH S. Laser-visual-inertial odometry and mapping with high robustness and low drift[J] . Journal of Field Robotics,2018,35(8):1242 − 1264. doi: 10.1002/rob.21809
    [8] SHAO W Z, VIJAYARANGAN S, LI C, et al. Stereo visual inertial LiDAR simultaneous localization and mapping[C]//Proceedings of 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems. Macau: IEEE, 2019: 370−377.
    [9] ZUO X, GENEVA P, LEE W, et al. LIC-fusion: LiDAR-inertial-camera odometry[C]//Proceedings of IEEE/RSJ International Conference on Intelligent Robots and Systems. Kyongju: IEEE, 2019: 1−4.
    [10] 张伟伟, 陈超, 徐军. 融合激光与视觉点云信息的定位与建图方法[J] . 计算机应用与软件,2020,37(7):114−119.
  • 加载中
图(13) / 表(1)
计量
  • 文章访问数:  379
  • HTML全文浏览量:  261
  • PDF下载量:  63
  • 被引次数: 0
出版历程
  • 收稿日期:  2022-05-05
  • 刊出日期:  2022-12-30

目录

    /

    返回文章
    返回