Research progress on visual detection technology for port container handling equipment
-
摘要: 围绕图像预处理、目标检测与识别方向，对国内外集装箱无人化管理中的视觉检测技术进行综述，将目标检测算法分为“特征＋分类器”和深度学习模型两大类，系统梳理不同模型下的应用对象、各自优势与技术局限，探讨了视觉检测技术在港口经典场景中存在的问题及发展趋势。结合实际工程项目，分析面向集装箱堆高机自主作业的机器视觉关键技术研究进展。分析表明：当前研究在特征工程与深度学习融合、感知实时性与检测精度均衡性上取得一定共识，但在光照变化、目标遮挡、多尺度检测以及标注样本稀缺等条件下仍存在局限。未来研究应聚焦于轻量化网络设计、多传感器融合感知以及领域自适应迁移学习等方向，以推动港口集装箱视觉检测技术的工程化落地与智能化升级。Abstract: A systematic review was presented on vision-based detection techniques for unmanned container management, covering image preprocessing, object detection, and recognition. Detection algorithms were classified into “feature + classifier” models and deep learning models, with their application objects, advantages, and limitations summarized. Challenges and trends in typical port scenarios were discussed, along with research progress in key machine vision techniques for autonomous container reach stackers based on engineering practice. Current findings show that consensus has been reached on the integration of feature engineering and deep learning, as well as on the trade-offs between real-time perception and detection accuracy. However, limitations still exist under conditions such as illumination changes, occlusion, multi-scale detection, and scarce labeled data. Future research should focus on lightweight network design, multi-sensor fusion, and domain-adaptive transfer learning to facilitate engineering deployment and intelligent upgrading of port container detection.
-
图 1 面向港口集装箱自主作业系统的视觉应用的典型场景
Figure 1. Typical scenarios for visual applications in autonomous handling systems for port containers
图 2 集装箱局部特征检测及相对定位求解流
Figure 2. Flowchart of container local feature detection and relative positioning solution
表 1 基于特征及分类器的目标检测算法应用
Table 1. Application of feature-based and classifier-based target detection algorithms
特征分类 算法 应用对象 优势 局限性 颜色特征 HSI[6] AGV 通过分离色度和亮度分量，获得对光照变化不敏感的特征 对于复杂背景或遮挡情况下，检测方法的效果较弱 CIELab[7] 车道线 能够提供良好的色彩不变性，使检测结果不受光照变化的影响 转换算法相对复杂，可能增加车道线检测算法的计算开销 HSV + SVM[8] 集装箱 图像分割效率高，目标位姿变换适应性好 无法准确区分具有相似颜色的不同目标 形状特征 Hough变换[9] 集装箱 在近距离集装箱深度估计的准确性更高 缺乏在室外环境下的验证 Hough变换[10] 集装箱 抗光干扰性强，可用于复杂天气中破旧集装箱的边缘检测 对图像的质量要求较高 SVM + Canny[11] 锁孔 有效地定位视频流中锁孔中心，追踪定位成功率高，识别精度高 SVM的训练过程相对复杂，需要大量的样本数据和特征提取工作 梯度特征 SVM + HOG[12] 角铸件 已知右侧角铸件，通过镜像翻转图像来识别左侧角铸件，识别效率提升 实际应用中，镜像变换后可能会存在角度误差 SVM + HOG[13] 锁孔 适用不同角度集装箱的定位，对孔洞周围的腐蚀具有鲁棒性 对于只包含集装箱顶部或局部区域的图像，锁孔检测困难 SVM + HOG[14] 锁孔 相同测试条件下，HOG + SVM识别率与误检率均优于 LBP + Adaboost方法 对于集装箱锁孔的形状和轮廓完整度要求较高 SIFT和SURF[15] 集卡速度 在低于30 km/h仍具有较高的测量精度 当集装箱卡车的速度超过40 km/h，算法的测量精度会大幅降低 基于梯度与平均相对差蚁群算法[16] 车道线 针对复杂光照场景，鲁棒性强 梯度算法对噪声和边缘宽度敏感，可能导致误检或漏检 多特征
融合DLD + Canny[17] 车道线 DLD的优势在于简化了检测算法，满足鲁棒性和实时性的要求 Canny对道路曲率的精确测量需要先验信息，对噪声和干扰比较敏感 HSV、Canny + Hough[18] 箱体位置、锁孔 样本数各500个，白天和夜晚的识别率均达到93％以上，检测时间为120 ms 算法对于锁孔形状和大小的变化敏感，需要根据情况进行参数调整 HIS + Hough + 宽度特征[19] 车道线 有助于在不同距离范围内更精确地适应车道线的变化 数据集中包含了障碍物、阴影等特殊情况，但不够全面 Canny + Hough[3] 车道线 适用于夜间车灯照射的路面 对于非标准形状或颜色的车道线检测率下降 HSV + Hough[4] 集装箱边界线 30 + 帧/s的检测速度的同时，仍能保持99%的准确率；适用于嵌入式系统 算法检测时间与角点数的增加成正比 HSV + Hough[20] 锁孔 样本数各500个，白天识别率达到95 %以上；夜间识别率达到93 % 光照敏感，夜间20 ft（1 ft= 0.3048 m）集装箱的识别率低于40 ftHough + Retinex[21] 车速和车道线宽度 在不同照明条件下进行特征收集，耗时短 在直线道路上表现较好，曲线道路上检测效果相对较差 Sobel + Prewit + Canny + Roberts[22] 集装箱 弱化噪声，高定位精度 锁孔附近色彩差异较小的情况会影响锁孔的识别效果 HSV + Sobel + MSER[23] 集装箱脊线 提出的组合算法结合了多种算法和技术，有效地提高了定位的准确性和效率 算法涉及多个步骤，需要一定的计算资源和算法实现能力 
下载: 导出CSV
表 2 基于深度学习的目标检测算法应用
Table 2. Application of deep learning-based target detection algorithms
分类 算法 应用对象 优势 局限性 二 阶段 改进的MI-PSO + Faster R-CNN[24] 集装箱 使用改进的EMPSO方法，更好地适应全局最小值，提高优化结果的准确性 使用混合整数优化方法，对离散参数的优化有一定的局限性 改进的Faster R-CNN[25] 目标车辆 引入深度残差学习和特征金字塔结构，增强车辆
检测器的性能和尺度感知能力港口监控视频中车辆图像分辨率较低，
增加了小目标检测的难度一阶段 YOLOv3 + ORB-SLAM2[26] 地图构建 引入支撑平面，提升分割结果的鲁棒性 对于边框不精准的物体，构建的语义地图
存在一定的精度问题YOLO[27] 锁孔 在 15000 个样本下，最终识别率接近90%YOLO算法对目标细节的定位精度较低 YOLOv4-tiny + U-net[28] 锁孔 在相同测试条件下，本研究算法在锁孔中心定位精度方面远超 SVM + HOG和YOLOv4-tiny算法 在图像分割过程中，需要考虑计算
资源的限制ResNet + SSD[29] 轮毂 结合SSD进行目标检测时，ResNet可以提取更丰富的特征信息，提高了检测的准确性 ResNet作为一个较深的网络模型，需要
较大的计算资源和训练时间通道修剪的 Yolov4-tiny[30] 锁销 在相同测试条件下，本研究算法较SSD 、Faster R-CNN、Yolov4 和 Yolov4-tiny等算法有更高的识别准确率、更小的模型尺寸和更短的识别时间 在应用通道修剪算法时需要仔细选择合适的剪枝率，以平衡模型的精度和计算效率 ResNet50 + SSD[31] 角铸件 修改后SSD算法提升了检测速度和
准确率对小尺寸目标的检测仍然有一定的局限性，可能漏检或误检 ResNet50 + FPN + SSD[32] 集装箱 集装箱的检测准确率为92%，被遮挡集装箱的检测准确率为65%；模型的总损失低于1，模型可靠 针对特定对象，若检测其他类别的对象，
需要重新训练模型改进YOLOv[33] 集装箱号 在 6961 个样本下，mAP 93.7%，平均识别速度
29.1帧/s，实时性好，实现模型的轻量化需要较高的计算资源和存储空间来支持
实时处理
下载: 导出CSV
-
[1] 田威, 焦嘉琛, 李波, 等. 航空航天制造机器人高精度作业装备与技术综述[J] . 南京航空航天大学学报, 2020, 52(3): 341 − 352. [2] 沈华. 人工智能在集装箱码头应用场景及研究前沿[J] . 工程机械, 2024, 55(1): 165 − 171. [3] 李亚娣, 黄海波, 李相鹏, 等. 基于Canny算子和Hough变换的夜间车道线检测[J] . 科学技术与工程, 2016, 16(31): 234 − 237, 242. [4] GAO X, YEH H G, MARAYONG P. A high-speed color-based object detection algorithm for quayside crane operator assistance system[C] //Proceedings of 2017 Annual IEEE International Systems Conference (SysCon). Montreal: IEEE, 2017: 1 − 6. [5] 尹宏鹏, 陈波, 柴毅, 等. 基于视觉的目标检测与跟踪综述[J] . 自动化学报, 2016, 42(10): 1466 − 1489. [6] PARK J, LEE J, PARK Y, et al. AGV parking system based on tracking landmark[C] //Proceedings of 2009 6th International Conference on Electrical Engineering/Electronics, Computer, Telecommunications and Information Technology. Chonburi: IEEE, 2009: 340 − 343. [7] MA C, XIE M. A method for lane detection based on color clustering[C] //Proceedings of 2010 3rd International Conference on Knowledge Discovery and Data Mining. Phuket: IEEE, 2010: 200 − 203. [8] 陈宁, 王胜, 黄正文. 基于特征匹配的集装箱识别与定位技术研究[J] . 图学学报, 2016, 37(4): 530 − 536. [9] YOON H J, HWANG Y C, CHA E Y. Real-time container position estimation method using stereo vision for container auto-landing system[C] //Proceedings of ICCAS 2010. Gyeonggi-do: IEEE, 2010: 872 − 876. [10] FU Y H, WANG X F, MI C, et al. A container horizontal positioning method with image sensors for cranes in automated container terminals[J] . Sensors & Transducers, 2014, 166(3): 190 − 196. [11] 张军, 刁云峰, 程文明, 等. 基于视频流的集装箱锁孔追踪及中心定位[J] . 计算机应用, 2019, 39(S2): 216 − 220. [12] MI C, ZHANG Z W, HUANG Y F, et al. A fast automated vision system for container corner casting recognition[J] . Journal of Marine Science and Technology, 2016, 24(1): 54 − 60. [13] DIAO Y F, CHENG W M, DU R, et al. Vision-based detection of container lock holes using a modified local sliding window method[J] . EURASIP Journal on Image and Video Processing, 2019, 2019(1): 69. doi: 10.1186/s13640-019-0472-1 [14] 张羽达, 赵德安, 刘晓洋. 基于HOG与SVM的集装箱锁孔识别及定位研究[J] . 软件导刊, 2019, 18(3): 16 − 19, 24. [15] JIANG J, MI C, WU M T, et al. Real-time container truck speed measurement at container port gates based on the binocular vision technology[J] . Journal of Coastal Research, 2019, 93(S1): 998 − 1005. [16] 刘悦, 杨桦, 王青正. 面向复杂光照环境的车道线检测方法[J] . 激光杂志, 2024, 45(6): 94 − 99. doi: 10.14016/j.cnki.jgzz.2024.06.094 [17] LEE M, JANG C, SUNWOO M. Probabilistic lane detection and lane tracking for autonomous vehicles using a cascade particle filter[J] . Proceedings of the Institution of Mechanical Engineers, Part D: Journal of Automobile Engineering, 2015, 229(12): 1656 − 1671. doi: 10.1177/0954407014567719 [18] 宓为建, 张志伟, 宓超. 基于机器视觉的集装箱锁孔识别算法研究[J] . 中国工程机械学报, 2016, 14(5): 399 − 402. doi: 10.15999/j.cnki.311926.2016.05.005 [19] CÁCERES HERNÁNDEZ D, KURNIANGGORO L, FILONENKO A, et al. Real-time lane region detection using a combination of geometrical and image features[J] . Sensors, 2016, 16(11): 1935. doi: 10.3390/s16111935 [20] SHEN Y, MI W J, ZHANG Z W. A positioning lockholes of container corner castings method based on image recognition[J] . Polish Maritime Research, 2017, 24(S3): 95 − 101. doi: 10.1515/pomr-2017-0110 [21] WIN S Y, LWIN H H. Lane boundaries detection algorithm based on Retinex with line segments angles computation[C] //Proceedings of 2018 18th International Symposium on Communications and Information Technologies. Bangkok: IEEE, 2018: 160 − 164. [22] 许彩云, 周永升, 田歌. 基于机器视觉的集装箱自动定位系统[J] . 自动化应用, 2019(3): 85 − 86. [23] DAI M T, LIU Q, WANG J B. An auxiliary container loading location algorithm based on computer vision[C] //Proceedings of 2019 34rd Youth Academic Annual Conference of Chinese Association of Automation. Jinzhou: IEEE, 2019: 280 − 284. [24] BANDONG S, NAZARUDDIN Y Y, JOELIANTO E. Faster RCNN mixed-integer optimization with weighted cost function for container detection in port automation[J] . Heliyon, 2023, 9(2): e13213. doi: 10.1016/j.heliyon.2023.e13213 [25] CHEN X Q, WANG Z C, HUA Q Z, et al. AI-empowered speed extraction via port-like videos for vehicular trajectory analysis[J] . IEEE Transactions on Intelligent Transportation Systems, 2023, 24(4): 4541 − 4552. doi: 10.1109/TITS.2022.3167650 [26] 邹斌, 林思阳, 尹智帅. 基于YOLOv3和视觉SLAM的语义地图构建[J] . 激光与光电子学进展, 2020, 57(20): 201012. doi: 10.3788/LOP57.201012 [27] WANG X. Recognition and positioning of container lock holes for intelligent handling terminal based on convolutional neural network[J] . Traitement du Signal, 2021, 38(2): 467 − 472. DOI: 10.18280/ts.380226. [28] 谢孟添, 刁云峰, 程文明, 等. 基于U-net和YOLOv4-tiny的锁孔中心定位算法[J] . 起重运输机械, 2021(23): 70 − 75. doi: 10.3969/j.issn.1001-0785.2021.23.023 [29] HUANG Q F, HUANG Y G, ZHANG Z W, et al. Truck-lifting prevention system based on vision tracking for container-lifting operation[J] . Journal of Advanced Transportation, 2021, 2021: 9612480. [30] 汪兆冉, 李保江, 王西超, 等. 基于深度学习的集装箱锁销识别系统[J] . 机械设计与研究, 2022, 38(1): 186 − 190. doi: 10.13952/j.cnki.jofmdr.2022.0049 [31] ZHANG Y J, HUANG Y G, ZHANG Z W, et al. A vision-based container position measuring system for ARMG[J] . Measurement and Control, 2023, 56(3/4): 596 − 605. [32] BURGOS SIMON M A, GARRO CREVILLEN E, LLACER SANFERNANDO M, et al. A vision-based application for container detection in Ports 4.0[C] //Proceedings of the 16th International Conference on Pervasive Technologies Related to Assistive Environments. Corfu: ACM, 2023: 557 − 561. [33] LIN Z H, DONG C, WAN Y X. Research on intelligent recognition algorithm of container numbers in ports based on deep learning[C] //Proceedings of 20th International Conference on Advanced Intelligent Computing Technology and Applications. Tianjin: Springer, 2024: 184 − 196. [34] PIZZATI F, GARCÍA F. Enhanced free space detection in multiple lanes based on single CNN with scene identification[C] //Proceeding of 2019 IEEE Intelligent Vehicles Symposium (IV). Paris: IEEE, 2019: 2536−2541. [35] ZOU Q, JIANG H W, DAI Q Y, et al. Robust lane detection from continuous driving scenes using deep neural networks[J] . IEEE Transactions on Vehicular Technology, 2020, 69(1): 41 − 54. doi: 10.1109/TVT.2019.2949603 [36] LEE J. Deep learning–assisted real-time container corner casting recognition[J] . International Journal of Distributed Sensor Networks, 2019, 15(1). DOI: 10.1177/1550147718824462. [37] 邹鲁, 赵永新, 王西超, 等. 基于深度卷积神经网络的集装箱锁销识别研究[J] . 上海电机学院学报, 2019, 22(4): 193 − 197. doi: 10.3969/j.issn.2095-0020.2019.04.002 [38] ROEKSUKRUNGRUEANG C, KUSONTHAMMRAT T, KUNAPRONSUJARIT N, et al. An implementation of automatic container number recognition system[C] //Proceedings of 2018 International Workshop on Advanced Image Technology. Chiang Mai: IEEE, 2018: 1 − 4. [39] 郝运嵩, 卢彪, 刘峰, 等. 基于CenterNet的集装箱锁孔关键点平滑跟踪[J] . 控制工程, 2021, 28(11): 2108 − 2113. doi: 10.14107/j.cnki.kzgc.20210132 [40] 王雅兰, 崔国华, 张振山, 等. 一种集装箱锁孔自动识别定位系统及方法: CN202310972295.8[P] . 2023−08−03. [41] 张毛磊, 陈建国, 袁宏永, 等. 六旋翼飞行平台的视频稳像技术[J] . 清华大学学报(自然科学版), 2014, 54(11): 1412 − 1416. doi: 10.16511/j.cnki.qhdxxb.2014.11.017 [42] 沈嘉康. 基于改进DBNet与改进CRNN的集装箱箱号识别系统[J] . 工业控制计算机, 2024, 37(3): 54 − 56. doi: 10.3969/j.issn.1001-182X.2024.03.019 [43] 熊玉仙. 基于CRNN和SVTR的自然场景中文识别研究[D] . 荆州: 长江大学, 2023. [44] MAQSOOD M, MEHMOOD I, KHAREL R, et al. Exploring the role of deep learning in industrial applications: a case study on coastal crane casting recognition[J] . Human-centric Computing and Information Sciences, 2021, 11: 20. -
下载:
点击查看大图
图(3) / 表(2)
计量
- 文章访问数: 10
- HTML全文浏览量: 7
- PDF下载量: 1
- 被引次数: 0
