基于智能破碎锤作业场景的多目标石块识别定位方法

王文超; 马其华; 赵磊

doi:10.12299/jsues.22-0313

基于智能破碎锤作业场景的多目标石块识别定位方法

doi: 10.12299/jsues.22-0313

王文超^1,,
马其华^1, ,,
赵磊^{2, 3}

1.
上海工程技术大学机械与汽车工程学院, 上海 201620
2.
山东建筑大学机电工程学院, 济南 250101
3.
山东派蒙机电技术有限公司, 济南 250100

基金项目: 国家自然科学基金青年基金资助（62101314）

详细信息

作者简介:
王文超（1997−），男，在读硕士，研究方向为智能车多传感器融合定位，深度学习等. E-mail：2549657483@qq.com

通讯作者:
马其华（1980−），男，副教授，博士，研究方向为智能车多传感器融合等. E-mail：mqh0386@sues.edu.cn

中图分类号: TP391.4
计量
- 文章访问数: 195
- HTML全文浏览量: 91
- PDF下载量: 43
- 被引次数: 0
出版历程
- 收稿日期: 2022-10-26
- 刊出日期: 2023-12-30

Method for recognizing and locating for multi-target stone based on intelligent breaker operation scenario

WANG Wenchao^1
,,
MA Qihua^{1
, ,},
ZHAO Lei^{2, 3}

1.
School of Mechanical and Automotive Engineering, Shanghai University of Engineering Science, shanghai 201620, China
2.
School of Mechanical and Electrical Engineering, Shandong Jianzhu University, Ji'nan 250101, China
3.
Shandong Paimon Electromechanical Technology Co., Ltd., Ji'nan 250100, China

摘要

摘要: 随着智能工程机械的不断发展，结构复杂、功能单一的传统液压破碎锤逐渐被日益成熟的智能破碎锤取代，对多目标石块的识别与定位是智能破碎提高动作输出精度、完成破碎任务的重要保证. 提出基于分割掩码卷积神经网络（Mask R-CNN）实例分割和激光雷达信息融合的目标石块识别定位方法，通过Mask R-CNN实例分割算法快速识别复杂作业场景下目标石块的感兴趣区（Region of Interest，RoI）；在保证石块检测精确率的前提下，融合激光雷达通过卡尔曼滤波算法得到破碎点位置信息，引导破碎锤实现定位作业. 现场试验结果表明，目标石块检测模型对石块的平均识别精确率为95.35%，召回率为95.06%，石块破碎点识别精确率为94.20%. 在复杂作业背景下，该方法可实现多目标石块识别和破碎点定位，满足自动破碎实时性要求.
- 智能破碎机 /
- MaskR-CNN模型 /
- 石块识别 /
- 激光雷达 /
- 数据融合
Abstract: With the continuous development of intelligent construction machinery, the traditional hydraulic breaker with complex structure and single function has been gradually replaced by the increasingly mature intelligent breaker. The recognition and localization of multi-target stones is an important guarantee for intelligent crushing to improve the accuracy of action output and complete the crushing task. A target stone recognition and localization method based on segmentation-mask convolutional neural networks (Mask R-CNN) instance segmentation and light detection and ranging (LiDAR) information fusion was proposed. The Mask R-CNN instance segmentation algorithm was used to quickly identify the region of interest (RoI) of the target stone in complex operation scenarios. On the premise of ensuring the accuracy of stone detection, the position information of the crushing point was obtained by fusing lidar and the Kalman filter algorithm to guide the crushing hammer to realize the positioning operation. The results of the field tests show that the average recognition accuracy of the stone target detection model for stones is 95.35%, the recall rate is 95.06%, and the accuracy of stone breaking point recognition is 94.20%, can meet the real-time requirements.
- intelligent crusher /
- segmentation-mask convolutional neural networks (Mask R-CNN) model /
- stone recognition /
- light detection and ranging (LiDAR) /
- data fusion

HTML全文

图 1 基于Mask R-CNN检测分割和多传感器融合的目标石块识别定位方法

Figure 1. Target stone identification and positioning method based on Mask R-CNN detection segmentation and multi-sensor fusion

下载: 全尺寸图片幻灯片

图 2 数据增强后的石块图像

Figure 2. Stone images after data enhancement

下载: 全尺寸图片幻灯片

图 3 Mask R-CNN石块检测分割结构图

Figure 3. Mask R-CNN stone block detection split structure diagram

下载: 全尺寸图片幻灯片

图 4 FCN结构示意图

Figure 4. Schematic diagram of FCN structure

下载: 全尺寸图片幻灯片

图 5 模型损失值变化曲线

Figure 5. Model loss value change curve

下载: 全尺寸图片幻灯片

图 6 mAP值变化曲线

Figure 6. mAP value change curve

下载: 全尺寸图片幻灯片

图 7 不同类型石块Mask R-CNN检测结果图

Figure 7. Mask R-CNN detection results of different types of stones

下载: 全尺寸图片幻灯片

图 8 重石块作业场景下两种模型对比图

Figure 8. Comparison of two models in heavy stone operation scenario

下载: 全尺寸图片幻灯片

图 9 棋盘格法联合标定示意图

Figure 9. Schematic diagram of joint calibration by checkerboard method

下载: 全尺寸图片幻灯片

图 10 目标石块检测与定位原理图

Figure 10. Schematic diagram of target stone detection and positioning

下载: 全尺寸图片幻灯片

图 11 作业场景下的图像和点云数据

Figure 11. Image and point cloud data in operation scenario

下载: 全尺寸图片幻灯片

图 12 卡尔曼滤波融合效果图

Figure 12. Kalman filter fusion rendering

下载: 全尺寸图片幻灯片

表 1 各类型石块破碎标准及作业环境

Table 1. Crushing standards and operating environment of various types of stones

石块类型	表面尺寸/m²	颜色	作业环境
矿石	≥1.5	深灰	矿场中对于大型矿石的破碎
山石	≥1.2	深灰	山路中对凸起的大型山石进行破碎和平整，便于施工
建筑垃圾固废	≥1.5	浅灰	对爆破后的拆迁建筑固废进行破碎，方便建筑垃圾固废的运输

下载: 导出CSV

表 2 各类型石块数据集

Table 2. Stone data sets by types

石块类型	训练集/幅	测试集/幅
矿石	1963	785
山石	640	324
建筑垃圾固废	586	257

下载: 导出CSV

表 3 目标石块识别精确率

Table 3. Identification accuracy of target stones

石块类型	测试集/张	精确率/%	召回率/%
矿石	785	96.59	94.28
山石	324	94.82	95.62
建筑垃圾固废	257	94.65	95.27

下载: 导出CSV

表 4 不同石块类型破碎点识别精确率

Table 4. Accuracy of crushing point identification of different stone types

石块类型	测试集	成功定位样本数	识别成功率/ %	识别速度/ (帧·s^-1)
矿石	785	751	95.67	96.2
山石	324	299	92.28	89.7
建筑垃圾固废	257	233	90.66	94.8

下载: 导出CSV

参考文献(15)

[1]	王荣本, 顾柏园, 郭烈, 等. 月球环境感知中的石块识别方法研究[J] . 计算机工程,2006(15):174 − 175,178. doi: 10.3969/j.issn.1000-3428.2006.15.061
[2]	张如高. 基于机器视觉的月表石块识别方法研究[D]. 长春: 吉林大学, 2007.
[3]	何文轩, 荆洪迪, 柳小波, 等. 基于YOLOv4-tiny的铁矿石品位识别技术研究[J] . 金属矿山,2021(10):150 − 154. doi: 10.19614/j.cnki.jsks.202110019
[4]	郑银河. 复杂裂隙网络下岩石块体识别方法研究[D]. 北京: 中国地质大学, 2017.
[5]	HOSAINPOUR A, KOMARIZADE M H, MAHMOUDI A, et al. Feasibility of impact-acoustic emissions for discriminating between potato tubers and clods[J] . Journal of Food Agriculture and Environment,2010,8(2):565 − 569.
[6]	AL-MALLAHI A, KATAOKA T, OKAMOTO H. Discrimination between potato tubers and clods by detecting the significant wavebands[J] . Biosystems Engineering,2008,100(3):329 − 337. doi: 10.1016/j.biosystemseng.2008.04.013
[7]	AL-MALLAHI A, KATAOKA T, OKAMOTO H, et al. Detection of potato tubers using an ultraviolet imaging-based machine vision system[J] . Biosystems Engineering,2010,105(2):257 − 265. doi: 10.1016/j.biosystemseng.2009.11.004
[8]	谢文博. 基于改进Mask R-CNN的木材缺陷检测分割算法研究[D]. 哈尔滨: 哈尔滨理工大学, 2022.
[9]	高冲. 基于深度学习的堆垛目标识别定位系统研究[D]. 南京: 南京邮电大学, 2021.
[10]	严家金. 基于数据增强和神经网络的小样本图像分类[J] . 现代信息科技,2022,6(15):77 − 80. doi: 10.19850/j.cnki.2096-4706.2022.15.021
[11]	吉江燕, 方挺. 基于Labelme的参考图像的手工分割[J] . 微型机与应用,2015,34(17):49 − 51,56.
[12]	李文举. 基于掩膜压缩表示的实例分割方法研究[D]. 长春: 吉林大学, 2022.
[13]	高磊. 基于棋盘格和圆标定物的双目相机标定方法研究[D]. 呼和浩特: 内蒙古大学, 2022.
[14]	唐宇舟. 基于联邦卡尔曼滤波的多源异类交通数据融合技术研究[D]. 杭州: 浙江工业大学, 2020.
[15]	杨华. 多传感器数据融合技术在某新型无人旋翼机中的应用[D]. 南京: 南京航空航天大学, 2019.