由于疾病、意外事件以及年龄增长带来的身体机能衰退，我国丧失生活自理能力的人数在不断增加。在人口结构偏向老龄化的今天，失能老人的养老护理问题成为社会与家庭亟需解决的一大难题^[1]。目前市面上有许多的智能护理产品帮助失能老人解决日常生活护理问题。例如，普遍使用的二便智能护理机器人就是患者穿上护理套装后，护理机器人的感应器能够自动识别大小便的排泄状况然后进行冲洗。当粪便为固体香蕉形状或呈水样无成型粪便时，单次大水量的冲洗基本能够将粪便冲洗干净，但当人体湿气过重或饮食偏油腻时，排出的粪便可能会变得黏稠，此时粪便更难冲洗干净，往往一次冲洗后坐便器表面仍然黏连着粪便。残存的粪便容易造成空气异味，滋生细菌，且还是许多疾病的传染途径。因此清洁度检测就很有必要，它可以为后续的冲洗提供一个标准，从而达到要求的清洁程度。

在清洁度检测研究方面，郝如茜^[2]对对盐水中白带显微图像进行相关的图像处理，自动识别出霉菌并计算霉菌面积的占比，根据医学的清洁度评判标准利用神经网络对白带进行清洁度评估。茅靳丰等^[3]用图像模板匹配的思想，采集空调通风管道模板图像和实时待匹配的图像，计算它们的共生矩阵并进行相似度的匹配，从而实现空调通风管道清洁度的评估检测。刘翠等^[4]采用图像结构相似度指数来评估洗碗机清洗碗、盘后的清洁程度。王朝卿^[5]分别对基于图像灰度直方图的相似度和基于图像特征点的相似度记性分析，通过试验得出两种算法的适用场景和优缺点。徐如如^[6]通过训练深度学习模型来检测出街道中不同的垃圾类别，将图像中垃圾像素与街道像素的比值作为垃圾的可见密度，对垃圾进行定性和定量的分析来评估街道的清洁程度。Ćirić等^[7]将不同机器的声音映射到融合图谱中，应用欧几里得距离、皮尔逊相关系数和结构相似性指数三种图像相似性度量来评估不同机器声谱图之间的相似性，为实际生产中利用产品声音进行产品的分类和故障检测提供基础。Spyridonos等^[8]采用灰色Hausdorff距离的变体来作为图像相似度的度量，通过图像相似度的方法来量化扩张性皮肤病患者的皮肤状况和病情的稳定程度，从而为医生提供所用治疗效果的早期客观测量。

本研究针对二便护理机器人中缺少清洁度检测模块的缺点，使用视觉传感器采集坐便器模拟照片，运用图像处理方法进行清洁度评估检测，并人眼观察到的结果对比检测清洁度评估的结果是否准确。

1.   清洁度检测方法

人类大部分外界信息都是通过眼睛来获取，而机器视觉就是用计算机来模拟人的视觉功能，从各种事务的图像中提取有用的信息并加以处理，从而在实际中做测量和判断^[9]。相比于使用气味传感器或其他传感器检测方法，采用视觉的方法对坐便进行清洁度评估更加直接客观，且不容易误判。

1.1   基于像素占比的清洁度检测方法

基于像素占比的清洁度检测过程如图1所示。其中阈值分割是最重要的一步，只有成功分割出图像中的污点区域，才能准确计算出污点像素的占比。

图  1  像素占比算法流程图

Figure  1.  Pixel proportion algorithm flowchart

下载: 全尺寸图片 幻灯片

图像阈值分割是一种较为典型的将目标区域与背景分割开来的技术，其中分割阈值的选取是图像分割的重要环节，阈值大小的选择直接影响最终图像分割后的效果^[9]。在图像处理技术中阈值分割的方法有很多，比较常见的有全局阈值分割法、自适应阈值分割法和迭代阈值分割法等。下面主要介绍前两种图像阈值分割的方法。

一幅图像一般可以用一个二元函数$f(x,y)$来表示。其中，$(x,y)$为二维坐标系xOy中的一个点；$f$则代表图像在$(x,y)$点的某种性质的数值，如灰度值^[10]，数字图像示意图如图2所示。

图  2  数字图像示意图

Figure  2.  Digital image schematic

下载: 全尺寸图片 幻灯片

全局阈值分割就是在整个图像分割的过程中只使用一个分割阈值，而把图像分割成两个区域，也就是目标区域和背景区域。全局阈值分割公式为

式中：$g(x,y)$为经全局阈值分割后的图像；$f(x,y)$为原图像中点$(x,y)$的灰度值；$T$为全局阈值。

自适应阈值分割是相对于全局阈值分割来说的。在实际情况中由于光照不均匀，拍摄环境以及相机自身的因素都会使图像存在噪声，同时如果图像背景灰度变化范围比较大时，整幅图像分割时就没有合适的单一阈值，全局阈值分割也就不再适用^[11-12]。因此诞生了自适应阈值分割的思想，即每一个像素都有它们对应的分割阈值，这不仅与它自身的灰度值有关，而且与它周围像素的灰度值也有关。一般像素自适应分割阈值确定的方法是以该点为中心的一个领域窗口（一般该窗口的大小为奇数）来确定其阈值，将该窗口内所有像素的灰度值求均值或者中值，或将该区域内的所有像素按照它们离中心点的距离进行灰度值的高斯加权计算，最后得出该像素点的分割阈值，将图像中的每一个像素点进行如上的操作就能分割出图像中的目标区域，如图3所示。

图  3  自适应阈值选取示意图

Figure  3.  Schematic diagram of adaptive threshold selection

下载: 全尺寸图片 幻灯片

1.2   基于图像模板匹配的清洁度检测方法

采用模板匹配方法进行清洁度评估时需要获取待检测图像和模板图像，然后将两者进行相似度评估，最后输出匹配的相似度得分^[4]。相似度评估的方法有很多，如计算两张图像之间的相似度指数，或者计算两张图像之间的距离。结构相似性（structural similarity, SSIM）算法主要从图像中提取3个关键特征，分别为图像的亮度、图像的对比度和图像的结构，两张图像的比较就是基于这3个特征进行的^{[4, 13]}，如图4所示。

图  4  SSIM算法原理图

Figure  4.  Schematic diagram of SSIM algorithm

下载: 全尺寸图片 幻灯片

整个结构相似性算法的公式为

式中：$\alpha > 0，\beta > 0，\gamma > 0$，$l(x,y) = \dfrac{{2{\mu _x}{\mu _y} + {c_1}}}{{{\mu _x}^2 + {\mu _y}^2 + {c_1}}}$，$c(x,y) = \dfrac{{2{\sigma _{xy}} + {c_2}}}{{{\sigma _x}^2 + {\sigma _y}^2 + {c_2}}}$，$s(x,y) = \dfrac{{{\sigma _{xy}} + {c_3}}}{{{\sigma _x}{\sigma _y} + {c_3}}}$；$l(X,Y)$为图像x和y的亮度比较；$c(x,y)$为图像x和y的对比度比较；$s(x,y)$为图像x和y的结构比较；${\mu _x}$和${\mu _y}$分别为图像x和y的平均值，表达式为

式中：$n$为像素总数；${x_i}$为第$i$个像素的像素值。

${\sigma _x}$和${\sigma _y}$分别为图像x和y的标准差，表达式为

${\sigma _{xy}}$为图像x和图像y之间的协方差，表达式为

${c_1}$、${c_{\text{2}}}$、${c_{\text{3}}}$都为常数，为了避免分母为0时带来系统误差，在实际的工程计算中，一般取$\alpha {\text{ = }}\beta {\text{ = }}\gamma {\text{ = 1}}$，${c_3} = \dfrac{{{c_2}}}{2}$，这样SSIM的数学表达式就简化为

该算法输出的结果为−1到1之间的数，越接近1代表两张图像越相似，越接近−1代表两张图像之间的差距越大。

余弦距离可用来评估两张图像之间的相似度，如图5所示。根据图像的灰度直方图可以得到每一灰度级的像素数，这样每一张图像可以转换为一个256维的向量。

图  5  灰度直方图

Figure  5.  Grayscale histogram

下载: 全尺寸图片 幻灯片

通过计算两张图像向量之间夹角的余弦值来判断图像之间的相似性^[5]，余弦值计算式为

式中：${\boldsymbol{X}} = ({x_0},{x_1},{x_2},\cdots,{x_{255}})$，${\boldsymbol{Y}} = ({y_0},{y_1},{y_2},\cdots,{y_{255}})$，${x_i}$、${y_i}$分别为两图像中灰度级为$i$时的像素数。式(7)的输出范围为0到1，输出结果越接近1，说明两张图像的相似度越高；输出结果越接近0，图像之间的差异也就越大^[14]。

皮尔逊相关系数通常用来评估两个向量之间的相关性，同时也可作为一种评估图像之间相似度的方法^[14]。假设两张图像x、y对应的向量分别为：${\boldsymbol{X}}=({x}_{\text{0}},{x}_{\text{1}},{x}_{\text{2}}，\cdots,{x}_{\text{255}})$、${\boldsymbol{Y}}=({y}_{\text{0}},{y}_{\text{1}},{y}_{\text{2}}，\cdots, {y}_{\text{255}})$，那么它们之间的相似度可以由皮尔逊相关系数表达，公式为

式中：${{\rm{cov}}} ({\boldsymbol{X}},{\boldsymbol{Y}})$为向量X与Y之间的协方差；${\sigma _{\boldsymbol{X}}}$、${\sigma _{\boldsymbol{Y}}}$分别为向量X和Y的标准差，输出范围为0到1，越接近0代表两张图像之间的差异越大，越接近1代表两张图像间的差异越小。

2.   样本数据采集

本研究使用简易坐便器来代替智能二便护理机器人的便斗，在其前端安装视觉传感器来采集数据照片。视觉传感器选用杰瑞微通公司生产的型号为DF100-720P相机，像素尺寸为3 μm × 3 μm，相机分辨率为480 × 640，用泥巴模拟粪便的不同形态，采集到坐便器不同污染程度的数据图像如图6所示。

图  6  试验数据图

Figure  6.  Experimental data graph

下载: 全尺寸图片 幻灯片

在清洁度检测试验前对采集到的图像进行整理，根据泥巴在相机视场范围内所占面积由小到大设定轻度污染、中度污染和重度污染3组图像，每组8张图片，如图7所示。

图  7  污染程度图片分组

Figure  7.  Pictures grouping by pollution levels

下载: 全尺寸图片 幻灯片

3.   试验设计及结果分析

3.1   基于像素占比的清洁度检测试验

对设定的三组图像进行全局阈值分割操作，通过多次试验尝试，将全局分割阈值设定为80分割后效果是相对最理想的。3组图像依次分割后的效果如图8所示。虽然能分割出部分污点的信息，但因为存在边界阴影使得分割时连同边界也被错误地分割出来。因为照片中多数阴影部分的灰度值小于污点的灰度值，当全局分割阈值大于80时，阴影部分和污点部分都被分割出来，且阴影部分的面积占多数；当全局分割阈值小于80时，污点区域没有分割出来，而阴影部分被分割出来。由此可知，全局阈值分割受背景阴影的影响较大无法准确分割出污点区域，不能准确计算出污点像素的占比。

图  8  全局阈值分割

Figure  8.  Global threshold segmentation

下载: 全尺寸图片 幻灯片

相比全局阈值分割，自适应阈值分割能够较准确地分割出污点轮廓部分，且能排除掉大部分阴影的影响。本研究采用自适应阈值分割方法进行污点轮廓的分割提取，3组不同污染程度的照片都能够被区分开来，且与人眼观察的结果相符，如图9所示。

图  9  自适应阈值分割及污点像素占比

Figure  9.  Adaptive threshold segmentation

下载: 全尺寸图片 幻灯片

为验证自适应阈值分割方法能够排除背景阴影的影响，对不同阴影条件下图像数据进行试验。试验采集到数据包括坐便器不同污染程度下不同阴影的图像，采集图像及分割结果如图10所示。由图可见，自适应阈值分割方法对于不同阴影条件下、不同污染程度的图像都能准确分割出污点区域轮廓，排除了各种阴影的影响，克服了全局阈值分割的缺陷。

图  10  背景阴影图组

Figure  10.  Background shadow group

下载: 全尺寸图片 幻灯片

3.2   基于图像模板匹配的清洁度检测试验

用模板匹配的方法进行清洁度评估检测。首先采集模板图像，本次试验采集的模板图像如图11所示。随后分别对轻度、中度和重度污染图片组进行图像模板匹配，采用SSIM、余弦距离和皮尔逊相关系数相似度评估算法，模板匹配后输出得分结果见表1。

图  11  模板图像

Figure  11.  Template image

下载: 全尺寸图片 幻灯片

对比3种算法结果可以看出，虽然SSIM算法能够将不同污染程度的照片区分开，但轻度、中度和重度污染组图像的输出得分差距不大，且相邻两组之间的图像匹配得分很接近，说明整体的区分度不明显。

余弦距离计算的匹配的效果较差，存在中度污染组输出得分高于轻度污染组的部分输出得分，部分重度污染组输出得分比中度污染组高的情况。主要原因可能是余弦相似度对数值不敏感，余弦距离主要表现两个向量在方向上的差异，而不是位置上的不同。当待匹配图像向量与模板图像向量之间的夹角相同而位置不同时，它们输出的余弦距离仍然相同。而用夹角余弦计算相似度时，它并不会放大数据对象重要部分的作用^[15]。由此可知余弦相似度匹配并不能很好地适用于坐便器清洁度的检测。

皮尔逊相关性克服了SSIM算法的缺陷，3组照片的输出得分区分度较高。相比余弦相似度匹配，皮尔逊相关性的清洁度检测效果有很大提升。除了第二组中第一张图片匹配得分存在误差之外，其他图片的匹配结果基本与人眼观察到的结果相符。在误差允许范围内，该方法基本能够达到清洁度检测的要求。

表  1  3种相似度评估算法匹配得分

Table  1.  Matching score results of three similarity evaluation algorithms

图像	SSIM				余弦距离				皮尔逊相关性
	组一	组二	组三		组一	组二	组三		组一	组二	组三
a	0.94	0.91	0.86		0.98	0.99	0.91		0.93	0.95	0.56
b	0.92	0.91	0.81		0.92	0.96	0.89		0.93	0.89	0.51
c	0.92	0.92	0.76		0.93	0.93	0.87		0.92	0.75	0.14
d	0.91	0.83	0.78		0.98	0.90	0.92		0.94	0.72	0.34
e	0.94	0.89	0.85		0.98	0.91	0.94		0.94	0.68	0.50
f	0.92	0.87	0.78		0.92	0.93	0.90		0.92	0.79	0.23
g	0.91	0.89	0.78		0.97	0.90	0.92		0.94	0.64	0.35
h	0.93	0.86	0.77		0.94	0.89	0.93		0.93	0.71	0.25

下载: 导出CSV 

| 显示表格

4.   结　语

本研究首次将图像处理技术应用在坐便器清洁度检测，提出两种清洁度检测方法并进行了试验研究，验证了使用自适应阈值分割方法计算污点像素占比的可行性，为二便智能护理机器人便斗清洁度检测提供了新方法。本文只完成智能护理机器人初始的清洁度检测工作，而未计算出污点具体位置坐标，对污点进行进一步冲洗，使整个系统实现闭环，后续可对污点坐标计算和精准冲洗展开深入研究。