摘要:针对传统物料识别、跟踪技术无法实施在线跟踪的问题，提出一种基于深度学习的有色金属加工物料跟踪技术，该技术先采用Yolov3识别物料，然后采用DeepSort跟踪物料，最后通过二维和三维坐标转换获取现实物料库的定位信息。通过pycharm平台实验验证，该方案能够应用到实际应用中，满足物料识别和跟踪的准确性。

关键词:智慧工厂;物料识别;物料跟踪;Yolov3

随着智慧工厂的概念提出，提升工厂智能化水平成为重要任务。有色金属加工企业已经进入了数字化转型的新阶段，在工厂具有高度自动化和信息化以后，利用物联网、深度学习、人工智能等高新技术，提高生产效率，降低运营成本，解放人力，已成为行业需求。工厂物料的运输存储过程是工厂物流的重要一环［1，2］，传统的物料运输和统计多采用人工纸质统计的方式，日常统计比较繁杂，耗费大量人力。为了提升生产效率，我们提出一种基于机器视觉［3－5］的物料识别跟踪方法，能够自动识别物料数量、实现物料跟踪和定位。图像识别与跟踪流程如图1所示。

1系统组成

该系统硬件由高分辨率摄像机、光源、服务器和显示器组成，如图2所示。通过摄像机采集现场图像数据，通过server将camera1、camera2、camera3、camera4的视频图像合成为一张全景图像，将合并后的图像采用目标识别、跟踪算法，确定物料的个数和实时位置信息。

2基于Yolov3的物料识别

传统的数字图像处理技术一般基于物料的颜色、纹理、形状或相互融合的特征来进行识别。随着时间的推移，机器学习技术发展，基于图像分割和分类器的图像识别技术应用广泛，包括基于K－means聚类、KNN聚类、支持向量机SVM等算法。同时，深度学习的识别方法也发展迅速，包括卷积神经网络(CNN)、循环神经网络、对抗神经网络、Yolo、FastＲ－CNN等模型。基于python的tensorflow和pytorch两种机器学习框架不断发展，已经能够深入结合实际应用，满足工厂应用程序开发。采用Yolov3进行物料识别［6］，能够满足物料识别的实时性和准确性。通过Yolov3识别物料的流程如图3所示。

3基于DeepSort的物料跟踪

在工厂环境下，存在多个物料同时移动和部分遮挡的情况，所以选择基于多物料跟踪和能够解决部分遮挡DeepSort［7，8］的跟踪算法能够解决相关问题。该算法跟踪的准确性基于目标检测结果(图4)。DeepSort算法使用了八个维度来定义了目标跟踪的场景，分别为(u，v，r，h，u•，v•，r•，h•)，其中(u，v)为BoundingBox为中心位置，r为跟踪目标box的横纵比，h为目标box的高度。通过卡尔曼滤波器预测当前运动轨迹，输出目标的运动信息(u，v，r，h)。采用马氏距离和表观特征余弦距离来更新卡尔曼滤波参数，预测下一帧目标运动状态，最后输出跟踪结果。该算法流程为，系统通过马氏距离判定数据关联是否成功。其中马氏距离为:d(1)(i，j)=(dj－yj)TS－1i(dj－yi)当马氏距离小于指定阈值为9．4877时，则关联成功。为解决遮挡问题，引入表观特征余弦距离来判定是否关联。

4物料定位

物料定位的难点在于如何将二维图像坐标和三维世界坐标一一对应起来。涉及到摄像机成像原理。为确定空间物体表面的三维几何位置信息与图像中对应点之间的相互关系，需要建立相机成像几何模型，得到相机的内参、外参和畸变参数，最终通过坐标转换得到实际物体三维坐标信息。图像坐标系、相机坐标系、世界坐标系之间的相互转换如图5所示。相机坐标系是以光心为相机坐标系的原点，以平行于图像的x和y方向为Xc轴和Yc轴，Zc轴和光轴平行，Xc轴、Yc轴、Zc轴互相垂直，单位是长度单位。图像物理坐标系以主光轴和图像平面交点为坐标原点，x和y方向如图5所示，单位是长度单位。图像像素坐标系，以图像的顶点为坐标原点，u和v方向平行于x和y方向，单位是以像素计。从世界坐标系到图像坐标系的转换过程为，世界坐标系通过外参矩阵转换到相机坐标系，相机坐标系通过内参矩阵转换到图像像素坐标系，转换过程和公式如下:Zcuv

5试验结果及分析

采用pycharm为IDE，pytorch深度学习框架，识别对象为铝卷，试验结果如图6所示。通过试验验证，使用Yolov3能够快速且准确的识别铝卷，采用deepsort算法能够在无遮挡或半遮挡状态下持续跟踪铝卷，建立物料平面库，通过几何标定，最终能够确定物料所处平面区域。

6结束语

机器视觉技术已经在很多行业中得到应用，识别车牌、人员、汽车等任务表现良好，为各行业带来了价值。而有色金属加工行业想要实现智能化仓储、物流，需要结合现有的高新技术，通过深度学习和机器视觉实现物流跟踪，能够大幅度降低成本，并给物流智能化提供更多的技术支持。随着工业互联网的建立，厂区各个生产环境互联互通，信息化与自动化高度结合，物料从来料、转运到仓储形成一整套的智能化管理流程，提升生产效率。

作者:刘兴刚 刘为超 单位:中色科技股份有限公司 洛阳师范学院