|EN
新闻中心
首页新闻中心新闻速递

【WRC专家观点】捷克技术大学教授瓦赛克·赫拉瓦茨:《工业机器人的智能视觉引导与柔性装配》

时间:2025-08-29

2025世界机器人大会8月8日至12日在北京经济技术开发区北人亦创国际会展中心举行。本届大会设置3天主论坛和31场系列活动,邀请416位国内外专家学者、企业家、国际机构代表,分享新技术、新产品、新应用。

捷克技术大学教授瓦赛克·赫拉瓦茨发表题为《工业机器人的智能视觉引导与柔性装配》的演讲。

以下是演讲内容实录
                     47966ebe-ab8b-4c16-a3af-c92dba9c052a.png     


       大家好!我将从产业链最底层的角度出发进行分享。我们所从事的是“物理智能”的研究,这是在实际执行之前最令人印象深刻的一个阶段。
       机器人作为一种工具,能够与物理世界进行互动。正如牛津大学教授 Michael Brady 所提出的比喻,他曾专注于机器人感知与智能领域的教学与研究,1989年,我曾跟随他学习。而在此之前,我的另一位教授也在1988年就已提及类似的理念。如今,这一理念被称为“互动与感知”,我也是在此基础上展开相关研究与实践的。
       我来为大家展示一下我们的实践经验。这是一个欧洲的项目,主要研究柔性材料的处理,特别是布料的触觉感知。在该项目中,机器人配备了专门设计的抓取装置,专门用于处理柔性物质。这款机器人能够完成折叠和展开等操作,例如对T恤进行两次折叠。为了让大家更清楚地看到操作过程,我们以两倍慢速播放。该机器人并非按照固定的扭矩施加力量,而是通过自身的传感器实时感知环境,并选择合适的扭矩和力度进行操作,从而更好地适应柔软材质。这也是当时我们所达到的技术水平。
       接下来我要介绍的是一项由日本东京农工大学的一名学生与捷克技术大学合作完成的研究成果。该项目实现了机器人学习穿袜子的操作原理。在视频中可以看到,机器人能够一次性完成一只袜子的穿戴。后来,这位学生也成为了我们的博士研究生。通过机器人身上的传感器,我们可以获取合适的扭矩参数,从而进行精确的操作尝试。今天我要分享的是一个更具挑战性的任务——处理缠绕在一起的线缆,例如服务器中常见的线缆缠绕问题。要解开这些线并不容易,如果没有良好的交互能力,几乎无法完成。我们都曾有过这样的经历:面对一堆缠在一起的绳子或电线,想要解开它们,就必须先理清它们的位置,并观察它们与其他线缆之间的关系。机器人也正是基于同样的原理来进行操作的。在视频演示中,当机器人开始移动线缆时,它能够判断线缆的走向,并找到合适的抓取点,这是完成任务的第一步。通过这一过程,机器人成功实现了对复杂线缆缠绕问题的处理,攻克了这一技术难题。
       我们所采用的方法基于一系列给定的图像,其原理是利用不同的视觉差异以及图像中像素的运动信息。如果在训练阶段使用机器学习的方法,由于没有现成的数据集可供下载,我们必须自行构建一个数据集,这是一项非常具有挑战性的任务。接下来我为大家展示我们是如何实现的。这是该系统的外观结构,在展示图的左侧,我们列出了两种线缆的移动方式:一种是垂直方向的移动,另一种是沿着线缆自身方向的移动。为了能够捕捉这两种运动形式,我们需要构建一个特定的实验环境,在该环境中可以实时获取运动数据以及目标线缆的图像信息。这些数据是通过摄像机捕捉得到的,并采用了光流分析和图像分段技术来处理。我们在线缆上设置了荧光标记,并通过交替使用白光和紫外线照明的方式,使得每一帧图像中荧光的移动与线缆本身的运动能够一一对应。通过这种方式,我们首先实现了对线缆的抓取,然后将其运动轨迹划分为若干个连续的片段。再通过分析各片段之间的运动相关性,最终实现了机器人对线缆的交互式分割操作。
        关于抓取点的识别,我们能够从背景中清晰地分离出目标线缆,这是因为实验背景采用了蓝幕设计,从而更有利于将目标线缆的荧光信号与背景环境区分开来。目前,许多研究者也在使用类似的方法,我们也已经为此准备了相关论文,并从去年开始着手撰写。在数据收集阶段,我们构建了一个名为“移动线缆数据集”的数据集,并对其进行了后处理,包括色度键控、标记检测与跟踪、光流计算等步骤,最终完成数据的合成。通过这些处理步骤,我们可以进行进一步的计算,并构建出人工模拟场景。在实际测试中,我们将真实的线缆放置在系统中,无论背景多么复杂,系统都能够准确识别并处理。因此,其他研究人员如果希望采用这种方法,也可以在此基础上进行优化或扩展。这正是我们研究成果的一部分。
       右侧的彩色图盘展示的是移动线缆数据集的视频示例。与现有其他方法相比,我们的方法和数据在表现上具有明显优势。这张图片清晰地展示了我们方法的优势。在这八张对比图像中,最后一张是我们提出的方案结果。可以看到,在白色小框标记的区域,场景非常复杂;如果仔细观察,就能发现我们的方法与以往研究成果有显著不同。我们使用这些方法进行了实际场景下的视频记录,结果显示在最下方一行,从右侧数第二个图像展示了我们方法的最佳效果。由此可见,即便在如此复杂的环境下,我们的系统依然能够稳定运行并取得良好的效果。
       我们即将发表的第二篇论文的目标,是探索如何利用这一技术来抓取现场视觉图像。例如,我们将绳子作为演示对象,展示整个操作过程。这四张图像展示了数据采集的过程,而下方的两张照片则代表了动作的分段情况。我们使用特定的颜色对这些分段进行了可视化标注。当动作关联性分析启动后,我们可以非常清晰地捕捉到每一个动作阶段。整个过程共分为五个步骤。
       其中,第一步是由人工标注的,并非自动生成。基于这些初始标注,第二步到第五步均由系统自动建议完成。整体效果已经相当不错,特别是考虑到实际电缆操作的复杂性远高于当前实验环境。这些实验工作主要由学生完成,相关成果将在今年6月的博士论文答辩中进行展示。
       最后,我想用一个类比来总结。就像标准的内燃机一样,我们的动作分段技术目前仍处于实验室阶段,类似于操控电缆这样的任务。下一步,我们将探索双臂协同操作,以进一步完善和提升该方法。距离真正实现工业级的应用部署,我们还有一定的距离。但正如内燃机的发展历程一样,我们相信这项技术也将逐步走向成熟。
       谢谢!