摘要：浙江大学机械工程学院杨华勇院士团队杨赓课题组通过将海绵式柔性传感器与深度学习算法进行协同设计，实现了对传感器性能和算法泛化能力的双向提升。定制的神经网络模型使得柔性传感器能够准确识别按压位置及触摸模式，而传感器的六边形旋转对称结构在数据层面有效提升了神经网络的泛化性能。
关键词：Advanced Intelligent Systems, 柔性机器人皮肤， 深度学习， 数据扩充， 浙江大学
随着工业4.0的不断推进，机器人正在被越来越多地应用到工业及服务场景中。为了提高机器人在作业过程中对周围环境判断的准确性，并进一步加强机器人自身以及与之进行交互环境（包括工人和仪器）的安全性，来自周围环境的反馈信息被引入到了机器人作业的闭环之中。这些信息包括图像、力反馈等，其中电子皮肤能够为机器人提供直接且准确的接触反馈，不但可以映射接触力的大小信息，而且能够准确定位接触的位置信息。如果能够有效利用这些环境信息，并将之应用到机器人的闭环控制中，则可以极大增强机器人运动的柔顺性及避障能力。
柔性触觉传感器能够很好地贴附于机器人不同表面，进而收集来自于环境的触觉信息。传统的触觉传感器依赖于由大量传感单元形成的传感阵列来实现大面积传感，这种结构引入了大量的排线，使得传感器的部署较为困难，且降低了传感器整体的可靠性。最近，浙江大学机械工程学院流体动力与机电系统国家重点实验室杨赓团队提出了一种基于深度学习的可扩展柔性触觉传感器，该传感器受到人体躯体感觉信息处理层次结构的启发，实现了与深度学习算法的协同设计（图1a）。首先，该传感器本体由一整块正六边形的导电介质构成，并在其六个边角及形心连接信号读取导线。不同于阵列式传感器，该传感器应用深度学习算法实现对按压位置的判断，深度神经网络模型接收由上述导线读取的电阻值信号，经计算处理后输出对按压位置的估计。这一部分为深度学习算法对传感器所做的贡献。另一方面，传感器本身所具有的正六边形结构，为深度学习算法提供了一种新颖的数据扩充方法：正六边形的旋转对称性在一定程度上保证了所采集的用于训练神经网络的数据具有一定的对称性。具体来说，正六边形可以被视为六个全等的正三角形，在采集训练数据时，某一个正三角形区域受压所产生的信号可以通过线性变换转换为另外正三角形区域受压所产生的信号（图1b）。由于正六边形拥有六个正三角形，因此某一个正三角形受压产生的数据能够经上述变换得到另外5个新的数据样本，这样就可以将采集到的原始训练数据量增加5倍（图1c）。将这些经变换得到的数据以及原始采集到的数据共同用于训练神经网络模型，明显地提高了神经网络对位置估计的准确性及泛化能力。借助于深度学习算法，该传感器不仅能够准确判断按压位置，而且能够对多种按压模式进行识别。此外，传感器本身所具有的模块化正六边形结构，使得同批次的传感器可以共享同一组神经网络模型参数，且可以通过密铺的形式实现对大面积的覆盖。
综上所述，该工作实现了柔性传感器与深度学习算法的双向使能，为应用于机器人皮肤的智能柔性传感器提供了新的设计思路。
浙江大学机械工程学院博士生孔德朋为论文第一作者，杨赓教授为论文通讯作者。
论文信息：
Bioinspired Co‐Design of Tactile Sensor and Deep Learning Algorithm for Human-Robot Interaction
Depeng Kong, Geng Yang*, Gaoyang Pang, Zhiqiu Ye, Honghao Lv, Zhangwei Yu, Fei Wang, Xi Vincent Wang, Kaichen Xu, Huayong Yang
Advanced Intelligent Systems
DOI: 10.1002/aisy.202200050