触觉感知是机器人感知自身和环境的关键维度之一，能够显著提升机器人的作业精度和安全性，是新一代机器人系统不可或缺的组成部分。为了获得更高精度以及更丰富的触觉传感信息，传统方法需要在单位面积里集成尽可能多的触觉敏感单元，实现硬件层面的空间分辨率提升。然而这种方式存在以下问题：1) 传感器的空间分辨率受限于敏感单元的数量，并直接对制备和集成工艺提出了较高的要求；2) 高密度集成容易引起相邻敏感单元之间的信号串扰且难以解耦；3) 大量敏感单元的信号采集和读取线路错综复杂，直接影响传感系统整体稳定性和可靠性。
针对上述问题，浙江大学流体动力基础件与机电系统全国重点实验室杨华勇院士团队提出了一种深度学习驱动的触觉感知增强方法，通过智能算法和传感器硬件结构的软硬件协同设计，基于稀疏硬件结构实现了超分辨率触觉感知。相关研究以“Super-resolution tactile sensor arrays with sparse units enabled by deep learning”为题发表于国际知名学术期刊《Science Advances》。孔德朋博士为论文第一作者，杨赓研究员和徐凯臣研究员为论文通讯作者。本研究工作得到中国电子学会-腾讯RoboticsX犀牛鸟专项研究计划资助，国家自然科学基金(No. 52375031, 52475610)、浙江省自然科学基金杰出青年基金(No. LRG25E050001)、浙江省自然科学基金重大项目(No. LDQ24E050001)的支持，同时联合深圳市星源材质科技股份有限公司开展技术转化推广应用。
研究背景及意义
触觉感知是机器人感知自身和环境的关键维度之一，能够显著提升机器人的作业精度和安全性，是新一代机器人系统不可或缺的组成部分。为了获得更高精度以及更丰富的触觉传感信息，传统方法需要在单位面积里集成尽可能多的触觉敏感单元，实现硬件层面的空间分辨率提升。然而这种方式存在以下问题：1) 传感器的空间分辨率受限于敏感单元的数量，并直接对制备和集成工艺提出了较高的要求；2) 高密度集成容易引起相邻敏感单元之间的信号串扰且难以解耦；3) 大量敏感单元的信号采集和读取线路错综复杂，直接影响传感系统整体稳定性和可靠性。
针对上述问题，浙江大学流体动力基础件与机电系统全国重点实验室杨华勇院士团队提出了一种深度学习驱动的触觉感知增强方法，通过智能算法和传感器硬件结构的软硬件协同设计，基于稀疏硬件结构实现了超分辨率触觉感知。相关研究以“Super-resolution tactile sensor arrays with sparse units enabled by deep learning”为题发表于国际知名学术期刊《Science Advances》。孔德朋博士为论文第一作者，杨赓研究员和徐凯臣研究员为论文通讯作者。本研究工作得到中国电子学会-腾讯RoboticsX犀牛鸟专项研究计划资助，国家自然科学基金(No. 52375031, 52475610)、浙江省自然科学基金杰出青年基金(No. LRG25E050001)、浙江省自然科学基金重大项目(No. LDQ24E050001)的支持，同时联合深圳市星源材质科技股份有限公司开展技术转化推广应用。
图1. 受人体皮肤启发的触觉传感器设计及超分辨率触觉感知
1、传感阵列拓扑结构最优化设计
感受野表征了一个敏感单元所能感知到的范围，是将单个敏感单元集成为传感阵列的重要依据。感受野的重叠是实现超分辨率触觉感知的先决条件(图2A)，充分利用这一性质有助于实现对感知资源的高效利用。基于此原理，本工作提出了一种能够同时保证触觉超分辨率实现和感受野最高效利用的阵列拓扑结构优化方法。以三个敏感单元为基本优化单元，借助于优化算法构建了能够最大化整体感知资源利用率的基本拓扑结构(图2B)；该结构保证了良好的可扩展性，可以通过拓展新的敏感单元实现对任意形状表面的覆盖(图2C)，以提供触觉感知功能。
图2. 面向超分辨率触觉感知实现的软硬件设计架构
2、面向多点超分辨率触觉感知的SATS深度模型
人体皮肤超分辨率的实现不仅依靠相邻MRs感受野间的重叠，神经系统的信号分析同样发挥了重要作用。因此，本工作提出了一种能够模仿这一功能实现中神经系统作用的深度学习模型(Self-Attention-assisted Tactile Super-resolution, SATS)，能够实现面向于压强分布推理的超分辨率触觉感知(图2D)。模型结构如图2E所示，主要由时序编码、信息聚合以及特征解码等模块组成。并且，本工作通过模型结构创新将整体压强分布图的构建拆分为若干局部压力图的构建，实现了超分辨率触觉感知在多点接触/面接触场景下的有效应用。
3、算法定义的触觉传感阵列设计及集成
基于上述软硬件设计协同设计方法，制备了具有压阻效应的功能材料和触觉传感单元(图3A-D)，并依据上述拓扑寻优结果和实测感受野(图3E)构建了一个具有23敏感单元的传感阵列(图3F)。该传感阵列的有效感受野如图3G-H所示，其对外界单点/多点刺激的响应特性如图3I所示。
图3. 触觉传感器的制备和表征
进一步设计了外力刺激实验，并实时记录了外力刺激过程中传感阵列的响应信号，构建了数据集并完成了对传感系统的标定。标定后，SATS模型能够有效拟合各敏感单元的响应特性，使得传感阵列对施加在不同位置处的外力推理具备了良好的一致性(图4A)，对压强分布的整体推理误差平均为0.116 kPa (图4B-D)。最终基于23个物理敏感单元生成了2700个虚拟的敏感单元，实现了约120倍的空间分辨率提升。借助于SATS模型的创新结构设计，该传感系统在仅使用单点接触数据标定后，能够直接泛化到多点接触场景中应用(图4E-F)，且不需要额外的数据采集和模型的重新训练。相比于仅能够实现单点触觉超分辨率的现有工作，本工作极大地提升了超分辨率触觉感知的能力，扩展了其应用场景，对于推动高分辨率触觉感知的应用和部署具有重要意义。视频1展示了该传感系统对外界刺激的实时在线推理。
图4. 超分辨率触觉传感系统的标定
4、超分辨率触觉的应用和拓展
借助于对外界刺激的高精感知能力，该传感系统能够适用于多种对空间分辨率具有高需求的应用场景，如图4G展示了对两个复杂轮廓上刺激点位的精准检测识别。进一步将键盘微型化至传感平面上的一个局部区域，实现了对按压键位的精准检测，完成了打字输入以及计算器相关应用展示(图5A，视频2)。另外，该传感系统能够有效实现向机器人体表的集成并提供触觉感知功能，提升人机交互的效率和智能化(图5B)。本工作区分于现有触觉超分辨率工作的一个重要特征在于其可以实现对压强分布的连续检测，因此能够实现对接触形状的成像，进一步结合图像分类算法最终实现了对5种接触形状的准确识别，识别准确率98.35% (图5E-F，视频3)。
5、总结和讨论
本工作研究了计算触觉的实现可行性并设计了一套面向超分辨率触觉感知实现的软硬件协同设计方法，使得即便是结构简单的触觉传感器同样能够实现高空间分辨率的触觉感知，能够有效简化触觉传感器的硬件结构，进而提升整体稳定性和可靠性。另外，所提出的软硬件协同设计方法具有良好的可扩展性和普适性，能够适用于具有不同感知机理的传感器并实现超分辨率触觉感知的功能。本工作另外研究了该设计方法在动态敏感场景下的应用可行性，以单电极摩擦纳米发电机(TENG)为基本原理制备敏感单元，进而构建动态敏感触觉传感阵列。单电极TENG借助于其静电感应机理能够实现对轻微、动态刺激的快速响应，进而结合SATS模型的赋能，实现了对外界动态刺激的超分辨率感知。视频4展示了该动态敏感触觉传感器对乒乓球弹跳轨迹的实时检测，充分体现了其快速响应和高精度的特点。