打印传感界面配个性学习,人机互动更自然
但目前仍面临挑战:现有人工智能方法中,Transformer 耗时且依赖复杂预训练,循环神经网络对局部模式处理较弱,全卷积网络忽略结构特征,而卷积神经网络(CNN)虽能高效捕捉局部特征、低延迟且稳健,却缺乏低成本大规模制造方法和材料识别的多模态传感能力。在医疗领域,该界面集成的软机器人可作为假肢手,帮助残疾人通过触摸识别物体。为此,该研究提出一种印刷式人机界面,融合 e-skin 的表面肌电信号(
*本文只做阅读笔记分享*
一、引言
大家好,今天我们要来了解一项在柔性电子与人机交互领域极具创新性的研究。随着智能机器人在先进制造、医疗等领域的应用拓展,传统机器人传感技术局限于加速度、扭矩等单一参数记录,在模拟人类多模态感知方面存在明显不足。
柔性电子的发展为解决这一问题带来了新可能。柔性电子皮肤(e-skin)能识别生命体征、肢体动作等信号,让人机交互从单向操控迈向双向通信,比如结合触觉、材料识别等多模态感知。但目前仍面临挑战:现有人工智能方法中,Transformer 耗时且依赖复杂预训练,循环神经网络对局部模式处理较弱,全卷积网络忽略结构特征,而卷积神经网络(CNN)虽能高效捕捉局部特征、低延迟且稳健,却缺乏低成本大规模制造方法和材料识别的多模态传感能力。
为此,该研究提出一种印刷式人机界面,融合 e-skin 的表面肌电信号(sEMG)采集与刺激反馈、多模态触觉感知软机器人,以及手势分类和材料识别的机器学习算法,旨在突破现有技术瓶颈。
二、软人机界面的设计与印刷
2.1 整体架构与闭环交互
软人机界面实现了双向闭环通信:e-skin 采集人体 sEMG 信号,解码手势并转化为机器人控制指令;多模态传感器阵列的软机器人依指令动作,其感知信息通过 e-skin 的刺激电极反馈给人体。在医疗领域,该界面集成的软机器人可作为假肢手,帮助残疾人通过触摸识别物体。
2.2 印刷制造工艺
借助多材料墨水和可编程路径规划,通过精密三轴运动系统结合气动分配器实现界面印刷。355nm 紫外激光多步加工的喷嘴内径达 30μm,保证 40μm 线宽的高分辨率印刷,图案边缘光滑且导电性重现性。
多种墨水协同印刷出大规模多模态传感器阵列,流变学测试显示墨水具有剪切变稀特性,满足印刷需求。例如,PDMS / 碳和 PEDOT:PSS 墨水在聚酰亚胺(PI)基底上的高长径比,支持悬垂结构制造,四种墨水印刷的徽章图案也验证了复杂材料的印刷质量。
2.3 e-skin 与柔性电路
e-skin 基于超薄 PI 基底,经印刷、激光切割和封装制成,具备高透明度和机械灵活性,蛇形结构设计减少形变时的应。其侧边的刺激模块可通过编程电压产生不同表皮刺激效果。
bilayer 柔性电路实现数据无线传输,含两层印刷银电路和中间 PI 层,激光切割的内部过孔填充银墨水实现层间连接,配合封装确保长期稳定性。电路中的仪表放大器、滤波器、模数转换器等组件,保障 sEMG 信号的采集、放大、转换和无线传输,同时支持 5V 刺激输出,形成闭环系统。
三、实时手势分类的自适应机器学习
3.1 模型设计与自适应策略
高精度、快响应和广泛个体适应性是人机界面的关键。采用深度神经网络分类基于 sEMG 的手势,针对个体差异和电极放置不一致导致的信号变异,提出含线性映射网络(LMN)和知识迁移策略的自适应模型。LMN 调整八通道信号权重,将新受试者信号映射到标准化数据集分布。
3.2 inception 时间模型(ITM)
ITM 作为高性能时间序列深度学习模型,通过不同尺寸核捕捉多时间尺度的时间相关信息,残差连接解决传统 CNN 的梯度消失问题。新受试者仅需重复三次手势,LMN 结合少量校准数据调整特征,再经知识迁移微调预训练 ITM,即可获得个性化自适应模型。
3.3 性能表现
latency 优化方面,0.1s 延迟时 ITM 的分类准确率达 98.33%,实时分类中 1s 窗口配合 0.1s 延迟,每 0.01s 输出结果,确保高准确率。
扩展到 14 种手势时,预训练数据集分类准确率 98.07%,不同参与者的有限手势重复实验也实现超 93% 的准确率。此外,sEMG 电极在不同环境和 20 分钟运动后仍保持稳定信噪比,适合实际应用。
四、软机器人的多模态传感器表征与应用
4.1 多模态传感器阵列
传感器阵列含温度、压力、电导传感器和电加热器,通过多种墨水依次印刷制成,波浪结构设计具备拉伸能力。温度传感器为电阻温度计,在 25-55℃范围内电阻线性变化;与碳加热器结合,利用热传导差异可识别材料。
电容式压力传感器由含气泡的 PDMS / 碳层和 PVDF / 离子液体层组成,PVDF 与离子液体比例 1:1.5 时灵敏度达 10.5pF/kPa,2000 次循环实验证明其稳定性。电导传感器通过电极间电压和电流测量物体电导,PEDOT:PSS 水凝胶的高导电性和高长径比保障接触充分。
4.2 软机器人设计与性能
软机器人手指采用弹性气囊结构,顶部扩展部分为 Ecoflex 弹性体,底部限制层为 PDMS,材料杨氏模量差异使其充气时产生弯曲。模拟分析显示,2.1mm 槽深在相同压力下可实现大弯曲角度且应力较低,实际弯曲与模拟结果吻合,低压力时弯曲角度与压力线性相关,3kPa 左右快速接近 360°,5000 次操作仍保持稳定。集成多模态传感器阵列的手指可抓取柱状物体并感知其特性,如木材和铜的压力、电导和温度响应存在显著差异。
五、交互式软机器人的物体识别评估
5.1 识别算法与数据预处理
将印刷传感器集成到软机器人手上,结合电导率和热导率测量开发物体识别系统。多模态传感器数据经小波去噪、高斯卷积平滑、标准化等预处理后,输入紧凑 CNN。消融实验表明,各预处理步骤对 accuracy 至关重要。
5.2 识别性能与应用
20 种物体的识别实验中,仅热导率数据准确率 63.99%,加入电导率数据后提升至 98.03%。该算法在 8GB 内存的嵌入式系统中耗时仅 2.089ms,对比其他模型,在准确率和效率间取得良好平衡。
集成传感器的五指软机器人手与协作机械臂组成完整系统,可无线跟随人类手势,完成抓取和物体识别任务。
六、上肢残疾人的人机界面评估
6.1 残肢信号特点
一位左臂截肢者佩戴 e-skin 和传感机器人作为假肢,MRI 显示其残肢肌肉结构完整但存在广泛水肿。基于 MRI 数据重建的模型用于确定八通道 sEMG 电极位置。截肢者同时用残肢和健康手做 11 种动作,残肢 sEMG 信号存在时间延迟和强度降低(平均低 40%),这与神经肌肉结构损伤后的代偿有关。
6.2 识别效果与应用
尽管信号存在延迟和减弱,自适应机器学习仍能有效识别手势:50 次重复时准确率 94.36%,5 次重复时 89.82%。该系统帮助截肢者完成控制任务和刺激反馈,实现假肢的辅助抓取和感知功能。
七、讨论
本研究开发的大规模可生产软人机界面,融合 e-skin 的 sEMG 传感与反馈、多模态传感器阵列的软机器人,以及个性化自适应机器学习。印刷技术实现了软 e-skin 和多模态传感器阵列的制造,sEMG 传感结合自适应模型实现便捷、低重复的手势解码,软机器人的热导和电导传感提升物体识别准确性。
该交互闭环为具身智能提供新思路,赋予机器人强大感知能力,结合新传感器和计算机视觉,有望拓展机器人智能的实际应用。
八、一起来做做题吧
1、本研究提出的印刷式人机界面不包含以下哪部分?
A. e-skin 的 sEMG 采集与刺激反馈
B. 多模态触觉感知软机器人
C. 手势分类和材料识别的机器学习算法
D. 传统机械传动装置
2、以下哪种人工智能方法在处理 sEMG 信号时,能高效捕捉局部特征、低延迟且对信号变异稳健?
A. Transformer
B. 循环神经网络
C. 卷积神经网络(CNN)
D. 全卷积网络
3、软 e-skin 采用蛇形结构设计的主要目的是?
A. 提高硬度
B. 减少机械形变时的应变
C. 降低透明度
D. 增加制作难度
4、多模态传感器阵列不包括以下哪种传感器?
A. 温度传感器
B. 压力传感器
C. 湿度传感器
D. 电导传感器
5、当 PVDF 与 IL 的比例为多少时,压力传感器的灵敏度达到最高?
A. 1:0.5
B. 1:1
C. 1:1.5
D. 1:2
6、在物体识别中,仅使用热导率数据时的平均材料识别准确率约为?
A. 63.99%
B. 80%
C. 90%
D. 98.03%
7、截肢者残肢的 sEMG 信号与健康肢体相比,信号强度平均降低约多少?
A. 20%
B. 40%
C. 60%
D. 80%
8、新受试者使模型适应所需的手势重复次数是?
A. 1 次
B. 3 次
C. 5 次
D. 10 次
9、软人机界面实现的通信模式是?
A. 单向通信
B. 双向闭环通信
C. 无通信功能
D. 仅机器人向人类传输信息
10、印刷线的最高分辨率可达多少?
A. 20μm
B. 40μm
C. 60μm
D. 80μm
参考文献:
Guohui Wang et al. Printed sensing human-machine interface with individualized adaptive machine learning. Sci. Adv.11, eadw3725(2025).
更多推荐
所有评论(0)