• 行业咨询
  • 品牌营销
  • 集微资讯
  • 知识产权
  • 集微职场
  • 集微投融资
  • 集微企业库
搜索
爱集微APP下载

扫码下载APP

爱集微APP扫码下载
集微logo
资讯集微报告舆情JiweiGPT企业洞察
2025第九届集微半导体大会集微视频
登录登录
bg_img
search_logo
大家都在搜

上海交通大学发表MEMS视触觉融合多模态人机交互新进展

作者: 集小微 2024-11-27
相关舆情 AI解读 生成海报
来源:上海交通大学 #触觉感知# #深度学习# #上海交通大学# #交大#
1.5w

近日,上海交通大学电子信息与电气工程学院微米纳米加工技术全国重点实验室刘景全团队和上海交通大学人工智能学院卢策吾团队在人机交互领域取得重要进展,相关成果以“Capturing forceful interaction with deformable objects using a deep learning-powered stretchable tactile array”(使用深度学习驱动的可拉伸触觉阵列捕捉可形变物体的力学交互)为题,在国际著名期刊《Nature Communications》上发表。

研究背景

触觉感知是获取环境信息的重要渠道之一,在人机交互、虚拟现实、远程医疗和人形机器人等领域有重要研究价值。对于人形机器人而言,捕捉复杂操作任务中手与可形变物体之间的触觉数据并进一步估计手-物状态是一个巨大挑战。为解决上述问题,首先需要借助人机交互界面捕捉人类操作过程,再将经验迁移给机器人。传统的人机交互识别通常只能生成语义结果,如识别手势代表的字母,识别物体的种类和位置。因此,研究一种具有更高维度的精准、分布式人机交互界面,将有助于动态捕捉人类操作可形变物体的过程,这对推动人类通用操作能力向机器智能操作的迁移具有重要的研究价值和应用潜力。

亮点内容

该研究提出了一种全新的视觉-触觉联合记录和追踪系统ViTaM(Visual-Tactile recording and tracking system for Manipulation)。该系统配备了具有1152个力感知通道的柔性MEMS触觉手套,基于正/负拉阻效应克服了感知可形变物体时的应变干扰问题,实现了精准、分布式的触觉感知;同时,该研究通过视觉与触觉的联合深度学习,重建了动态的手-物操作状态,一定程度上促进了智能体在人机交互中的理解能力进步,尤其是在涉及力学交互的方面,向人类多模态感知的水平迈近了一步。

图1 深度学习驱动的触觉手套可捕捉与可形变物体的力学交互

该团队研制的基于正/负拉阻效应的复合式薄膜,通过工艺调控,可以使得两种薄膜对所受应变表现出方向相反、幅值近似的电学特性,从而对双电极的对称响应实时检测,区分出传感器所受的压力与应变,并通过自适应校准输出电压与受力的关系曲线,最终达到对应变干扰的主动抑制效果。经测试,力测量精度达到97.6%,相较于未校准时提升了45.3%,这对精准感知可形变物体的受力具有较强的帮助。

图2 具有应变干扰抑制能力的触觉手套设计、制造和测试方法

研究团队还提出了一种视觉-触觉联合深度学习框架,旨在处理多模态数据序列、动态重建手-物状态,以及恢复可形变物体的几何细节。该工作在包含刚性体和可形变物体的6类共24种物体上进行了训练和实验,所有序列的平均重建误差仅为1.8厘米,表明了该系统在操作不同形变程度的物体时,具有较强的普适性,能够有效复现人类操作的经验。

图3 视觉-触觉联合学习框架的流程

图4 基于ViTaM系统的手-物重建结果

图4展示了基于ViTaM系统进行手-物重建的结果,分别从有无应变干扰抑制方面、连续形变方面以及纯视觉与视触融合多模态方面进行了分析,显示出视觉-触觉联合深度学习具有明显的优势。最后展示了在真实世界中收集的视觉-触觉数据重建的序列结果,证明了该方法在处理多帧数据时的时空一致性。未来,ViTaM系统将被集成到人形机器人的电子皮肤中,实现与周围环境的无缝互动,提升机器人灵巧操作能力,推动机器人从操作特定物体到通用操作场景的技术进步。

责编: 赵碧莹
来源:上海交通大学 #触觉感知# #深度学习# #上海交通大学# #交大#
分享至:
THE END
相关推荐
  • 上海交大陈建平教授课题组在CLEO 2025 PDP报道基于微转印的钽酸锂/氮化硅异质集成高速调制器的最新研究成果

  • 上海交通大学溥渊学院教师在《先进材料》发表最新综述:全无机含锡钙钛矿太阳能电池,引领环保光伏技术新潮流

  • 上海交大李秀妍副教授及合作者提出氧化铪基多晶铁电薄膜中畴取向调控新思路

  • 上海交通大学在Advanced Functional Materials发表集成纳米间隙的纳米环光学天线晶圆级制造新进展

  • 上海交大梁正团队高电压快充锂离子电池研究获新进展

  • 上海交大联合上海硅酸盐所在多种脆性半导体中实现塑性“温加工”

评论

文明上网理性发言,请遵守新闻评论服务协议

登录参与评论

0/1000

提交内容
    没有更多评论
集小微

微信:

邮箱:


4144文章总数
6335.5w总浏览量
最近发布
  • 小鹏汽车何小鹏:希望在明年Q3将飞行汽车量产落地

    6小时前

  • 复旦微电换届选举生变,张卫进入董事会

    6小时前

  • 华润微:安全MCU产品已在客户端实现上量

    7小时前

  • 小米汽车:5月新增29家门店 6月计划新增37家

    7小时前

  • 17只子基金入选!上海三大先导产业母基金公示第二批子基金遴选结果

    05-30 21:22

最新资讯
  • 小鹏汽车何小鹏:希望在明年Q3将飞行汽车量产落地

    6小时前

  • 复旦微电换届选举生变,张卫进入董事会

    6小时前

  • 宁德时代“电池装置、用电装置及电池装置的制造方法”专利公布

    6小时前

  • VIVO“信息展示方法、装置及电子设备”专利获授权

    6小时前

  • 芯密科技“一种用于静电吸盘缝隙的密封胶及其制备方法与应用”专利获授权

    6小时前

  • 奕斯伟“二次倒角方法、二次倒角系统、计算设备及介质”专利公布

    6小时前

关闭
加载

PDF 加载中...

集微logo
网站首页 版权声明 集微招聘 联系我们 网站地图 关于我们 商务合作 rss订阅

联系电话:

0592-6892326

新闻投稿:

laoyaoba@gmail.com

商务合作:

chenhao@ijiwei.com

问题反馈:

1574400753 (QQ)

集微官方微信

官方微信

集微官方微博

官方微博

集微app

APP下载

Copyright 2007-2023©IJiWei.com™Inc.All rights reserved | 闽ICP备17032949号

闽公网安备 35020502000344号