パナソニック ホールディングス㈱、パナソニック コネクト㈱、学校法人立命館は10月3日、視覚と触覚のマルチモーダル情報を使ったサブミリ（1mm以下）の精密位置決め技術Tactile-Sensitive NewtonianVAE (TS-NVAE)を開発したと発表した。同開発技術はサプライチェーンにおける現場作業の効率化・省人化に貢献することが期待される。
サプライチェーンマネジメント事業には多くの労働者が従事しているが、コロナ禍による物流量の増加や少子高齢化により慢性的な人手不足が課題となっており、それらの事業の現場で人間が行っている作業を代替できるロボット技術への需要が高まっている。
開発した「視覚・触覚運動制御技術」により、それらの事業の現場で従来のロボットでは実現できなかった非定型な作業を自動化することが期待されている。パナソニック コネクトが培ってきたサプライチェーンマネジメント事業におけるコアテクノロジー、顔認証に代表されるセンシングの技術やFA事業で長年培ってきた制御技術、カメラ・プロジェクタ事業で培ってきた光学技術を組み合わせることで、2030年の実用化を目指す。
同技術は10月23～27日に国立京都国際会館で開催されるロボット技術の国際学会 2022 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2022) にてBest Application Paper AwardのFinalistに選出されている。
なお、本技術は立命館大学とパナソニック ホールディングスとの間で導入したクロスアポイントメント制度により、客員総括主幹研究員として参画する立命館大学 情報理工学部 谷口忠大教授と協働した成果となる。
●視覚・触覚運動制御技術の概要
（1）概要
人間は、視覚や触覚のマルチモーダル情報を無意識に脳内で統合し、最適な動作を行うことで精密な作業を行っている。例えば、USBコネクタを挿入することを考える（図1）。この作業を達成するためには、まず視覚によってソケットの位置を正しく認識しなければならない。次に、指先で把持しているプラグの把持位置、例えば、指の先端の方で把持しているか、根元の方で把持しているか等の認識が必要。最後に、これらの情報を統合し、適切な挿入位置をサブミリの精度で算出しなければならない。同技術は、上記のような人間が無意識に行っている高度な視覚・触覚運動制御の仕組みをAIで実現する技術を開発し、USBコネクタの挿入作業において成功率100％、位置決め精度0.3mmを達成した（表1）。
（2）ロボット構成
図2(a)に実験に用いたロボットシステムの構成を示す。ロボットアームにはUniversal Robots社の協働ロボットUR5eを使用し、ロボットアーム先端にはROBOTIS社の二指グリッパ RH-P12-RN(A)とハンドカメラを取り付け、二指グリッパの片方の指には光学式触覚センサを装着している。図2 (b) (c) はそれぞれハンドカメラと触覚センサからの出力の一例になる。ハンドカメラでソケットの位置を推定し、触覚センサでプラグの把持位置を推定している。
●用途
サプライチェーンマネジメント事業（製造、物流、流通）の中でも特に精密組み立て、梱包、部品供給等の分野での活用が期待される。
パナソニック ホールディングスは、グループ横断で製造現場や物流倉庫等、あらゆる現場からムダや滞留を失くし、サプライチェーン全体を整流化することで、現場のオペレーション力を強化する取り組みに注力。今回開発したマルチモーダル情報を用いた運動制御技術を現場に導入することで、人がより付加価値の高い業務に専念することが可能になり、現場の生産性を向上できると同社は考えている。
