パナソニック/中央大、ロボットハンド制御技術を開発

パナソニックコネクト㈱と中央大学理工学部の梅田和昇教授が率いる研究チームは10月1日～5日に米国ミシガン州で開催された電気・情報工学分野で世界最大規模の学術研究団体IEEE(※1)における「IROS 2023／IEEE／RSJ International Conference on Intelligent Robots and Systems」にて“Vision-Based In-Hand Manipulation of Variously Shaped Objects via Contact Point Prediction”のタイトルで、ロボットハンド制御技術についての共同研究の成果を発表した。

また、2023年9月11日～14日に仙台で開催された「第41回ロボット学会学術講演会」においても、“接触点の予測に基づく画像を用いたIn-Hand Manipulation”(※2)を発表した。この成果は、国立研究開発法人新エネルギー・産業技術総合開発機構（NEDO）の助成事業の結果得られたもの。

●ロボットハンドによるインハンドマニピュレーションの課題
近年、ロボットによる作業自動化が加速する中で、ロボットに求められる動作も高度化している。ロボットハンドによる高度な動作の1つとして注目されているのがインハンドマニピュレーション。ロボットハンドで把持した対象物の位置や姿勢をハンド内で変更する動作を指す。インハンドマニピュレーションをスムーズに行うため、表面にコンベヤベルトを巻いた複数のフィンガで構成されるロボットハンドが多く研究されている。フィンガ同士で対象物を把持し、その状態でベルトを動かすことで、対象物の並進と回転が可能となる。同機構を使用することにより、対象物の位置姿勢変更が可能な範囲の拡大を図ることができるが、特に姿勢変更のために対象物をハンド内で回転させる際、対象物の形状や姿勢によっては、掴み続けることができずにハンドから落下させてしまうという課題があったとしている。

●インハンドマニピュレーション技術
その課題に対して、パナソニックコネクトでは、ロボットビジョン技術(※3)を活かし、対象物の形状や姿勢に応じてフィンガとベルトを制御するシステムを開発した。対象物を落とさずに把持するため、対象物の表面とロボットハンドとが接触しつづける必要がある。接触を維持するためには対象物の形状や回転中の姿勢に合わせてフィンガ同士の幅を調節する必要があるが、フィンガが必要な幅の分だけ開閉しない状況もあり、その場合に対象物を掴み続けられなくなる。そこで、この状況を引き起こす2つの原因に対してアプローチする手法を開発した。

まず、対象物の形状や姿勢によっては、回転中に、対象物とハンドとが接触している部位が変化することがある。これを接触点の切り替わりと呼ぶ。そして、接触点が切り替わる前後において、必要なフィンガ幅は急激に変わりやすくなる。急な幅変化が起こると、フィンガの制御が追い付かずに対象物を落下させてしまうことがある。一方、対象物の回転速度が遅い場合、接触点が切り替わる前後であっても、この変化が小さいこともわかっている。そこでカメラ画像を基に、接触点がいつ切り替わるのかを予測し、その前後において対象物の回転速度が最も遅くなるようにベルトを制御することで、幅変化を抑えるのが1つ目のアプローチ。

2つ目の原因として、フィードバック制御による遅延に着目した。電子機器を制御する際、センサにより現在の状態を観測し、観測値に基づいて次の時刻における制御値を決定するフィードバック制御が広く採用されている。フィードバック制御においては、次の時刻までの制御値は現在の観測値に基づく。インハンドマニピュレーションによりハンド内で対象物を動かし続ける場合、現在観測している対象物の位置や姿勢と次の時刻での状態は異なる。したがって、現在に観測している幅の分だけフィンガを開閉させても、次に必要な幅とは差が生じ、対象物を落下させることが予想される。そこで次の時刻における対象物の位置や姿勢を予測し、次の時刻で必要となる幅の分だけフィンガを制御することで遅延の影響を低減するのが2つ目のアプローチ。

●動画掲載ページ
https://connect.panasonic.com/jp-ja/about/who-we-are/research/robot-ihm

開発した制御システムにおいては、各フィンガ表面を無限循環するベルトを備えた2指ハンドと、ハンドに正対する位置に設置したステレオカメラを用いる。

●制御方法の詳細
1つ目のアプローチに対しては、まずステレオカメラから取得した画像中から対象物の領域を抽出し、その領域を囲う輪郭を取得する。この輪郭に対して多角形近似および凸包算出を行う。凸包の頂点のうち、最も左および右に位置する点を対象物とハンドとの現在の接触点とする。さらに、残りの頂点の中から、対象物が回転し続ける場合に次にハンドと接触する点を予想し、次の接触点と定義する。そして、現在の接触点と次の接触点を結んだ線分が鉛直軸となす角を算出する。これは、算出した角度の分だけ対象物が回転すると、接触点が切り替わることを示す。この角度が小さい場合、接触点の切り替わりが近いことを表し、その際には必要なフィンガ幅の変化が大きくなると考えられる。その際、対象物の回転量が小さければ、落下を防ぐことができる。そこで算出した角度に正比例するように対象物の目標回転量を定め、それに合わせてベルトを制御する。この制御手法により、接触点の切り替わりが近いときには、ベルトが遅く動き、対象物の回転量も小さくなる。これにより、フィンガ幅の変化を小さく抑えることができるとしている。

2つ目のアプローチにおいても、1つ目の処理の中で取得した輪郭と対象物の目標回転量を用いる。1つ目のアプローチにより理想的に操作できた場合、次の時刻において、対象物の輪郭は目標回転量の分だけ姿勢変更した状態になると考えられる。そこで現在の輪郭に対して、目標分だけ回転した輪郭を算出し、次の時刻での輪郭を推定する。推定した輪郭のうち、最も左および右に位置する点を検出する。この点を次の時刻での接触点推定位置とし、この点に合わせてフィンガを制御する。この制御により、現在の観測値ではなく、次の時刻の推定値に合わせてフィンガが動くため、遅延の影響を減らすことができる。

今回の技術を用いて、22点の対象物（形状11種・サイズ2種）に対して実施した実験においては、10点を1回転させることに成功した。また、提案手法を使用しない条件に対して、大きい対象物を落下させる割合が14.5％改善し、小さい対象物を1回転させる割合が6.4％向上した。今回の技術により、インハンドマニピュレーションを実行できる対象物の種類および位置や姿勢の変更範囲の拡大に繋がると期待されるとしている。

●インハンドマニピュレーション技術の応用先
今回の技術はパナソニックコネクトが目指す製造・物流・流通といったサプライチェーンの現場への貢献が見込まれる。中でも、これらの現場で扱われるモノのピックアンドプレース作業への活用が想定される。置かれたモノをロボットハンドでピックし、インハンドマニピュレーションを行うことで、姿勢を変えた状態でプレースすることが可能となる。

モノの姿勢を変える動作が必要な現場は、例えば、製造においては部品組立作業が該当する。部品をピックし、組立可能な姿勢に変更した後、相手側の部品にプレースする作業を実現できる。また、物流現場においては、倉庫や青果場での箱詰めやパック詰めに応用可能。様々な形状のモノを整列させて箱内に配置することで高密度な箱詰めが可能となる。また、形状に個体差がある青果等についても、カメラ画像から個体毎の形状をリアルタイムで検出し、各個体に合わせた制御を行うことができる。現状は人手でパック詰めされているそれらのモノも、ロボットにより整列配置することができ、集荷場等での自動化に貢献することが期待される。さらに、小売店舗等の流通現場においても、商品陳列等のモノを決まった姿勢で並べる作業への応用が見込まれる。