バラ積みピッキングは、ロボット自動化の中でも特に難しいアプリケーションの一つです。
ここでは、機械学習（Machine Learning）がバラ積みピッキングの中で実際に何をしているのか、そして従来のルールベースの画像処理と何が違うのかを解説します。
なお、本記事では次の用語が登場します。
- 機械学習（ML）：サンプルデータからパターンを学習するAIの手法
- ニューラルネットワーク：機械学習で使われるモデル構造
- AI ビジョン / AIバラ積みピッキング /フィジカルAI：業界ではしばしば同義のように使われますが、実際には同じ技術のスタックの異なる階層を指しています。
バラ積みピッキングが解くべき2つの問題
バラ積みピッキングシステムには、大きく2つの役割があります。
① ビジョン（認識）
部品の位置や姿勢を認識し、ロボットがどこを掴むべきか判断する。
② モーション（動作）
ロボットが部品へ移動し、ピックして、目的の場所へ配置する。
機械学習は理論上どちらにも使えますが、実際にはビジョン側で大きな効果を発揮します。
モーション計画については従来手法が長年発展しており、すでに安定した性能を持っています。
そのため、モーションに機械学習を適用すると、複雑さだけが増えるケースも少なくありません。
従来の画像処理が限界にぶつかる理由
従来のビジョンシステムは、人間が設計したルールで動作します。例えば、
- エッジをこの条件で検出する
- この形状の輪郭を探す
- この範囲の寸法ならOK
といったルールを組み合わせて部品を認識します。
しかしこの方法は、環境変化に弱いという問題があります。
例えば次のような変化です。
- 照明条件の違い
- 部品表面の仕上げの違い
- わずかな形状差
こうした変化だけで、認識が失敗することがあります。
さらに、ルールを調整するとこれまで動いていたケースが壊れるリスクもあります。
実際の現場では、複雑な部品の場合、従来のビジョンシステムは成功率70％程度で頭打ちになることも珍しくありません。
MLベースのビジョンは何が違うのか
MLベースのビジョンは、問題へのアプローチが根本的に異なります。
従来手法ではエンジニアが「部品の見え方」を定義します。
一方MLでは、部品の特徴をデータから学習します。
基本的な流れは次の通りです。
- 実際の環境で部品の画像を取得
- 部品の位置や姿勢をアノテーション
- ニューラルネットワークを学習
近年では、実写データの代わりにシミュレーションデータを使い、アノテーションを自動生成する方法も増えています。
MLビジョンは、壊れやすい幾何ルールではなく、画像パターンの統計的特徴を学習するため、環境変化への耐性が高くなります。
その結果、実際の導入では次のような差が生まれます。
- MLビジョン：成功率 98～99.9%
- 従来ビジョン：複雑部品で 約70%
また、失敗したケースをデータに追加して再学習すれば、数分でモデルを改善できるのも大きな特徴です。
ただしMLにも適さない用途があります。
例えば、精密寸法測定（メトロロジー）です。
この場合は
- ML → 部品位置・姿勢の認識
- ルールベース → 寸法測定
という組み合わせが最適です。
実際の生産現場での学習
「新しい部品を学習するには数千枚の画像が必要」と思われがちですが、現在のシステムはそうではありません。
Eureka Roboticsでは、まず数百万データで事前学習された基盤モデルを使用します。
新しい部品を導入する際には、このモデルを20～30枚程度の画像でファインチューニングします。
これで実生産に十分な性能を得ることができます。
一方、コンテナ内で完全にランダムに重なり合った金属フックのようなケースはより難しくなります。
これはフル3Dランダムバラ積み問題と呼ばれます。
この場合は、部品の3Dモデルを使い、数万通りの姿勢をシミュレーションして学習データを生成します。
CADデータがあればそれを使用し、なければ実物から3Dモデルを作成します。
導入後に進化するシステム
MLビジョンの大きな特徴は、導入後も改善できることです。
従来のビジョンシステムは基本的に静的で、調整すると別の部分に問題が出ることがあります。
一方MLシステムでは、失敗ケースを学習データに追加し再学習することで、短時間で性能を向上できます。
さらにEureka Roboticsでは、年間保守契約を通じて
- モデル構造の改善
- 学習データの更新
などのソフトウェアアップデートも提供しています。
これにより、処理速度や成功率が継続的に改善されます。
ピック失敗の原因を特定する
バラ積みピッキングの失敗は、必ずしもビジョンが原因とは限りません。
主な原因は次の2つです。
① MLが誤ったピック位置を提案した
② ロボットが正しいピックを実行できなかった
例えば
- キャリブレーション誤差
- 吸着パッドの密着不良
などです。
これを判別するために、提案されたピック位置をシーンの可視化（デジタルツイン）上に表示します。
- 表示位置がおかしい → MLの問題
- 正しいのに失敗 → 機械側の問題
またMLでは、失敗ケースを学習データに追加することで、同様の失敗を将来防ぐことができます。
これはルールベースのビジョンにはない大きな利点です。
MLバラ積みピッキングをうたうベンダーに確認すべきポイント
もしベンダーが「機械学習（ML）やAIによるバラ積みピッキング」を提供していると説明している場合、いくつかの質問をすることで、その技術が本当に実用レベルのものなのかを見極めることができます。
例えば次のような点です。
- 新しいSKU（新しいワーク）を学習させるとき、どのようにトレーニングしますか？
CADデータは必要ですか？
アノテーション済み画像は必要ですか？
何枚くらいの画像が必要ですか？ - 既存の部品と似ている新しい部品（同じ形でサイズだけ違うなど）に対応できますか？
それとも最初から学習し直す必要がありますか？ - セル内の照明条件が変わった場合はどうなりますか？再学習が必要ですか？
- 学習処理はローカルコントローラで実行できますか？それともクラウド接続が必要ですか？
これらの質問への回答によって、そのシステムが実際の生産ラインで使えるものなのか、それとも条件を限定したデモレベルなのか を見分けることができます。
研究と工場実装の間にある大きなギャップ
生産現場で使われるバラ積みピッキングシステムは、
単に最新の機械学習研究をそのまま動かしているわけではありません。
実際には、ロボティクスやAIの学術研究のおよそ99％は実用化されません。
これは、私たち自身のチームが過去に行ってきた研究も例外ではありません。
研究環境で高い性能を示すモデルが、
そのまま工場環境で動くとは限らないのです。
実用化のために必要な仕組み
研究成果を実際の生産システムにするには、多くの要素が必要になります。
例えば次のようなものです。
ユーザーインターフェース
専門知識のないユーザーでも
- 画像を収集する
- 部品をアノテーションする
- モデルを学習する
といった作業ができる仕組み。
データ管理パイプライン
大量のデータを扱いながら、
顧客の部品データを安全に管理する仕組み。
サーバーアーキテクチャ
複数のトレーニング処理を同時に実行できる計算環境。
エッジ推論システム
カメラやロボットとリアルタイムで連携しながら
推論を実行するシステム。
こうした仕組みについては、Eureka Roboticsの
バラ積みピッキング向けAIビジョンソフトウェアでも詳しく紹介しています。
モデルだけでは不十分
機械学習モデル自体は重要な要素です。
しかし、それは実用システムを構成する一部にすぎません。
工場で安定して稼働するシステムを作るには、
- データ管理
- 学習環境
- ユーザー操作性
- ロボットとのリアルタイム連携
といった多くの要素が必要になります。