「物流自動化の課題」に挑む豊田自動織機と産総研
「物流自動化の課題」に挑む豊田自動織機と産総研

2025/02/05
「物流自動化の課題」に挑む豊田自動織機と産総研現場の知見と先端技術を融合し、AIで荷姿の異常を検出
人手不足が叫ばれる物流業界では、業務の効率化や自動化が喫緊の課題だ。自動化が強く求められる分野の一つに、トラックからフォークリフトで荷降ろしをする作業がある。固定棚で使用する自動運転フォークリフトはすでに実用化されているが、トラックで輸送されてきた荷物は、荷物を載せるパレット上でのはみ出し(ずれ)や干渉が起こることがあり、その異常を検出しないままフォークリフトで荷降ろししようとすると、荷崩れなどのトラブルが発生してしまう。産総研の連携研究室(冠ラボ)の一つ「豊田自動織機-産総研 アドバンスト・ロジスティクス連携研究ラボ(ALラボ)」では、産総研が開発した最先端のAI技術を活用した「荷姿異常検出」の仕組みを開発し、その実証を行っている。ALラボでこの技術の開発に携わった研究者に、産総研のAI技術との出会い、現場への適用プロセスから成果獲得に至るまでの話を聞いた。
フォークリフトの作業自動化に求められる荷姿の検知
トラックドライバーなどの働き方改革により、効率よくモノが運べなくなる「物流の2024年問題」が、ニュースなどで多く取り上げられている。少子高齢化による働き手の減少も相まって、経済循環への影響が大きくなっている。
豊田自動織機-産総研 アドバンスト・ロジスティクス連携研究ラボ(ALラボ)で、連携研究ラボ長を務める豊田自動織機の横町尚也は、物流の一つの課題をこう説明する。
「これまで、トラックの運転手がフォークリフトを運転し、荷下ろしなどを行うことも少なくありませんでした。しかし、フォークリフトの運転ができる人材の減少や、物流の2024年問題によるトラックドライバーの労働時間削減などが進むと、物流が滞るリスクがあります。トラックからフォークリフトで荷下ろしする作業を自動化する研究は、物流効率化のために不可欠でした」
横町の出向元である豊田自動織機 L&F AR開発部では、すでに自動運転フォークリフトを開発、販売している。
「決まった経路を動くAGF(Automated Guided Forklift)を35年前から製品化しています。しかし、トラックで運ばれてくる荷物の状態はまちまちです。例えば、北海道からキャベツの箱を運んできたトラックでは、移動中の揺れで箱がずれたり、荷物を積むパレットと呼ばれる台に隣のパレット上の荷物が干渉したりするのは当たり前のことでした」と、自動運転フォークリフトの開発に長く携わってきた横町は語る。
豊田自動織機から出向し、現在ALラボで特定集中研究専門員として研究を行う前 伸一は、「トラックで運搬されてくる荷物の移動中の衝撃などで起こるずれや干渉は、人間ならばひと目で認識できます。しかし、既存の自動運転フォークリフトなどのロボットには、その検知が困難でした。そのまま運ぼうとすると、荷物がぶつかったり崩れたりして、トラブルとなるのです」と、説明する。そこで、トラックで運ばれてきた荷物の状態、すなわち「荷姿」に異常がないかを自動検出する仕組みの開発に取り組むことになった。
実際の物流現場では、トラックの走行による揺れなどによって荷物がずれてしまうことがある。また、現場ごとにトラックに積み込んだ荷物の姿勢も異なり、これらによって自動運転フォークリフトによる荷物の運搬が困難になっている。
産総研と豊田自動織機が連携した「冠ラボ」で荷姿異常検出を研究へ
そもそも、産総研のALラボとはどのような組織なのか。2016年、産総研がパートナー企業名を冠した連携研究室(冠ラボ)制度をスタートさせた際に、豊田自動織機がパートナーとなって設立されたのがALラボだ。正式名称の「豊田自動織機-産総研 アドバンスト・ロジスティクス連携研究ラボ」が示すとおり、「先進的な物流」を追究する研究室である。
「豊田自動織機は、繊維機械事業をはじめ、エンジン、自動車、フォークリフトなどを製造するモノづくり企業です。品質や性能が高く、壊れにくい製品を作ることを使命としてきました。一方で、物流の現場では効率化、自動化が強く求められています。そのためにはIT、AIなどの情報技術を使った改善が必要です。豊田自動織機単体では最先端の情報技術を活用した研究開発は難しいことから、産総研の冠ラボ制度によって知恵を借りたいと考えました」と、横町は当時を振り返る。「オープンイノベーションに取り組むべき」と考えてパートナーを探していたところ、産総研の冠ラボ制度を知った。そして、産総研の高い技術や最先端の研究内容に触れ、産総研をパートナーに決めたという。
2021年、前がALラボに出向して、荷姿異常検出の研究開発が本格的に始まった。豊田自動織機で、前は、バッテリーシステムの開発を手掛けていた。AIによる画像認識を活用した荷姿異常検出は、まったく畑違いの分野だった。
「ALラボで荷姿異常検出の開発をする際、『AIに学習させるため、荷姿の画像が1万枚ほしい』と横町さんにお願いしましたが、残念ながらそのようなデータはありませんでした。しかしALラボは、AIの研究をしている片岡先生との連携がありました。『荷姿の異常を検出する仕組みを開発したいのです』と相談したところ、『できますよ』と」
前が「片岡先生」と呼ぶのは、産総研 人工知能研究センター コンピュータビジョン研究チーム 上級主任研究員の片岡裕雄である。
数式から作り出したデータセットでAIを事前学習
片岡は、数式ドリブン教師あり学習(FDSL:Formula-driven Supervised Learning)と名付けた画像認識AIを開発した人物だ。論文発表を経て、2022年に産総研からその研究成果が発表されている。深層学習(ディープラーニング)では、大量の教師データを学習させてモデルを作成するのが基本だが、画像認識の場合は、多くの実画像を学習させるのが一般的な手法だ。しかしFDSLでは、数式から生成した画像データを使って学習させる(産総研マガジン「日本発、最高精度の画像認識AIを誰でも実現可能に!」)。
FDSL利用のメリットについて、片岡はこう語る。
「大量の画像を集めた汎用的なデータセットの代表例にImageNetがあります。これは研究には使えますが、商用利用はできません。現場では使うことができないデータセットなのです。だからといって、ネットなどから画像を集めてデータセットを作ると、人間がラベル付けをするアノテーションの作業が必要ですし、データそのものの著作権やプライバシーについてもリスクが高まっています」
このように、実画像を使うモデル作成には、多くの課題が残されている。
一方で、「FDSLでは数式から生成したフラクタル画像や輪郭画像を使うため、人手を介したアノテーションが不要です。数式から生成した画像なので商用利用やプライバシーの問題もなく、そのうえで画像識別精度も一部ではImageNetで学習したモデルより高いという成果も出ています」と、片岡。
*1 RCDB-21kで事前学習、ImageNet-1kで転移学習
*2 ImageNet-21kで事前学習、ImageNet-1kで転移学習
世界初(産総研調べ)、産総研で開発した数式から生成したDB(Formula-Driven DataBase:FDDB)。実画像を利用したデータベースより高い精度で、画像を分類することができる。
実際の画像を使って学習するのではなく、FDSLでは深層学習モデルに適合させて数式から作った画像データセットを使って、「モノを見る機能」を習得させる。この事前学習したモデルに、実際に判別させたい少数の実画像を追加学習させる「転移学習」を施すことで、商用利用できるというわけだ。この技術を、荷姿異常検出に応用することにした。
まずALラボは、荷姿異常検出に必要なタスクを2つに分けた。一つは、荷姿の画像から荷姿の領域を検出すること。もう一つは検出した荷姿領域から、ずれや干渉を検出すること。荷姿領域の検出ではFDSLによる事前学習の後に転移学習を行い、荷姿領域の情報からの異常検出ではALラボが独自に開発した技術を用いる、という役割分担で技術開発を進めていった。
ありえないぐらい精度が高い荷姿領域の検出
荷姿領域の認識では、FDSLによる事前学習と転移学習の組み合わせが成果を導き出した。当初、FDSLの話を聞いた前は、「論文で賞を獲得している技術ですが、実際に使えるかわからないというのが正直な感想でした。ところが、試してみるととても高い精度が得られて、荷姿領域検出と相性がいいことを実感しました」と、振り返る。
具体的には、画像の特徴量を抽出するモデルをFDSLで事前学習し、豊田自動織機がアノテーションした実在の荷姿のデータで転移学習を行った。転移学習に使ったのは異常データがわずか133枚含まれた全体3343枚の学習データで、特定の目的のAIモデルをつくるには比較的小さなデータセットだった。
「荷姿領域の一致率は、FDSLの輪郭形状データセットで事前学習した後に実在の荷姿データで学習させた場合、目標の90.0 %を大きく上回る94.2 %を達成しました。ありえないぐらい精度が高い荷姿領域の検出が実現できたのです」と、前はその時の感動を語る。
画像から荷物の領域を判別した後に、荷姿異常を検出する。ここでは、「干渉検出」と「はみ出し検出」の2つの異常検出技術を開発した。干渉検出では、パレットと荷物をフォークリフトで持ち上げたとき、他の荷物にぶつかってしまう干渉を判定する。はみ出し検出では、パレットと荷物の座標情報を比較して、パレットから荷物がはみ出している量が「しきい値」を超えた場合に異常と判定する。物流現場の状況をよく知る豊田自動織機の知見を生かした独自技術である。
干渉・はみ出し検出のしくみ。画像から荷物・パレットの領域を検出した後、荷物が他のパレットに干渉していないか、パレットから荷物がはみ出していないかを判別する。
これらの技術を組み合わせて、トラックから自動運転フォークリフトで荷降ろしをする実証実験を行った。荷姿異常検出がないと、30 mmの干渉があっても自動運転フォークリフトは荷物を運ぼうとする。一方で、荷姿異常検出を実装した状態では、10 mmの干渉がある荷姿であっても異常と判定され、フォークリフトが自動停止した。トラックからの荷降ろしの自動化を支援する技術が、実用化に一歩近づいた。
こうした成果は、一足飛びに得られたわけではない。前は、「荷姿領域の検出では、産総研の高い画像認識技術が根本にありました。まずは言われたようにやってみて、上手くできたところからパラメーターやアノテーションの仕方を調整して、物流用にカスタマイズしていきました。FDSLという素晴らしい技術を、物流の知見を使って応用していくかたちです」と語る。
荷姿異常検出では、画像から得られた荷姿領域のデータに加えてLiDAR(光検出と測距)による点群データも利用した(産総研マガジン「LiDARとは?」)。
「解像度の低いカメラで撮影した画像だけだと、小さな干渉は検出できません。自動運転フォークリフトに搭載されているLiDARと組み合わせることで、10 mmといった小さな干渉も検出できるようになりました」と、前。自動運転フォークリフトの運用ではリアルタイム処理が求められる。そのため、分解能は高いが処理が重い点群と、分解能は低いが比較的処理が軽い低解像度画像をうまく組み合わせることで、高速かつ高精度に検出できるよう検出アルゴリズムを工夫した。
フォークリフト前方に取り付けられたカメラとLiDARによって画像と点群データを取得。これらのデータを組み合わせることにより、荷物とパレットの領域を検出する。
商品化を見据えた技術移転に加えて人材育成にも効果
ALラボが開発したこの荷姿異常検出技術は現在、商品化に向けた実証が進められている。横町は、「次世代の自動運転フォークリフトの開発を進めるなかで、荷姿異常検出技術の社会実装を検討しています。そのために複数の実証実験を進めており、スムーズな技術移転につなげていきたいと考えています」と語る。
とはいえ、ALラボでの技術開発と、現場での実用の間には、まだハードルがあることも事実。例えば、パレットの上にすべて荷物が積まれていれば問題なく検出できても、空間があって奥の荷物が見えていた場合、誤検知する可能性が高まる。
「荷物は毎日膨大に運ばれており、少量の学習データに対してテストデータが無限にある状態といえます。実際に、お客様の現場で実証実験を行うと、性能などに厳しい要望をいただきます。しかし、課題が洗い出されることは新たな改善につながるということ。まだまだやるべきことが山積しています」と、前は意欲を見せる。
企業からALラボのような冠ラボに出向して研究をすることについて、前は「当初はいきなり異なる分野のトップ研究者とやり取りすることになり、持っている情報量がまったく違うところからのスタートでした。片岡先生をはじめとする産総研の研究者のみなさんからは、学ぶべきことがたくさんありますし、ポジティブな姿勢に刺激を受ける日々です。このラボでの仕事が楽しくて仕方ありません。仕事でもありますが、自分が強く興味を持てる研究ができる環境にいられることはよかったと感じています」と、目を輝かせる。
連携研究ラボ長としての立場から、横町は「人材育成の場としてのALラボの価値」を感じている。
「豊田自動織機は愛知県のモノづくりの会社で、どうしても『ローカルな視点』に閉じてしまいがちです。前のような若いメンバーも、会社ではモノづくりの仕事に集中せざるを得ません。しかし、ALラボでは自発的に研究を進めて、一人前の研究者を目指すことができます。前の成長で、それを目の当たりにしました。ALラボに在籍して会社に戻ってきた別のメンバーは、現在グローバルチームのリーダーとして活躍しています。自分で学んで自分で成長できる、とても優れた人材育成の場だと実感しています」と、横町は技術開発だけでないALラボの効果を話す。
企業の研究者・技術者と深く付き合いながら研究開発を進められる冠ラボは、産総研側の期待も得られる成果も大きいと、片岡は言う。
「新人として産総研で仕事をし始めた頃に、冠ラボ制度ができたので、面白いことができそうだと感じていました。実際、ALラボで長く豊田自動織機の方々と一緒に研究をしてきた経験を通じて、学術界と産業界がうまくコラボレーションしながら日本の最先端の研究ができています。世界的シェアを誇る大企業と国立の研究所がコラボする研究連携ラボは、世界的に見ても珍しい取り組みだと思います。ALラボでは、AIと物流という掛け合わせの効果が、具体的に出始めてきています」
こうしたコラボレーションの効果は、ALラボに限らず、冠ラボ全体で感じられると片岡は語る。それぞれ異なる強みを持つ企業と産総研の研究者らは手を取り合い、産業や社会の課題を解決する具体的な技術開発に、これからも挑み続ける。
豊田自動織機-産総研アドバンスト・ロジスティクス連携研究ラボ
(株式会社豊田自動織機)
連携研究ラボ長
横町 尚也
Yokomachi Naoya
人工知能研究センター
コンピュータビジョン研究チーム
上級主任研究員
片岡 裕雄
Kataoka Hirokatsu
豊田自動織機-産総研アドバンスト・ロジスティクス連携研究ラボ
(株式会社豊田自動織機)
特定集中研究専門員
前 伸一
Mae Shinichi
豊田自動織機-産総研アドバンスト・ロジスティクス連携研究ラボ
産総研
情報・人間工学領域
人工知能研究センター