2023-03-27 東京大学
- 発表者
東京大学大学院農学生命科学研究科附属生態調和農学機構
趙 江三(特任研究員:研究当時)
郭 威(准教授)農研機構作物研究部門
加賀 秋人(主席研究員)
発表のポイント
- 写真を撮影するだけでダイズの子実数を測定できる深層学習モデルを開発しました。
- 開発したモデルは、様々なカメラ撮影、ビデオ撮影に適用できます。
- 収量予測技術や品種選抜の加速に貢献することが期待されます。
発表概要
東京大学大学院農学生命科学研究科附属生態調和農学機構の郭威准教授らは、農業・食品産業技術総合研究機構(農研機構)作物研究部門加賀秋人主席研究員のチームと、育種圃場のダイズ子実数を静止画像や動画から自動で測定する手法P2PNet-Soyを開発しました。
ダイズの収量調査は子実重の測定が一般的ですが、近年のフィールドセンシングや深層学習の発達によって、圃場のダイズの莢数を自動測定する手法が報告されました。しかし、収量に直結する子実数を測定する手法はまだありませんでした。そこで本研究では子実数の測定に着目し、人が大勢集まっている場所での人数や混雑状況を測定する深層学習のひとつである群集カウント手法からヒントを得て、図1に示されたように市販のカメラで撮影した収穫前のダイズ圃場の静止画や動画から、自動で子実を検出して、子実数を数える方法を開発しました。さらに、さまざまな品種にも対応できるよう、本手法のソースコードとトレーニング用ラベリング情報付きの教師画像データをオンライン公開しました。
発表内容
図1:本手法の利用イメージ
デジタルカメラを用いて圃場のダイズを撮影し、撮影された画像に対してP2PNet-Soyを適用することで、画像上にあるダイズの子実数が自動測定されて出力されます。
(拡大画像↗)
図2:P2PNet-Soyを実際の育種圃場画像に適用して子実数を測定したときの子実数(左)と本手法P2PNet-Soyの測定精度(右)。
GT: 人間が目視で測定した子実数
P2PNet: 群集カウントのために開発された従来法で測定した子実数
P2PNet-Soy: 開発した方法で測定した子実数
左の例では、実測値の611粒に対して、P2PNetでは536粒、P2PNet-Soyでは612粒と計測されました。他の場所の精度をさらに見る場合にはこちらの動画https://youtu.be/UcLwK2nYPMwを参照してください。
ダイズは、人類にとって重要なタンパク質源の一つであるとともに、日本の食文化に欠かせない存在です。国内のダイズ生産量の増加のために多収品種の育成が進められていますが、収量調査には多大な手間と時間がかかるため、大規模な調査が難しく、育種のボトルネックになっています。近年、急速な発展をみせている深層学習技術を用いて圃場のダイズの莢を自動検出して莢数を測定する研究成果が報告されましたが、収量に直接関係する子実数の計数手法は今までありませんでした。その理由は、ダイズの子実は小さい上、子実や莢が密集しているため、写真上には子実同士が重なる場所が多く、今まで広く使われている物体検出用の深層学習モデルでは子実数を数えることは非常に困難でした。
そこで、本研究は、監視カメラに写っている極めて高い密度の群集のなかから、人数を深層学習で推定する群集カウントと呼ばれるアプローチに着目しました。群集カウントは、目標検出してから数を数える方法と、密度マップを生成してから回帰によって対象物の数を推定する方法があります。後者のほうが教師データの作成難易度が低い(対象物に点を打つだけ)ため主流となっています。また、最新の手法は、数を推定するだけではなく、各対象物の位置も同定することが可能です。
本研究は、群集カウントの最新の手法P2PNetをベースにして、対象物の数と位置を同時に同定することで複雑な背景をもつダイズ圃場で子実数を計数するモデルP2PNet-Soyを開発しました。P2PNet-Soyには、少い教師データでモデル精度を向上させるための教師なしクラスタリングアルゴリズムの導入、子実の識別精度を向上するために、学習した物体全体を表現する高レベル特徴と、エッジや色などを表現する低レベル特徴の両方を導入しました。さらに、隣の列のダイズを計算に含めないように、ダイズそのものの画像も特徴として導入しました。24種類のダイズを対象に、汎用手法のP2PNetと開発したP2PNet-Soyを用いて子実数の測定を行ったところ、P2PNet-Soyの平均絶対値誤差は12.94と、汎用手法P2PNetの105.55よりも極めて小さく、開発したP2PNet-Soyのダイズ子実の計数における優位性を検証することができました(図2)。
本手法は、背景に含まれるダイズの影響を受けにくいため、ドローンやロボットで撮影した圃場(ほじょう)画像に対しても有効であることが示唆されました。現段階では、写真に写っていない裏側の子実の数は測定できないため、撮影方向によっては個体の種子数の評価が異なるなど、さらなる改良の余地があります。本手法はダイズの収量構成要素の一つである子実数の調査を、従来の肉眼による計数から開放することができるうえ、子実数の大規模調査が可能となるため、収量予測技術や品種選抜の加速につながる強力なツールになると期待されます。
〈参考資料〉
「P2PNet-Soyのソースコードとテストデータ」
https://github.com/UTokyo-FieldPhenomics-Lab/P2PNet-Soy
「さまざまなカメラ画像/動画にP2PNet-Soyをかけた結果動画」
https://youtube.com/playlist?list=PLjA17kXOWFnkGcuYOdcuWXrKOV8xFQxBS
発表雑誌
- 雑誌名
- Plant Phenomics
- 論文タイトル
- Improved field-based soybean seed counting and localization with feature level considered
- 著者
- Jiangsan Zhao, Akito Kaga, Tetsuya Yamada, Kunihiko Komatsu, Kaori Hirata, Akio Kikuchi, Masayuki Hirafuji, Seishi Ninomiya, Wei Guo*(*責任著者)
- DOI番号
- 10.34133/plantphenomics.0026
- 論文URL
- https://spj.science.org/doi/10.34133/plantphenomics.0026
研究助成
本研究は、JSTAIP加速課題「ビッグデータ駆動型AI農業創出のためのCPS基盤の研究(JPMJCR21U3)」と農林水産省委託プロジェクト・スマート育種システム「育種ビッグデータの整備および情報解析技術を活用した高度育種システムの開発(BAC1003)」により実施されました。
問い合わせ先
〈研究に関する問合せ〉
東京大学大学院農学生命科学研究科附属生態調和農学機構
准教授 郭 威(かく い)
農研機構作物研究部門
主席研究員 加賀 秋人(かが あきと)
〈報道に関する問合せ〉
東京大学大学院農学生命科学研究科・農学部 総務課 広報情報担当
