AIが2D画像を使って3D空間をナビゲートする新手法(New Method Helps AI Navigate 3D Space Using 2D Images)

2023-09-26

2023-09-25 ノースカロライナ州立大学(NCState)

◆研究者は、2Dの写真から3D情報を抽出する新しい方法「MonoXiver」を開発し、自動運転車などの技術においてカメラをより有用なツールにすることに成功しました。カメラは他の3D空間をナビゲートするためのツールに比べて費用が低いため、自動運転車の設計者はシステムに冗長性を持たせるために複数のカメラを使用することができます。しかし、カメラが2D画像を取得した後、AIがそれから3Dナビゲーション情報を抽出する必要があります。
◆この課題に対処するのがMonoXiverです。MonoXiverは、AIに2D画像内のオブジェクトの周りに3Dバウンディングボックスを生成させ、これにより既存の技術の精度を大幅に向上させます。これは自動運転車などの応用分野で特に役立つものであり、コンピュータビジョンの発展に貢献します。

＜関連情報＞

周辺領域ノイズ除去を用いた単眼での3D物体検出
Monocular 3D Object Detection with Bounding Box Denoising in 3D by Perceiver

Xianpeng Liu, Ce Zheng, Kelvin Cheng, Nan Xue, Guo-Jun Qi, Tianfu Wu
arXiv Submitted on 3 Apr 2023
DOI:https://doi.org/10.48550/arXiv.2304.01289

The main challenge of monocular 3D object detection is the accurate localization of 3D center. Motivated by a new and strong observation that this challenge can be remedied by a 3D-space local-grid search scheme in an ideal case, we propose a stage-wise approach, which combines the information flow from 2D-to-3D (3D bounding box proposal generation with a single 2D image) and 3D-to-2D (proposal verification by denoising with 3D-to-2D contexts) in a top-down manner. Specifically, we first obtain initial proposals from off-the-shelf backbone monocular 3D detectors. Then, we generate a 3D anchor space by local-grid sampling from the initial proposals. Finally, we perform 3D bounding box denoising at the 3D-to-2D proposal verification stage. To effectively learn discriminative features for denoising highly overlapped proposals, this paper presents a method of using the Perceiver I/O model to fuse the 3D-to-2D geometric information and the 2D appearance information. With the encoded latent representation of a proposal, the verification head is implemented with a self-attention module. Our method, named as MonoXiver, is generic and can be easily adapted to any backbone monocular 3D detectors. Experimental results on the well-established KITTI dataset and the challenging large-scale Waymo dataset show that MonoXiver consistently achieves improvement with limited computation overhead.