Processing

Please wait...

Settings

Settings

Goto Application

1. WO2021007100 - CROSS-MODAL SENSOR DATA ALIGNMENT

Publication Number WO/2021/007100
Publication Date 14.01.2021
International Application No. PCT/US2020/040670
International Filing Date 02.07.2020
IPC
G06T 7/30 2017.01
GPHYSICS
06COMPUTING; CALCULATING OR COUNTING
TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
7Image analysis
30Determination of transform parameters for the alignment of images, i.e. image registration
G06T 17/05 2011.01
GPHYSICS
06COMPUTING; CALCULATING OR COUNTING
TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
173D modelling for computer graphics
05Geographic models
G06N 3/08 2006.01
GPHYSICS
06COMPUTING; CALCULATING OR COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
08Learning methods
G06N 3/04 2006.01
GPHYSICS
06COMPUTING; CALCULATING OR COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
04Architecture, e.g. interconnection topology
Applicants
  • WAYMO LLC [US]/[US]
Inventors
  • BRALEY, Colin Andrew
  • IVANCHENKO, Volodymyr
  • ZHANG, Yu
Agents
  • TREILHARD, John
  • PORTNOV, Michael
Priority Data
16/509,15211.07.2019US
Publication Language English (EN)
Filing Language English (EN)
Designated States
Title
(EN) CROSS-MODAL SENSOR DATA ALIGNMENT
(FR) ALIGNEMENT DE DONNÉES DE CAPTEUR INTERMODAL
Abstract
(EN)
Methods, systems, and apparatus, including computer programs encoded on a computer storage medium, for determining an alignment between cross-modal sensor data. In one aspect, a method comprises: obtaining (i) an image that characterizes a visual appearance of an environment, and (ii) a point cloud comprising a collection of data points that characterizes a three-dimensional geometry of the environment; processing each of a plurality of regions of the image using a visual embedding neural network to generate a respective embedding of each of the image regions; processing each of a plurality of regions of the point cloud using a shape embedding neural network to generate a respective embedding of each of the point cloud regions; and identifying a plurality of region pairs using the embeddings of the image regions and the embeddings of the point cloud regions.
(FR)
L'invention concerne des procédés, des systèmes et un appareil, comprenant des programmes informatiques encodés sur un support de stockage informatique, permettant de déterminer un alignement entre des données de capteur intermodal. Selon un aspect, un procédé consiste à : obtenir (i) une image qui caractérise un aspect visuel d'un environnement et (ii) un nuage de points comprenant une collection de points de données qui caractérise une géométrie tridimensionnelle de l'environnement; traiter chaque région parmi une pluralité de régions de l'image à l'aide d'un réseau neuronal d'incorporation visuelle pour générer une incorporation respective de chacune des régions d'image; traiter chaque région parmi une pluralité de régions du nuage de points à l'aide d'un réseau neuronal à incorporation de forme pour générer une incorporation respective de chacune des régions de nuage de points; et identifier une pluralité de paires de régions à l'aide des incorporations des régions d'image et des incorporations des régions de nuage de points.
Latest bibliographic data on file with the International Bureau