DRIVE Sim Novedosas herramientas de IA Implementación AV avanzada

El desarrollo y la validación de vehículos autónomos requieren la capacidad de replicar escenarios del mundo real en simulación.

En GTC, el fundador y director ejecutivo de NVIDIA, Jensen Huang, presentó nuevas herramientas basadas en IA para NVIDIA DRIVE Sim que reconstruyen y modifican con precisión escenarios de conducción reales. Estas herramientas están habilitadas por avances de NVIDIA Research que aprovechan tecnologías como la plataforma NVIDIA Omniverse y NVIDIA DRIVE Map.

Huang demostró los métodos uno al lado del otro, mostrando cómo los desarrolladores pueden probar fácilmente múltiples escenarios en iteraciones rápidas:

Una vez que cualquier escenario se reconstruye en la simulación, puede actuar como base para muchas variaciones diferentes, desde cambiar la trayectoria de un vehículo que se aproxima o agregar un obstáculo a la ruta de conducción, brindando a los desarrolladores la capacidad de mejorar el conductor de IA.

Sin embargo, la reconstrucción de escenarios de conducción del mundo real y la generación de datos realistas a partir de ellos en la simulación es un proceso que requiere mucho tiempo y mano de obra. Requiere ingenieros y artistas calificados, e incluso entonces, puede ser difícil de hacer.

NVIDIA ha implementado dos métodos basados ​​en IA para realizar este proceso sin problemas: reconstrucción virtual y reconstrucción neuronal. El primero replica el escenario del mundo real como una escena 3D totalmente sintética, mientras que el segundo utiliza simulación neuronal para aumentar los datos del sensor del mundo real.

Ambos métodos pueden expandirse mucho más allá de recrear un solo escenario para generar muchos escenarios nuevos y desafiantes. Esta capacidad acelera la canalización continua de capacitación, pruebas y validación de AV.

Reconstrucción Virtual

En el video principal anterior, se reconstruye en 3D un entorno de conducción completo y un conjunto de escenarios alrededor de la sede de NVIDIA utilizando NVIDIA DRIVE Map, Omniverse y DRIVE Sim.

Con DRIVE Map, los desarrolladores tienen acceso a un gemelo digital de una red de carreteras en Omniverse. Usando herramientas integradas en Omniverse, el mapa detallado se convierte en un entorno de simulación manejable que se puede usar con NVIDIA DRIVE Sim.

Con el entorno de simulación reconstruido, los desarrolladores pueden recrear eventos, como una llamada cercana a una intersección o navegar por una zona de construcción, utilizando datos de la cámara, lidar y vehículos de unidades del mundo real.

La IA de la plataforma ayuda a reconstruir el escenario. Primero, para cada objeto rastreado, una IA mira las imágenes de la cámara y encuentra el activo 3D más similar disponible en el catálogo de DRIVE Sim y el color que más se asemeja al color del objeto del video.

Finalmente, se recrea la ruta real del objeto rastreado; sin embargo, a menudo hay lagunas debido a oclusiones. En tales casos, se aplica un modelo de tráfico basado en IA al objeto rastreado para predecir lo que habría hecho y llenar los espacios en su trayectoria.

DRIVE Sim Novedosas herramientas de IA Implementación AV avanzada
Los datos de la cámara y LIDAR de unidades reales se utilizan con IA para reconstruir escenarios.

La reconstrucción virtual permite a los desarrolladores encontrar situaciones potencialmente desafiantes para entrenar y validar el sistema AV con datos de alta fidelidad generados por sensores físicos y modelos de comportamiento de IA que pueden crear muchos escenarios nuevos. Los datos del escenario también pueden entrenar el modelo de comportamiento.

Reconstrucción neural

El otro enfoque se basa en la simulación neuronal en lugar de generar sintéticamente la escena, comenzando con datos reales del sensor y luego modificándolos.

La reproducción del sensor, el proceso de reproducir los datos grabados del sensor para probar el rendimiento del sistema AV, es un elemento básico del desarrollo AV. Este proceso es de bucle abierto, lo que significa que las decisiones de la pila AV no afectan al mundo, ya que todos los datos están pregrabados.

Una vista previa de los métodos de reconstrucción neuronal de NVIDIA Research convierte estos datos registrados en un mundo completamente reactivo y modificable, como en la demostración, cuando la camioneta grabada originalmente pasando junto al automóvil podría recrearse para girar a la derecha. Este enfoque revolucionario permite realizar pruebas de circuito cerrado y una interacción completa entre la pila AV y el mundo en el que se conduce.

El proceso comienza con los datos de conducción registrados. AI identifica los objetos dinámicos en la escena y los elimina para crear una réplica exacta del entorno 3D que se puede representar desde nuevas vistas. Luego, los objetos dinámicos se reinsertan en la escena 3D con comportamientos realistas basados ​​en IA y apariencia física, teniendo en cuenta la iluminación y las sombras.

Luego, el sistema AV conduce en este mundo virtual y la escena reacciona en consecuencia. La escena se puede hacer más compleja a través de la realidad aumentada al insertar otros objetos virtuales, vehículos y peatones que se representan como si fueran parte de la escena real y pueden interactuar físicamente con el entorno.

Todos los sensores del vehículo, incluida la cámara y el lidar, se pueden simular en la escena usando IA.

Un mundo virtual de posibilidades

Estos nuevos enfoques están impulsados ​​por la experiencia de NVIDIA en renderizado, gráficos e IA.

Como plataforma modular, DRIVE Sim admite estas capacidades con una base de simulación determinista. Proporciona la dinámica del vehículo, modelos de tráfico basados ​​en IA, herramientas de escenarios y un SDK integral para construir cualquier herramienta necesaria.

Con estos dos nuevos y potentes métodos de IA, los desarrolladores pueden pasar fácilmente del mundo real al virtual para acelerar el desarrollo y la implementación de AV.