Waymo a dévoilé son nouveau modèle de simulation générative basé sur Genie 3 de Google DeepMind, capable d’entraîner son système de conduite autonome sur une gamme de scénarios extrêmes, notamment des tornades, des rues inondées et même un éléphant sur la route. Le modèle mondial Waymo exploite les vastes connaissances mondiales de Genie 3, acquises grâce à une pré-formation sur un ensemble de données vidéo vaste et diversifié, permettant à l’entreprise d’explorer des situations jamais directement observées par sa flotte.
Le système génère à la fois des données de caméra et LiDAR grâce à une post-formation spécialisée qui traduit les données vidéo 2D en sorties LiDAR 3D adaptées spécifiquement au matériel propriétaire de Waymo. Les caméras fournissent les informations visuelles contextualisées nécessaires tandis que l’entrée LiDAR simulée tente de fournir des informations précises sur la profondeur en tant que signal complémentaire.
Le nouveau modèle de Waymo propose trois mécanismes de contrôle permettant aux ingénieurs de tester des scénarios contrefactuels via le contrôle des actions de conduite, d’ajuster le tracé des routes et les conditions de circulation via le contrôle de la configuration des scènes et d’utiliser des invites textuelles pour générer différentes heures de la journée, conditions météorologiques ou scènes entièrement synthétiques.
Le système peut également convertir des vidéos ordinaires de dashcam ou de téléphone portable en simulations multimodales montrant comment le Waymo Driver – le système de conduite autonome – percevrait une scène avec ses capteurs. Une version allégée du modèle permet de réduire considérablement les besoins de calcul pour les scénarios qui prennent plus de temps à se dérouler, permettant ainsi des simulations à grande échelle.
Bien sûr, Waymo est loin d’être la première entreprise à utiliser un modèle de simulation mondial pour générer des données d’entraînement à partir de la conduite autonome. Plusieurs entreprises travaillent dans ce sens depuis plusieurs années déjà ; Le modèle multimodal GAIA-1 de Wayve, sans doute le pionnier du secteur, prend en entrée la vidéo, le texte et les actions de conduite pour générer des scènes de conduite réalistes. La société a suscité l’intérêt de Nvidia, remportant des centaines de millions auprès du géant de la technologie lors des récents cycles d’investissement, ainsi que les éloges du directeur général Jensen Huang.
D’autres sociétés incluent Waabi, qui utilise un système appelé Copilot4D qui exploite un simulateur neuronal en boucle fermée pour créer des environnements réactifs dans lesquels le pilote de l’IA et le monde virtuel s’influencent mutuellement en temps réel. Nvidia lui-même fournit des modèles de base du monde Cosmos, y compris des composants de transfert et de prédiction, à des partenaires tels que Plus et Oxa, tandis que Pony.ai s’est récemment associé à Moore Threads pour faire évoluer ses capacités génératives de PonyWorld.
Waymo, qui appartient à Alphabet, société mère de Google, affirme que la simulation de scénarios rares prépare mieux son système de conduite autonome à des situations complexes ou improbables, bien que la société n’ait pas partagé de résultats de référence ni d’évaluations indépendantes. Le Waymo Driver a parcouru près de 200 millions de kilomètres en toute autonomie à ce jour, mais accumule des milliards de kilomètres dans des mondes virtuels avant d’affronter des scénarios sur la voie publique.
Cette annonce intervient alors que Waymo fait face à des enquêtes de sécurité de la part des autorités américaines à la suite d’incidents logiciels survenus ces derniers mois. La National Highway Traffic Safety Administration et le National Transportation Safety Board sont tous deux enquêter une série d’incidents impliquant un robotaxis Waymo passant illégalement dans des autobus scolaires arrêtés, ainsi qu’un incident distinct impliquant un robotaxi frappant un enfant pendant les heures d’arrivée à l’école. L’entreprise a rejeté les demandes des districts scolaires de ne pas exploiter sa technologie dans les quartiers scolaires.
Waymo prévoit de déployer des services commerciaux de robotaxi dans pas moins de 15 villes d’ici la fin de l’année, y compris ses toutes premières expansions à l’étranger en Londres. L’entreprise teste également sa technologie sur les routes de Tokyo et a récemment confirmé que des discussions avaient eu lieu avec des responsables du gouvernement australien au sujet d’une éventuelle expansion du marché.