O VP de IA da Tesla, Ashok Elluswamy, lançou uma apresentação de 30 minutos detalhando o progresso no software Full Self-Driving (FSD), desenvolvimento de IA e as inovações mais recentes da equipe. Apresentada via International Conference on Computer Vision (ICCV), ela destaca os vastos recursos de dados da Tesla e novas ferramentas de simulação. A palestra enfatiza os esforços para escalar robotaxis globalmente e autonomia total da frota.
Na apresentação, Elluswamy enfatizou a vantagem de dados incomparável da Tesla, afirmando que a frota de veículos da empresa gera '500 anos de dados de direção todos os dias'. Ele descreveu isso como um 'Niagara de dados', compreendendo centenas de anos de direção coletiva da frota, capturada por meio de gatilhos de dados inteligentes para casos de canto raros como interseções complexas e comportamento imprevisível. Essa abordagem permite que a Tesla extraia apenas dados essenciais para treinamento de modelo eficiente, abordando a 'maldição da dimensionalidade' onde oito câmeras de alta taxa de quadros produzem bilhões de tokens por 30 segundos de contexto de direção.
Apesar do sistema de rede neural de ponta a ponta, a Tesla mantém interpretabilidade para depuração. Engenheiros podem solicitar que o modelo produza previsões auxiliares como ocupação 3D, limites de estrada, objetos, sinais e semáforos, que não controlam o veículo, mas auxiliam em verificações de segurança. Consulta em linguagem natural permite perguntas como por que uma decisão específica foi tomada. Além disso, a Tesla desenvolveu um sistema personalizado de splatting gaussiano ultra-rápido para reconstruir cenas 3D nítidas a partir de visualizações de câmera limitadas, superando métodos padrão de NeRF e splatting para depuração visual.
A avaliação permanece um desafio chave, com modelos se destacando offline, mas lutando em casos de borda do mundo real. Para combater isso, a Tesla criou um simulador de mundo aprendido—um motor de vídeo gerado por rede neural que simula oito feeds de câmera da Tesla simultaneamente em ambientes totalmente sintéticos. Ele suporta testes, treinamento, aprendizado por reforço, injeção de eventos adversários (por exemplo, um pedestre cortando), e reprodução de falhas passadas, rodando quase em tempo real para simulações de direção.
Olhando para o futuro, Elluswamy delineou planos para escalar serviços de robotaxi globalmente, alcançar autonomia total em toda a frota da Tesla e introduzir o Cybercab—um veículo de dois assentos de próxima geração otimizado para uso em robotaxi, visando custos de transporte inferiores ao transporte público. As mesmas redes neurais alimentarão o robô humanoide Optimus, com o sistema de geração de vídeo agora aplicado para simular e planejar movimentos de robôs.