A empresa de IA Runway revelou GWM-1, seu conjunto inicial de modelos do mundo projetados para ir além da geração de vídeo para áreas como robótica e avatares. Construídos sobre o modelo de texto para vídeo Gen-4.5, esses três modelos de autoregressão especializados permitem simulações em tempo real, criação de dados sintéticos e interações naturais semelhantes às humanas. O lançamento destaca o avanço da Runway em um campo competitivo dominado por gigantes da tecnologia.
Runway, conhecida por suas ferramentas de geração de vídeo, introduziu GWM-1 como um trio de modelos pós-treinados em dados específicos de domínio a partir de sua base Gen-4.5. Esse movimento sinaliza a expansão da empresa das indústrias criativas para aplicações de IA mais amplas.
O primeiro, GWM Worlds, fornece uma interface para explorar ambientes digitais com entradas de usuário em tempo real influenciando a geração de quadros. Os usuários podem especificar elementos do mundo, aparências, regras de física e ações como movimentos de câmera ou mudanças ambientais, mantendo a consistência em sequências estendidas. Usos potenciais incluem pré-visualização no desenvolvimento de jogos, configurações de realidade virtual e simulações educacionais de sítios históricos. Ele também suporta o treinamento de agentes de IA, incluindo os de robótica.
GWM Robotics foca na produção de dados de treinamento sintéticos para aprimorar conjuntos de dados de robótica, incorporando objetos novos, instruções de tarefas e variações ambientais. Isso auxilia na simulação de condições reais desafiadoras como clima variado e permite testes de políticas mais seguros e econômicos em ambientes virtuais antes de testes físicos. Runway oferece um SDK em Python para sua API de robótica por solicitação.
GWM Avatars integra geração de vídeo e fala para criar avatares que se movem e expressam emoções naturalmente durante a fala e a escuta, sustentando conversas longas sem perda de qualidade. Em breve, será integrado ao app web e API da Runway.
Embora vise modelos mais unificados entre domínios, as versões atuais da Runway são distintas. O CEO Cristóbal Valenzuela descreveu o GWM-1 no X como "um grande passo em direção à simulação universal". A empresa entra em um espaço lotado com players como Google e Nvidia, mirando robótica, física e ciências da vida ao lado de cinema e jogos.
Além disso, Runway revelou atualizações do Gen-4.5 com áudio nativo, edição de áudio e capacidades de vídeo multi-shot, além de uma parceria com CoreWeave para racks Nvidia GB300 NVL72 para suportar treinamento e inferência de IA futuros.
