A NVIDIA está dando um peso real ao seu apelo por padrões abertos em inteligência artificial, e seu movimento mais recente mostra até onde esse esforço agora alcança robótica, carros autônomos e visão computacional. Em julho, a fabricante de chips juntou-se a mais de 200 empresas e organizações ao assinar uma carta aberta intitulada “Open Weights and American AI Leadership”, argumentando que a liderança em IA deve ser medida por quão amplamente os sistemas abertos se espalham por todos os setores, e não por um único modelo carro-chefe. Com base nesse compromisso, a NVIDIA apresentou agora o Cosmos 3, uma nova família de modelos abertos de IA física projetados para ajudar máquinas a entender e prever o que acontece no mundo real, não apenas descrever o que uma câmera vê.
Summary
Principais destaques
- A NVIDIA juntou-se a mais de 200 empresas e organizações por trás de uma carta aberta que impulsiona ecossistemas abertos de IA.
- O NVIDIA Cosmos 3 é um novo modelo base aberto de IA física construído sobre uma arquitetura mixture-of-transformers.
- A família Cosmos 3 abrange três tamanhos: Super (64B), Nano (16B) e Edge (4B), cada um voltado para diferentes necessidades de implantação.
- O Cosmos 3 ocupa a posição nº 1 em vários benchmarks independentes, incluindo Artificial Analysis, PAIBench, Physics-IQ, RoboLab e VANTAGE-Bench.
- Empresas em robótica, veículos autônomos e visão de IA, juntamente com a crescente NVIDIA Cosmos Coalition, já estão construindo sobre a família de modelos.
A NVIDIA se junta ao impulso por ecossistemas abertos de IA física
O acesso aberto aos pesos de modelos é o que permite que desenvolvedores realmente construam sobre modelos base em vez de apenas alugar acesso a eles. A decisão da NVIDIA de coassinar a carta “Open Weights and American AI Leadership” reflete um argumento mais amplo que vem ganhando força em todo o setor: que aquilo que permite a qualquer pessoa baixar, examinar, personalizar e executar modelos abertos em sua própria infraestrutura é o que torna possível, em primeiro lugar, a ampla adoção de IA.
Esse princípio é mais importante em áreas onde um único modelo genérico não consegue fazer o trabalho. A IA física, o ramo da inteligência artificial que lida com robôs, veículos autônomos e sistemas de visão operando em ambientes reais, é exatamente esse tipo de área. Cada implantação é, na prática, um problema de especialização, já que um robô de armazém, um veículo de entrega e uma câmera de fábrica precisam raciocinar sobre condições físicas totalmente diferentes. Modelos de mundo abertos dão às equipes de engenharia a flexibilidade de adaptar uma base compartilhada a cada um desses contextos muito diferentes, em vez de começar do zero todas as vezes.
O que diferencia a IA física de outros sistemas de IA
A IA física precisa entender e prever consequências, não apenas reconhecer aparências. Essa distinção é toda a razão pela qual os modelos de mundo existem: eles são treinados para aprender como ambientes físicos se comportam, antecipar o que pode acontecer em seguida e descobrir quais ações fazem sentido dada essa previsão.
Na prática, isso significa que um modelo de mundo pode gerar dados fisicamente fundamentados sobre como objetos se movem e interagem, simular estados futuros de um ambiente e entregar aos desenvolvedores uma base que eles podem então ajustar para um robô específico, carro autônomo ou sistema de visão. Em vez de coletar quantidades massivas de filmagens do mundo real para cada novo caso de uso, as equipes podem se apoiar em simulação com modelos de mundo para gerar dados sintéticos de treinamento e testar políticas antes que qualquer coisa toque o mundo real. As bibliotecas Omniverse da NVIDIA, parte do seu Agent Toolkit, ampliam isso ainda mais ao fornecer ferramentas pré-construídas para criar ambientes prontos para simulação, onde sistemas de IA física podem ser treinados, testados e validados antes da implantação no mundo real.
Por dentro do NVIDIA Cosmos 3, o novo modelo base aberto de IA física
O Cosmos 3 é a resposta da NVIDIA para o problema de fragmentação que há muito tempo desacelera o desenvolvimento de IA física. Em vez de manter modelos separados para compreensão de cena, geração de dados e previsão de ações, os desenvolvedores agora podem contar com uma única família de modelos abertos que lida com os três. A NVIDIA descreve o Cosmos 3 como um modelo base de fronteira de IA física aberta omni-model, construído sobre uma arquitetura mixture-of-transformers, combinando raciocínio visual, geração de mundos e previsão de ações em um único sistema.
Essa flexibilidade é o ponto central. Os desenvolvedores podem usar o Cosmos 3 como um modelo de visão e linguagem para interpretar uma cena, como um simulador de mundo fundamentado em física que prevê estados futuros e gera dados sintéticos de treinamento em larga escala, ou como a espinha dorsal para modelos de ação de mundo especializados, construídos para um robô ou veículo específico.
Variantes de modelo para cada necessidade de implantação
A família Cosmos 3 vem em três tamanhos, cada um visando um equilíbrio diferente entre capacidade e pegada de hardware:
- Cosmos 3 Super (64B) é construído para modelagem de mundo de alta fidelidade.
- Cosmos 3 Nano (16B) é ajustado para raciocínio eficiente e pós-treinamento.
- Cosmos 3 Edge (4B) é projetado para raciocínio de visão em dispositivo e implantação de políticas de robôs.
O Cosmos 3 Edge é leve o suficiente para rodar em GPUs de borda, e a NVIDIA diz que ele pode ser implantado em GPUs NVIDIA RTX, sistemas NVIDIA DGX e hardware NVIDIA Jetson, incluindo a plataforma Jetson Thor. Essa abrangência é importante para empresas que precisam executar inferência diretamente em um robô ou veículo, em vez de encaminhar tudo por meio de um data center.
Liderança em benchmarks em diversas tarefas
Em avaliações de benchmarks independentes, o Cosmos 3 atualmente ocupa a posição nº 1 no Artificial Analysis para geração de texto para imagem e de imagem para vídeo com pesos abertos, no PAIBench para geração de mundos e na categoria de imagem para vídeo do Physics-IQ. Para tarefas específicas de políticas de robôs, ele lidera o benchmark RoboLab. O Cosmos 3 Super também é o modelo aberto com melhor classificação no VANTAGE-Bench para compreensão de visão, de acordo com a NVIDIA.
Essas classificações posicionam o Cosmos 3 como um verdadeiro ponto de referência para qualquer pessoa que esteja construindo modelos abertos de IA física, em vez de um lançamento de pesquisa de nicho. A pilha mais ampla de IA física da NVIDIA é complementada com o Isaac GR00T para robótica, Alpamayo para veículos autônomos e Metropolis para visão de IA, o que significa que o Cosmos 3 não opera isoladamente, mas alimenta um conjunto mais amplo de ferramentas já adaptadas a setores específicos.
Adoção pela indústria e a NVIDIA Cosmos Coalition
Empresas em robótica, veículos autônomos e visão de IA já estão construindo sobre o NVIDIA Cosmos, o que sugere que a família de modelos está indo além de uma fase de demonstração e entrando em pipelines ativos de desenvolvimento. Em robótica, Doosan Robotics, LG Electronics, Samsung Electronics e Skild AI estão entre os nomes listados pela NVIDIA como adotantes. Em veículos autônomos, Li Auto, Xiaomi e Afari estão trabalhando com a plataforma. Para aplicações de visão de IA que alimentam monitoramento industrial e sistemas de espaços inteligentes, Centific, Fogsphere, Linker Vision, Milestone Systems e Yuan são citadas como desenvolvedoras que constroem sobre o Cosmos.
Por que essa disseminação em três setores tão diferentes é importante? É um sinal de que um único modelo base aberto pode realmente servir como infraestrutura compartilhada, em vez de algo que só funciona para um caso de uso estreito — que é precisamente o argumento que a NVIDIA e seus co-signatários fizeram na carta aberta no início deste ano.
A NVIDIA Cosmos Coalition é o mecanismo destinado a manter esse impulso. Ela reúne construtores de modelos de mundo, desenvolvedores de IA e líderes de IA física para que forneçam modelos, pesquisas e metodologias de avaliação de volta ao ecossistema aberto. Recentemente, a NVIDIA expandiu a coalizão para o Japão, onde líderes em robótica e manufatura pretendem aderir e desenvolver modelos de mundo abertos adaptados a fábricas, logística, agricultura, construção, saúde e transporte. Combinada com a adoção pela indústria já em andamento, essa expansão sinaliza que uma família de modelos abertos está se tornando uma base compartilhada para IA física, em vez da aposta proprietária de uma única empresa.
Perguntas frequentes
O que são modelos de mundo abertos e por que eles são importantes?
Modelos de mundo abertos podem ser baixados, inspecionados, modificados e executados em qualquer infraestrutura, o que dá aos desenvolvedores a personalização necessária para especializar aplicações de IA física para um robô, veículo ou sistema de visão específico.
O que distingue a IA física de outros tipos de IA?
A IA física exige entender e prever consequências em ambientes físicos reais, não apenas interpretar aparências como faz um modelo de visão típico.
Quais são as diferentes variantes do NVIDIA Cosmos 3 e seus usos?
O Cosmos 3 Super (64B) é construído para modelagem de mundo de alta fidelidade, o Cosmos 3 Nano (16B) é projetado para raciocínio eficiente e pós-treinamento, e o Cosmos 3 Edge (4B) é voltado para implantação leve em GPUs de borda, incluindo em robôs que utilizam hardware Jetson Thor.
Como a NVIDIA Cosmos Coalition está apoiando o desenvolvimento de IA física?
Ela promove a colaboração entre construtores de modelos de mundo e desenvolvedores de IA globalmente, e foi recentemente expandida para incluir líderes em robótica e manufatura no Japão, que planejam desenvolver modelos de mundo abertos para setores que vão da logística à saúde.
{“@context”:”https://schema.org”,”@type”:”FAQPage”,”mainEntity”:[{“@type”:”Question”,”name”:”O que são modelos de mundo abertos e por que eles são importantes?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”Modelos de mundo abertos podem ser baixados, inspecionados, modificados e executados em qualquer infraestrutura, o que dá aos desenvolvedores a personalização necessária para especializar aplicações de IA física para um robô, veículo ou sistema de visão específico.”}},{“@type”:”Question”,”name”:”O que distingue a IA física de outros tipos de IA?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”A IA física exige entender e prever consequências em ambientes físicos reais, não apenas interpretar aparências como faz um modelo de visão típico.”}},{“@type”:”Question”,”name”:”Quais são as diferentes variantes do NVIDIA Cosmos 3 e seus usos?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”O Cosmos 3 Super (64B) é construído para modelagem de mundo de alta fidelidade, o Cosmos 3 Nano (16B) é projetado para raciocínio eficiente e pós-treinamento, e o Cosmos 3 Edge (4B) é voltado para implantação leve em GPUs de borda, incluindo em robôs que utilizam hardware Jetson Thor.”}},{“@type”:”Question”,”name”:”Como a NVIDIA Cosmos Coalition está apoiando o desenvolvimento de IA física?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”Ela promove a colaboração entre construtores de modelos de mundo e desenvolvedores de IA globalmente, e foi recentemente expandida para incluir líderes em robótica e manufatura no Japão, que planejam desenvolver modelos de mundo abertos para setores que vão da logística à saúde.”}}]}
Artigo produzido com a assistência de inteligência artificial e revisado pela equipe editorial.
