Ao utilizar grandes modelos de linguagem e fala, a IA generativa está criando avatares 3D inteligentes capazes de interagir com os usuários em conversas naturais, sendo utilizados desde videogames até o atendimento ao cliente. E, para que esses personagens sejam realmente realistas, eles precisam de expressões faciais humanas.
Pensando nisso, a NVIDIA anunciou hoje (24) que a sua tecnologia NVIDIA Audio2Face, que acelera a criação de personagens digitais realistas ao fornecer animação facial e sincronização labial em tempo real, impulsionada por IA generativa, está disponibilizando o código aberto da tecnologia, visando acelerar a adoção de avatares movidos por IA em jogos e aplicações 3D.
O Audio2Face utiliza IA para gerar animações faciais realistas a partir do áudio. Ele funciona analisando recursos acústicos, como fonemas e entonação, para criar um fluxo de dados de animação, que depois é mapeado para as poses faciais de um personagem. Esses dados podem ser renderizados offline para conteúdos pré-roteirizados ou transmitidos em tempo real para personagens dinâmicos controlados por IA, garantindo sincronização labial precisa e expressões emocionais autênticas.
A NVIDIA está liberando em código aberto os modelos da tecnologia e o SDK do Audio2Face, permitindo que qualquer desenvolvedor de jogos e aplicativos 3D crie e implemente personagens de alta fidelidade com animações de ponta.
A empresa também está disponibilizando a estrutura de treinamento do Audio2Face, para qualquer pessoa poder ajustar e personalizar os modelos pré-existentes de acordo com suas necessidades específicas. Veja abaixo a lista completa de ferramentas open source e saiba mais no NVIDIA Developer.
Audio2Face SDK & Plugins
| Pacote | Utilização |
| Audio2Face SDK | Bibliotecas e documentação para criação e execução de animações faciais no dispositivo ou na nuvem |
| Autodesk Maya plugin | Plugin de referência (v2.0) com execução local que permite aos usuários enviar entradas de áudio e receber animação facial para personagens no Maya |
| Unreal Engine 5 plugin | Plugin Unreal Engine 5 (v2.5) para UE 5.5 e 5.6 que permite aos usuários enviar entradas de áudio e receber animação facial para personagens no Unreal Engine 5 |
| Audio2Face Training Framework | Framework (v1.0) para criar modelos Audio2Face com seus dados |
Modelos Audio2Face e dados de treinamento
| Pacote | Utilização |
| Audio2Face Training Sample Data | Dados de exemplo para começar a usar a estrutura de treinamento |
| Audio2Face Models | Modelos de regressão (v2.2) e difusão (v3.0) para gerar sincronização labial |
| Audio2Emotion Models | Modelos de produção (v2.2) e experimentais (v3.0) para inferir estado emocional a partir de áudio |
A disponibilização do código aberto da tecnologia possibilita que desenvolvedores, estudantes e pesquisadores aprendam com o código de última geração e construam sobre ele. Isso cria um ciclo de feedback, no qual a comunidade pode adicionar novos recursos e otimizar a tecnologia para diferentes casos de uso. Com isso, a NVIDIA busca tornar a animação facial de alta qualidade mais acessível para todos.
O modelo Audio2Face, líder do setor, já está amplamente implantado nos setores de jogos, mídia & entretenimento e atendimento ao cliente. Diversos ISVs e desenvolvedores de jogos, incluindo Convai, Codemasters, GSC Games World, Inworld AI, NetEase, Reallusion, Perfect World Games, Streamlabs e UneeQ Digital Humans, já utilizam o Audio2Face em seus trabalhos.
A Reallusion, que oferece uma plataforma para criadores desenvolverem personagens 3D, integrou o Audio2Face em suas ferramentas: “O Audio2Face utiliza IA para criar animação facial expressiva e multilíngue a partir de áudio”, afirmou Elvis Huang, Head of Innovation da Reallusion, Inc. “Sua integração perfeita com o iClone, o Character Creator e o iClone AI Assistant da Reallusion, além de ferramentas avançadas de edição, como face-key editing, face puppeteering e AccuLip, tornam a produção de animações faciais de alta qualidade mais fácil do que nunca.”
Além disso, a Survios, desenvolvedora de Alien: Rogue Incursion Evolved Edition, acelerou seu processo de animação, possibilitando a entrega de experiências de personagens de alta qualidade mais rapidamente: “Ao integrar o Audio2Face no Evolved Edition, simplificamos o pipeline de sincronização labial e captura facial, garantindo uma experiência de personagens mais imersiva e autêntica para os jogadores”, afirmou Eugene Elkin, Game Director e Lead Engineer da Survios.
Atualizações mais recentes do RTX Kit
O RTX Kit é o conjunto de tecnologias de renderização neural da NVIDIA que permite realizar Ray Tracing em jogos com IA, renderizar cenas com geometrias complexas e criar personagens de jogos com visuais fotorrealistas.
O RTX Neural Texture Compression SDK reduz drasticamente o uso de memória de texturas de alta qualidade sem comprometer a fidelidade visual. As melhorias incluem:
- Otimizações de biblioteca para conjuntos de texturas muito grandes e desempenho aprimorado com Cooperative Vectors no DX12.
- Conjunto expandido de recursos de renderização, com melhor desempenho e suporte ao DLSS.
- Melhorias na ferramenta de linha de comando para compressão e descompressão de grandes conjuntos de texturas.
- Nova cena Intel Sponza, ideal para benchmarking.
O RTX Global Illumination SDK oferece soluções de iluminação indireta com Ray Tracing e recebeu novidades como:
- Adição da opção VSync Pathtracer.
- Visualização de cache com alternância de demodulação de mater.
- O algoritmo SHaRC (Spatially Hashed Radiance Cache) removeu a opção de compactação, introduziu demodulação opcional de materiais, além de novos passes de depuração e atualizações na documentação.
NVIDIA vGPU amplia os horizontes do desenvolvimento de jogos
A tecnologia NVIDIA vGPU (virtual GPU) permite o compartilhamento de GPU entre múltiplos usuários em um ambiente virtual, oferecendo recursos de GPU para apoiar desenvolvedores de jogos em toda a organização. A Activision reformulou seu pipeline global de integração, entrega e implantação com o auxílio do NVIDIA vGPU, substituindo 100 servidores por apenas seis unidades com GPU RTX. Os resultados foram:
- Redução de 82% na infraestrutura física.
- Queda de 72% no consumo de energia.
- Mais de 250.000 tarefas executadas diariamente por 3.000 desenvolvedores em mais de 500 sistemas.
Ao consolidar a infraestrutura e possibilitar a alocação dinâmica de GPUs, a Activision construiu uma plataforma escalável de testes automatizados que abrange desde validação do multijogador de seus títulos, até testes de regressão visual e de desempenho, acelerando o ritmo de iteração e elevando a qualidade do código em toda a linha.
Veja também: Forgotten Fragments chegou para PC e Steam!
