Fotogrametria

Norman Reedus sendo escaneado na Kojima Productions em Tokyo para o jogo Death Stranding

Fotogrametria é um método de medida de distâncias por profundidade e escaneamento 3D, no qual a distância entre pixels capturados por fotografia são mensurados.

Se formos listar as etapas de um escaneamento 3D via fotogrametria, teriamos:

Hardware para fotogrametria
Captura 3D de fotos RAW
Correção de cor de fotos RAW
Conversão de imagens
Mascaramento de background
Alinhamento, escala e reconstrução de geometria 3D
Refino de geometria em software de escultura
Retopologia da geometria
Layout de elementos UV/UDIM
Reprojeção de texturas
Refinamento de texturas
Geração de texturas de detalhes
Criação de acessórios genéricos (olhos, cílios, dentes, lingua, etc.)

Mesmo com o processo de fotogrametria em um Software robusto como o CapturingReality, temos como resultado uma malha problemática da qual precisa passar por remodelagem em um software de escultura.

Texturização

Após a modelaram e abertura da malha, as fotos são utilizadas para recriar a textura da pele.

O estudio de jogos Ninja Theory por exemplo eleva o nível produzindo maps de textura de rugas e até mesmo de mudanças de fluxos sanguíneos na pele.

Aqui podemos ver a diferença brutal de um modelo sem mapas de relevo (à esquerda) para um modelo com mapas aplicados. (à direita)

Rigging Facial e grooming

O rigging facial é de extrema importância para o realismo do modelo 3D, abaixo temos uma amostra de um rigging facial feito pela Snappers Systems, envolvendo toda a tecnologia descrita acima.

A Criatura fez um orçamento com essa empresa para saber qual seria o custo desse rigging no nosso projeto:

Temos um orçamento total de U$35.000,00 (aproximadamente R$192.500,00) apenas para o rigging facial e 1 grooming (que seria o cabelo).

O valor do cabelo é unitário então se considerarmos as 8 variações de cabelo, teriamos U$56.000,00 apenas de cabelos. (aproximadamente R$308.000,00)
Ou seja, para termos um rigging facial completo com 8 variações de cabelo em uma das empresas mais relevantes do mercado hoje, teriamos que desembolsar pelo menos meio milhão de reais. Isso apenas para rigging facial, desconsiderando todo o trabalho de criação da cabeça descrito mais acima e animações, capturas de movimento, renderização, criação de figurino, etc.

Motion Capture

Melina Juergens atuando como Senua em Hellblade

O processo de captura de movimento tradicional é dividido em 2 partes: A captura corporal e a facial.

A captura do movimento corporal é feita com uma roupa especifica e algumas câmeras que conseguem fazer a leitura dos pontos de tracking da roupa, para posteriormente fazer o rigging corporal interpretar esses pontos e converter ele no movimento de cada parte da malha esqueletica da personagem.

A captura de movimento facial é hoje está sendo aprimorada até mesmo com inteligência artificial e deep learning para ajudar na leitura e conversão da deformação da malha em tempo real usando algoritmos.

Essa é uma tecnologia muito nova, portanto é extremamente difícil termos acesso à esses recursos pois os grandes estudios ainda estão aprimorando essa técnica.

Captura de movimento em tempo real é algo bem recente e tem sido usado de poucos anos pra cá através da Unreal Engine.

Deixo aqui uma apresentação que revolucionou o mercado de jogos com uma captura de movimento completa em tempo real. A Epic Games em conjunto com a Ninja Theory fez uma apresentação histórica dessa live performance pela primeira vez na GDC 2016:

making of do modelo dessa atriz: Put your (digital) game face on – fxguide

Estamos pesquisando alguns estúdios fazem o trabalho de captura de movimento padrão para orçarmos, porém isso terá um impacto direto no tipo de rigging da personagem.

Metahuman e Unreal Engine

Hoje em dia a Epic Games desenvolveu uma plataforma de criação de humanos virtuais chamada MetaHuman.

Essa plataforma é gratuita para usar, porém nào é um software do qual se pode fazer download. A forma de trabalho atual consiste na utilização de um computador remoto da Epic Games rodando o software, liberado via link no próprio navegador do usuário.

Eu recomendo a utilização do meta human como uma BASE de criação para a criação e aprovação do modelo apenas, para depois o trabalho ser feito em outra plataforma, pois a Epic Games libera o uso da plataforma de forma gratuita, cobrando apenas participação nos lucros dos projetos, mas também ela restringe a utilização do produto obrigando o usuário a renderizar o projeto no renderizador da Plataforma, a Unreal Engine.

HDRI (High Dynamic Range Image)

Uma imagem RGB consegue guardar todas as cores da cena fotografada, mas não faz distinção dos diferentes níveis de brilho em cada área da foto, por exemplo, a parte mais clara da imagem só pode ser branca no padrão de cores RGB, sendo assim, se você fotografar o sol, sairá uma área branca na imagem com o valor RGB = 255, que é o tom mais claro possível neste padrão. Se você fotografar uma luz luz comum, também sairá branco 255 na imagem, e se você fotografar uma parede branca bem iluminada, também sairá branco 255 na imagem.
Só que há uma diferença muito grande entre estes brancos na cena real, o branco do sol é muito mais forte e intenso do que o branco da luz e do que o branco da parede.

O formato HDRI (High Dynamic Range Imagem) permite guardar todas as cores da imagem fotografada e também a intensidade luminosa de cada área, pois é uma imagem RGBA-E de 64 bits, assim, você pode ajustar o brilho com perfeição como se tivesse fotografando novamente com menor exposição do filme a luz, pois as áreas de alto brilho não ficarão cinzas.

Ou seja, para cada foto ou vídeo da nossa personagem, se quisermos um resultado de luz realista, devemos fazer esse processo. Hoje em dia conseguimos fazer o HDR com algumas câmeras 360º de bolso, como a Ricoh Theta. No início provavelmente teremos que fazer isso em loco junto com a Cleo, mas a curto prazo podemos treinar ela pra fazer esse processo e enviar pra gente.

Referências

Satiko

A Satiko infelizmente é uma referência muito ruim (tecnicamente falando). Esteticamente é um processo amador, desde a modelagem até as animações.

A Samsung tem a mascote Sam, que segue a mesma idéia da Satiko, não é realista, é estilizada, com olhos puxados e tudo mais, porém foi produzida de uma forma muito mais profissional:

Miquela

A miquela é tecnicamente muito bem feita. Tirando um pouco dos traços faciais, todo o resto é impecável: iluminação, shader, render, pós produção em photoshop, etc.
Para reproduzir a maioria dos conteúdos da Miquela, precisamos tirar um bom HDR no local e hora da foto, renderizar o rosto da modelo 3d no mesmo angulo e lente da foto de verdade, e fazer um bom trabalho de photoshop por cima.

Shudu

A Shudu também navega em sua maior parte no realismo, com uma leve pitada de estilização, o que no caso dela acho que vale pois o instagram é quase todo voltado pra moda/design. Algumas fotos aparentam serem feitas com tecnica similar da Miquela, com partes do corpo de uma atriz real. Porém os videos dela são piores e com uma animação pior.

Imma

Essa é a mais legal de todas, em algumas postagens chega a ser difícil dizer o que é 3D e o que não é. Mas também outras postagens entregam e chegam a ser bem ruins em termos de animação. Acho que varia de acordo com a postagem, as que aparentam ser publicidade são mais bem feitas, outras que aparentam ser posts comuns do dia a dia são mais simples.
Mas definitivamente, essa é a melhor até aqui.

Conclusão

A melhor forma de iniciar esse projeto é ir fazendo aos poucos, iniciando com um projeto feito para sanar demandas em still, sejam full 3D ou misturadas com foto, lembrando que onde existir foto, existirá captura de HDR e composição em photoshop. Essa regra vale até mesmo para cenários que não sejam Full CG. Nesse início escolheriamos alguns looks principais para iniciar divulgação e posts, e ao longo do tempo ir desenvolvendo e aprimorando o rigging por exemplo para animações, variações de cabelo e figurino, e também avaliando upgrades no projeto para capturas de movimento, etc.

Esse é o melhor cenário para ter um resultado prático de curto prazo, com uma evolução do projeto à longo prazo para projetos mais ambiciosos.