Tradução automática, exceto quando creditada.

Uma avaliação de redes generativas profundas na criação de dados 3D realistas


Você pode ouvir esta página como um arquivo de áudio.

Para modelar como as plantas crescem e se desenvolvem de acordo com seus genótipos, fenótipos, ambiente e/ou manejo, o uso de um dossel tridimensional (3D) realista ajuda a refinar as previsões de interceptação de luz e fotossíntese. 

O desenvolvimento de técnicas de imagem 3D para estimar a estrutura do dossel, crescimento de brotos e biomassa se expandiu durante os últimos dois anos. No entanto, proteger dados escaneados em 3D suficientes é demorado devido à necessidade de processar os dados manualmente. Em simulações em grande escala, as reconstruções de uma única planta ou de poucas plantas são frequentemente duplicadas por conveniência e, portanto, carecem de diversidade fenotípica. Agora modelos generativos profundos podem ser usados ​​para aprender e criar dados 3D realistas.

Dr. Jung Eek Son, professor de ciência vegetal na Universidade Nacional de Seul, e colegas gerou modelos de folhas e extraiu suas características usando modelos generativos profundos. Os autores digitalizaram plantas de pimenta em vários estágios de desenvolvimento usando um scanner 3D portátil de alta resolução. As nuvens de pontos foram obtidas a partir das varreduras, então estas foram usadas para treinar os modelos generativos profundos que poderiam gerar folhas.

Esta imagem é do fluxo de trabalho desde a digitalização de folhas 3D até a geração de folhas. Na primeira caixa, são mostradas oito folhas com pecíolos escaneados de cima. Uma seta desta caixa mostra que os dados são divididos em um conjunto de treinamento para treinamento de modelo e um conjunto de validação para validação de modelo. A partir daqui, o modelo é otimizado. Foi então selecionado o modelo que simulou as melhores folhas criadas aleatoriamente e que criou folhas com as características desejadas por meio da manipulação do espaço latente. Para representar isso, uma caixa contém 8 folhas geradas aleatoriamente. Uma seta dupla na caixa demonstra que a interpolação linear levou a mudanças graduais na forma da folha, e operações aritméticas no espaço latente adicionaram ou subtraíram características foliares das folhas existentes. Novos traços são mostrados em uma caixa: sete folhas vistas de cima e dos lados demonstrando mudanças no tamanho, inclinação e curvatura das folhas selecionadas de nuvens de pontos geradas aleatoriamente. A segunda caixa retrata a edição de nuvens de pontos de folha por aritmética simples no espaço latente. Várias características, como tamanho, inclinação e curvatura, foram transmitidas às folhas geradas.
Fluxo de trabalho desde a digitalização 3D de folhas até a geração de folhas.

Os autores compararam folhas geradas usando três modelos generativos profundos: autoencoder variacional (VAE), rede adversária generativa (GAN) e espaço latente GAN.

Enquanto um VAE obtém dados brutos de uma imagem, codifica-os com resolução mais baixa e os reconstrói, um GAN gera uma imagem a partir do ruído e discrimina a imagem com base nos dados brutos para determinar se é real ou falso. Um espaço latente GAN (L-GAN) tem a mesma estrutura básica e método de treinamento de um GAN, mas usa variáveis ​​latentes: recursos a partir dos quais o sistema de aprendizado pode detectar ou classificar padrões na entrada, em vez de dados brutos.

Três arquiteturas de modelos generativos profundos são mostradas. No primeiro painel, VAE, o decodificador atua como um gerador, que herda as estruturas do AE. No segundo painel, GAN, um gerador e um discriminador geram folhas de ruído aleatório. No terceiro painel, L-GAN, tanto o gerador quanto o discriminador do espaço latente operam sobre as variáveis ​​latentes.
Arquiteturas dos três modelos generativos profundos. 

Fenótipos 3D confiáveis ​​de folhas de pimenta foram criados pelos modelos generativos profundos. Entre os modelos generativos profundos, o L-GAN apresentou o maior desempenho na geração de folhas realistas. “Comparamos vários modelos generativos para geração de folhas. Desta forma, a forma das folhas pode ser controlada com interpolação linear e operações aritméticas simples. Ou seja, o modelo generativo inclui características morfológicas em algum lugar nos parâmetros do modelo. O primeiro passo para o uso prático de modelos generativos profundos foi alcançado para criações autônomas de modelos de plantas 3D sem extração complicada de recursos”, diz Son.

Enquanto a forma 3D das folhas vistas de cima foram usadas para treinar os modelos generativos profundos, os modelos também foram capazes de gerar imagens para avaliar variáveis ​​latentes, como inclinação e curvatura dos dados.

Resultados da interpolação do tamanho, inclinação e curvatura das folhas geradas e as distribuições dos fenótipos foliares. Várias características, como tamanho, inclinação e curvatura, foram transmitidas às folhas geradas.
Imagens criadas usando variáveis ​​latentes.

Son conclui, “modelos generativos profundos podem parametrizar e gerar características morfológicas em modelos de plantas 3D digitalizados e adicionar realismo e diversidade aos estudos e modelos de fenotipagem de plantas”.

LEIA O ARTIGO:

Taewon Moon, Hayoung Choi, Dongpil Kim, Inha Hwang, Jaewoo Kim, Jiyong Shin, Jung Eek Son in silico Plants, Volume 4, Edição 2, 2022, diac015, https://doi.org/10.1093/insilicoplants/diac015

Comece a digitar e pressione Enter para pesquisar

Descubra mais em Botany One

Inscreva-se agora para continuar lendo e ter acesso ao arquivo completo.

Ler Mais