Um zu modellieren, wie Pflanzen gemäß ihren Genotypen, Phänotypen, ihrer Umgebung und/oder ihrem Management wachsen und sich entwickeln, hilft die Verwendung eines realistischen dreidimensionalen (3D) Baldachins, die Vorhersagen der Lichtabfangung und Photosynthese zu verfeinern.

Die Entwicklung von 3D-Bildgebungsverfahren zur Schätzung von Kronenstruktur, Sprosswachstum und Biomasse hat sich in den letzten Jahren erweitert. Die Sicherung ausreichender 3D-gescannter Daten ist jedoch zeitaufwändig, da die Daten manuell verarbeitet werden müssen. In groß angelegten Simulationen werden Einzelpflanzen- oder Wenig-Pflanzen-Rekonstruktionen oft der Einfachheit halber dupliziert und es fehlt ihnen daher an phänotypischer Vielfalt. Jetzt können tiefe generative Modelle verwendet werden, um realistische 3D-Daten zu lernen und zu erstellen.

Dr. Jung Eek Son, Professor für Pflanzenwissenschaften an der Seoul National University, und Kollegen generierten Blattmodelle und extrahierten ihre Merkmale mithilfe von tiefen generativen Modellen. Die Autoren scannten Paprikapflanzen in verschiedenen Entwicklungsstadien mit einem hochauflösenden tragbaren 3D-Scanner. Aus den Scans wurden Punktwolken erhalten, die dann verwendet wurden, um die tiefen generativen Modelle zu trainieren, die Blätter erzeugen konnten.

Dieses Bild zeigt den Arbeitsablauf vom 3D-Blattscannen bis zur Blatterzeugung. Im ersten Kasten sind acht Blätter mit von oben gescannten Blattstielen abgebildet. Ein Pfeil aus diesem Feld zeigt, dass die Daten in einen Trainingssatz für das Modelltraining und einen Validierungssatz für die Modellvalidierung unterteilt sind. Von hier aus wird das Modell optimiert. Dann wurde das Modell ausgewählt, das die besten zufällig erzeugten Blätter simulierte und Blätter mit den gewünschten Merkmalen durch Manipulieren des latenten Raums erzeugte. Um dies darzustellen, enthält eine Schachtel 8 zufällig generierte Blätter. Ein Doppelpfeil aus dem Kasten zeigt, dass die lineare Interpolation zu allmählichen Änderungen der Blattform führte und arithmetische Operationen im latenten Raum Blattmerkmale für die vorhandenen Blätter hinzufügten oder entfernten. Neue Merkmale werden in einem Kasten gezeigt: sieben Blätter, die von oben und von den Seiten betrachtet werden und Veränderungen in Größe, Neigung und Krümmung der Blätter zeigen, die aus zufällig generierten Punktwolken ausgewählt wurden. Der zweite Kasten zeigt die Bearbeitung von Blattpunktwolken durch einfache Arithmetik im latenten Raum. Den erzeugten Blättern wurden verschiedene Merkmale wie Größe, Neigung und Krümmung verliehen.
Workflow vom 3D-Blattscannen bis zur Blatterzeugung.

Die Autoren verglichen Blätter, die mit drei tiefen generativen Modellen generiert wurden: Variational Autoencoder (VAE), Generative Adversarial Network (GAN) und Latent Space GAN.

Während ein VAE Rohdaten aus einem Bild entnimmt, sie mit niedrigerer Auflösung codiert und dann rekonstruiert, erzeugt ein GAN ein Bild aus Rauschen und unterscheidet dann das Bild basierend auf den Rohdaten, um festzustellen, ob es echt oder gefälscht ist. Ein Latent-Space-GAN (L-GAN) hat die gleiche Grundstruktur und Trainingsmethode wie ein GAN, verwendet jedoch latente Variablen: Merkmale, anhand derer das lernende System Muster in der Eingabe erkennen oder klassifizieren könnte, anstelle von Rohdaten.

Drei tiefe generative Modellarchitekturen werden gezeigt. Im ersten Panel, VAE, fungiert der Decoder als Generator, der die Strukturen des AE erbt. Im zweiten Panel erzeugen GAN, ein Generator und ein Diskriminator Blätter aus zufälligem Rauschen. Im dritten Panel, L-GAN, arbeiten sowohl der Generator als auch der Diskriminator des latenten Raums mit den latenten Variablen.
Architekturen der drei tiefen generativen Modelle. 

Zuverlässige 3D-Phänotypen von Pfefferblättern wurden durch die tiefen generativen Modelle erstellt. Unter den tiefen generativen Modellen zeigte L-GAN die höchste Leistung bei der Erzeugung realistischer Blätter. „Wir haben mehrere generative Modelle zur Blatterzeugung verglichen. Auf diese Weise ließ sich die Blattform durch lineare Interpolation und einfache Rechenoperationen steuern. Das heißt, das generative Modell enthält irgendwo in den Modellparametern morphologische Merkmale. Der erste Schritt zur praktischen Nutzung tiefer generativer Modelle wurde für die autonome Erstellung von 3D-Anlagenmodellen ohne komplizierte Merkmalsextraktion erreicht“, sagt Son.

Während die 3D-Form der von oben betrachteten Blätter verwendet wurde, um die tiefen generativen Modelle zu trainieren, konnten die Modelle auch Bilder generieren, um latente Variablen wie Neigung und Krümmung aus den Daten zu bewerten.

Interpolationsergebnisse der Größe, Neigung und Krümmung der erzeugten Blätter und der Verteilungen von Blattphänotypen. Den erzeugten Blättern wurden verschiedene Merkmale wie Größe, Neigung und Krümmung verliehen.
Bilder, die mit latenten Variablen erstellt wurden.

Son schlussfolgert: „Tiefe generative Modelle können morphologische Merkmale in digitalisierten 3D-Pflanzenmodellen parametrisieren und erzeugen und Phänotypisierungsstudien und -modellen von Pflanzen Realismus und Vielfalt verleihen.“

DER ARTIKEL::

Taewon Moon, Hayoung Choi, Dongpil Kim, Inha Hwang, Jaewoo Kim, Jiyong Shin, Jung Eek Son, Autonome Konstruktion von parametrisierbaren 3D-Blattmodellen aus gescannten Paprikablättern mit tiefen generativen Netzwerken, in silico Plants, Band 4, Heft 2, 2022, diac015, https://doi.org/10.1093/insilicoplants/diac015