Künstliche neuronale Netzwerke haben in der Pflanzenmodellierung dazu beigetragen, die Extraktion von Eigenschaften und Charakteristiken aus Bilden zu revolutionieren. Daraus entstehende Datenverarbeitungssysteme mit hohem Durchsatz ermöglichen Wissenschaftler:innen, komplexe Pflanzencharakteristiken, wie Wachstumsverhalten oder Krankheitsanfälligkeit, effizient zu analysieren.
Künstliche Intelligenzen müssen mit sehr diversen Bildern trainiert werden, um robuste und generalisierende Representationen der Daten zu lernen. In der Pflanzenwelt ist die Erzeugung von diesen Daten sehr zietaufwändig und ressourcenintensiv. Zusätzlich zum Durchführen von Experimenten müssen große Mengen an Bildaufnahmen auch sehr methodisch durchgeführt werden. Diese Bilddaten müssen gespeichert und annotiert werden, was das Anfügen von Metadaten sowie die Segmentierung und Messdatenverknüpfung beinhaltet. Dieser Schritt ist sehr wichtig, um Algorithmen zu erlauben, effektiv von den Daten zu lernen.
Um die Knappheit dieser Trainingsdaten zu überbrücken haben Wissenschaftler:innen die Verwendung von synthetischen Daten, welche künstliche Pflanzen als Modell der Realität abbilden, untersucht. Diese Daten können verwendet werden, um neuronale Netzwerke effektiver zu trainieren, weil durch synthetische Daten große und sehr diverse Daten erstellt werden können.
In einem neuen Artikel in in silico Plants von Dirk Helmrich, Doktornand am Forschungszentrum Jülich und der Universität Island, und seinen Kolleg:innen, wird Synavis beschrieben. Synavis ist ein Framework zur Generierung von synthetischen Pflanzendaten, welches direkt mit mit Trainingssoftware interagieren kann.
Synavis besteht aus zwei Komponenten: Ein Funktionelles-Strukturelles Pflanzenmodell (FSPM) und die Unreal Engine.
FSPMs simulieren realistische Pflanzenmorphologien, welche verschiedene Entwicklungseffekte in Abhängigkeit von den Umwelteigenschaften abbilden. Das FSPM CplantBox wird verwendet, um eine diskrete Repräsentation der Pflanzenstruktur algorithmisch zu erzeugen. Ein Visualisierungsmodul produziert dann eine 3D Geometrie aus den CplantBox-Daten.
Letztlich wird Unreal Engine, eine Grafikengine die fähig ist, photorealistisch zu rendern, dazu verwendet, visuelle Repräsentationen der Pflanzen in einer virtuellen Umgebung zu simulieren. Unreal Engine ist in der Lage, diese virtuellen Szenen zu verändern, was Pflanzenposition, Alter oder Lichteinfall anbelangt, was dazu führt, dass sehr verschiedene Bilddaten erstellt werden.
Die erzeugten Bilder können über Synavis direkt in das Trainieren von Neuronalen Netzwerken fließen. Während des Trainings lernt ein Neuronales Netzwerk Muster, Besonderheiten und Verbindungen innerhalb der Bilder. Durch das Verwenden von einem breiten Spektrum von Bildern kann das Netzwerk die Fähigkeit erlernen, die den Daten zugrundeliegenden Strukturen und Charakteristiken zu generalisieren.
Die Authoren haben die Anwendbarkeit dieser von Synavis erzeugten Daten evaluiert, indem sie sie mit echten Daten eines Experimentes verglichen haben. Um diese simulierten Daten zu erzeugen, wurde CPlantBox kallibriert, um die Pflanzen aus diesem Experiment nachzubilden. Bilder dieses Experimentes wurden für CPlantBox verwendet und die erzeugten Pflanzengeometries wurden in UE eingefügt, um die Daten auf Feldgrößen zu skalieren. Die Authoren haben die Messungen der Blattlänge mit dem echten Experiment verglichen und haben bestätigt, dass die Messungen übereinstimmen.
“Wir glauben, dass synthetische Daten sehr hilfreich dabei sind, der Datenknappheit entgegenzuwirken. Mit Synavis haben wir einen Werkzeugkasten entwickelt, der individuell bereits sehr mächtige Frameworks verbindet. Viel wichtiger wollten wir eine praxisnahe Methode verwenden, unsere synthetischen Daten auf Korrektheit zu prüfen – indem wir unsere virtuellen Bilder durch eine gewöhnliche Datenanalysepipeline geschickt haben. Hier haben wir gemessen, dass wir durch die synthetischen Daten die Messung richtig wiederspiegeln.“, erklärt Dirk Helmrich.
Es ist nicht das erste solche Framework, allerdings hat es mehrere Vorteile gegenüber anderen Ansätzen. „Synavis verbindet Softwareframeworks, indem es eine Platform bereitstellt, über die sie sich unterhalten können. Die Kopplung ist sehr direkt, standartisiert, und benötigt keine Datenspeicherung. Die Simulation, die Virtuelle Welt die gerender wird und die Umgebung der neuronalen Netzwerke existieren parallel. Wenn das Model einmal richtig lag und die Daten einmal falsch kategorisiert hatte, kann man zwischen diesen Zuständen in der virtuellen Umgebung interpolieren und behält immer ein kohäsives Bild.“, ergänzt Dirk Helmrich.
DER ARTIKEL::
Dirk Norbert Helmrich, Felix Maximilian Bauer, Mona Giraud, Andrea Schnepf, Jens Henrik Göbbert, Hanno Scharr, Ebba Þora Hvannberg, Morris Riedel, Eine skalierbare Pipeline zur Erstellung synthetischer Datensätze aus funktional-strukturellen Pflanzenmodellen für Deep Learning, in silico Plants, Band 6, Ausgabe 1, 2024, diad022, https://doi.org/10.1093/insilicoplants/diad022
Der Programmcode, der in Helmrich et al. (2023) verwendet wird, ist Open Source und erhältlis unter den Synavis und SynavisUE Repositories mit einem Beispiel erhältlis in SynavisUEExample. Der CPlantBox Code ist offiziell unter der GitHub-Seite des Instituts erhältlis. Der Branch, der in diesem Artikel verwendet wird, wurde zu einer eigenen Seite gespiegelt.
Deutsche Übersetzung von Dirk Helmrich.
Neueste Kommentare