Künstliche neuronale Netzwerke haben in der Pflanzenmodellierung dazu beigetragen, die Extraktion von Eigenschaften und Charakteristiken aus Bilden zu revolutionieren. Daraus entstehende Datenverarbeitungssysteme mit hohem Durchsatz ermöglichen Wissenschaftler:innen, komplexe Pflanzencharakteristiken, wie Wachstumsverhalten oder Krankheitsanfälligkeit, effizient zu analysieren.

Künstliche Intelligenzen müssen mit sehr diversen Bildern trainiert werden, um robuste und generalisierende Representationen der Daten zu lernen. In der Pflanzenwelt ist die Erzeugung von diesen Daten sehr zietaufwändig und ressourcenintensiv. Zusätzlich zum Durchführen von Experimenten müssen große Mengen an Bildaufnahmen auch sehr methodisch durchgeführt werden. Diese Bilddaten müssen gespeichert und annotiert werden, was das Anfügen von Metadaten sowie die Segmentierung und Messdatenverknüpfung beinhaltet. Dieser Schritt ist sehr wichtig, um Algorithmen zu erlauben, effektiv von den Daten zu lernen.

Um die Knappheit dieser Trainingsdaten zu überbrücken haben Wissenschaftler:innen die Verwendung von synthetischen Daten, welche künstliche Pflanzen als Modell der Realität abbilden, untersucht. Diese Daten können verwendet werden, um neuronale Netzwerke effektiver zu trainieren, weil durch synthetische Daten große und sehr diverse Daten erstellt werden können.

Ein neuer Artikel erschienen in in silico Pflanzen von Dirk Helmrich, Doktorand am Forschungszentrum Jülich und der Universität Island, und Kollegen stellt ein Framework namens Synavis vor, das synthetische Pflanzendaten generiert und sich mit Deep-Learning-Trainingsframeworks verbindet und direkt mit diesen kommuniziert..

Eine Abbildung mit einer Erklärung, wie Pflanzen in CPlantBox simuliert werden, oben. Erstens verwendet die Modellparametrisierung Parameter aus direkten Messungen. Anschließend simuliert das Modell ein 2D-Bild einer Pflanze. Zuletzt wird die Pflanze mit Geometrie rekonstruiert, um ein 3D-Bild zu erstellen. Unten finden Sie Beispiele für fotorealistische Umgebungen, die mit der Unreal Engine gerendert wurden. Dabei handelt es sich um Bilder eines Feldes mit einer regnerischen, morgendlichen, nebligen oder sonnigen Umgebung.
Einzelne Pflanzen werden mit CPlantBox mithilfe von Messdaten simuliert. Ihre Architektur ist durch topologische und geometrische Information in CplantBox definiert. Unreal Engine verwendet diese Daten um die Pflanzen in eine veränderbare virtuelle Welt zu platzieren.

Synavis besteht aus zwei Komponenten: Ein Funktionelles-Strukturelles Pflanzenmodell (FSPM) und die Unreal Engine.

FSPMs simulieren realistische Pflanzenmorphologie und ahmen verschiedene Entwicklungsdynamiken von Pflanzen unter spezifischen Umweltbedingungen nach. CPlantBox Mithilfe von Algorithmen werden graphenartige Pflanzenstrukturdaten generiert. Anschließend werden aus den CPlantBox-Daten 3D-Pflanzen mithilfe eines Visualisierungsmoduls erstellt.

Dann, Unreal EngineDie Unreal Engine, eine Grafik-Engine mit fotorealistischer Darstellungsfunktion, generiert visuelle Repräsentationen von Pflanzen in einer virtuellen Umgebung. Sie kann Szenendaten wie Pflanzenposition, -dichte, -alter und Beleuchtung anreichern und so vielfältige Bildvariationen erzeugen.

Ein Videoüberblick über Synavis erstellt von Dirk Helmrich.

Die erzeugten Bilder können über Synavis direkt in das Trainieren von Neuronalen Netzwerken fließen. Während des Trainings lernt ein Neuronales Netzwerk Muster, Besonderheiten und Verbindungen innerhalb der Bilder. Durch das Verwenden von einem breiten Spektrum von Bildern kann das Netzwerk die Fähigkeit erlernen, die den Daten zugrundeliegenden Strukturen und Charakteristiken zu generalisieren.

Die Authoren haben die Anwendbarkeit dieser von Synavis erzeugten Daten evaluiert, indem sie sie mit echten Daten eines Experimentes verglichen haben. Um diese simulierten Daten zu erzeugen, wurde CPlantBox kallibriert, um die Pflanzen aus diesem Experiment nachzubilden. Bilder dieses Experimentes wurden für CPlantBox verwendet und die erzeugten Pflanzengeometries wurden in UE eingefügt, um die Daten auf Feldgrößen zu skalieren. Die Authoren haben die Messungen der Blattlänge mit dem echten Experiment verglichen und haben bestätigt, dass die Messungen übereinstimmen.

“Wir glauben, dass synthetische Daten sehr hilfreich dabei sind, der Datenknappheit entgegenzuwirken. Mit Synavis haben wir einen Werkzeugkasten entwickelt, der individuell bereits sehr mächtige Frameworks verbindet. Viel wichtiger wollten wir eine praxisnahe Methode verwenden, unsere synthetischen Daten auf Korrektheit zu prüfen – indem wir unsere virtuellen Bilder durch eine gewöhnliche Datenanalysepipeline geschickt haben. Hier haben wir gemessen, dass wir durch die synthetischen Daten die Messung richtig wiederspiegeln.“, erklärt Dirk Helmrich.

Eine Figur mit drei Tafeln. Rechts ist ein 3D-Bild einer synthetischen Pflanze. In der Mitte ist ein ähnliches Bild einer realen Pflanze zu sehen. Rechts ist ein Vergleich der Blattlängen zwischen den synthetischen Bildern und den experimentellen Daten. Die Abbildung zeigt, dass die Daten denselben Trends folgen, die synthetischen Datenwerte jedoch etwas niedriger sind.
Vergleich der Parameterextraktion zwischen den synthetischen und den echten Daten, einschließlich des resultierenden Vergleiches.

Es ist nicht das erste solche Framework, allerdings hat es mehrere Vorteile gegenüber anderen Ansätzen. „Synavis verbindet Softwareframeworks, indem es eine Platform bereitstellt, über die sie sich unterhalten können. Die Kopplung ist sehr direkt, standartisiert, und benötigt keine Datenspeicherung. Die Simulation, die Virtuelle Welt die gerender wird und die Umgebung der neuronalen Netzwerke existieren parallel. Wenn das Model einmal richtig lag und die Daten einmal falsch kategorisiert hatte, kann man zwischen diesen Zuständen in der virtuellen Umgebung interpolieren und behält immer ein kohäsives Bild.“, ergänzt Dirk Helmrich.

DER ARTIKEL::

Dirk Norbert Helmrich, Felix Maximilian Bauer, Mona Giraud, Andrea Schnepf, Jens Henrik Göbbert, Hanno Scharr, Ebba Þora Hvannberg, Morris Riedel, Eine skalierbare Pipeline zur Erstellung synthetischer Datensätze aus funktional-strukturellen Pflanzenmodellen für Deep Learning, in silico Plants, Band 6, Ausgabe 1, 2024, diad022, https://doi.org/10.1093/insilicoplants/diad022

Der in Helmrich et al. (2023) verwendete Code ist Open Source und unter der folgenden Lizenz verfügbar: Synavis und SynavisUE Repositories mit einem verfügbaren Beispiel unter SynavisUEexampleDer offizielle Quellcode von CPlantBox ist hier zu finden: auf der GitHub-Seite des InstitutsDer mit diesem Artikel verknüpfte Zweig wurde geforkt nach diese Seite.