Testing of AI-based systems such as autonomous vehicles is challenging due to many situations and scenarios. Brute force is expensive and has gaps, as we see in practice. We thus use synthetic data for an AI-driven testing. This data covers real-world scenarios to train autonomous systems in a simulation-based environment. The training success is evaluated in a data loop and enhanced to close blind spots and unknown knowns. This thesis targets to integrate a requirements and test engine to an automated test system.
The goal of the thesis is to integrate existing parts of the system. A fully running system shall be implemented. The integration comprises verification and validation checks for the existing parts. Professional tools such as DOORS shall be used for industry-scale AI-based testing of autonomous systems.
Knowledge in Python
Industry-scale software engineering and tools
Work in a self-independent way
Passionate about clean and good quality code
Capable of integrating your work with other parts of the system
Christof Ebert
♦
Die Automatisierungstechnik entwickelt sich zunehmend hin zur Autonomisierung, wobei ein vollständig autonomer Betrieb weiterhin eine ungelöste Herausforderung bleibt. Insbesondere in dynamischen Umgebungen, in denen nicht alle Situationen vorhersehbar sind, stoßen bestehende Systeme schnell an ihre Grenzen. Aktuelle Forschungsansätze in der Intralogistik konzentrieren sich daher auf den Einsatz von flexiblen unbemannten mobilen Robotern. Diese sollen nicht nur den Transport von Waren übernehmen, sondern auch aktiv mit ihrer Umgebung interagieren. Ein zentrales Ziel besteht darin, dass das System bei unerwarteten Problemen, unbekannten Situationen oder komplexen Aufgaben eigenständig Lösungsstrategien entwickelt.
In der Automatisierungstechnik werden zunehmend Large Language Models (LLMs) eingesetzt. Diese können durch ihre hohe Flexibilität und breites Basiswissen verschiedenste Aufgabe übernehmen, die seither mit regelbasierten Algorithmen nicht möglich waren. LLMs arbeiten mit natürlicher Sprache, können aber auch mit strukturiertem Text sehr gut umgehen.
In dieser Arbeit soll geklärt werden, wie Daten aus verschiedenen Quellen effizient gespeichert und mit LLMs ausgewertet werden können. Eine vielversprechende Variante ist der „Schemaless Knowledge Graph“. Diese Methode soll in dieser Arbeit näher untersucht werden, dazu soll zunächst eine Literaturrecherche durchgeführt werden. In dieser Recherche soll geklärt werden, wie diese Art von Knowledge Graph funktioniert, wie diese generiert und ausgewertet werden, sowie welche Anwendungsmöglichkeiten diese aktuell in der Forschung haben. Des Weiteren soll überprüft werden, inwiefern bereits LLMs, Large Graph Models (LGMs) oder Graph Neural Networks (GNNs) im Zusammenhang mit Schemaless Knowledge Graphs eingesetzt werden.
Das zu entwerfende Konzept in dieser Arbeit soll den Schemaless Knowledge Graph mit LLMs verbinden. Dazu sollen Möglichkeiten für die Generierung, Speicherung und Auswertung von solchen Graphen mit LLMs oder LLM-Alternativen betrachtet werden. Konkret soll es möglich sein, einen beliebigen Text in natürlicher Sprache als Schemaless Knowledge Graph darzustellen und diesen Graphen zu speichern. Der Graph soll anschließend als Reasoning-Grundlage für ein LLM dienen. Dazu sollen dem LLM Aufgaben gestellt werden, die es ausschließlich mit den Informationen des Knowledge Graphs lösen kann.
Auf Basis des entworfenen Konzepts soll ein Prototyp entwickelt werden. Dieser Prototyp soll primär Informationen, Szenarien- und Funktionsbeschreibungen aus der Intralogistik in Knowledge Graphen übersetzen. Es soll angenommen werden, dass ein LLM einen mobilen Roboter steuern soll. Dieses LLM hat als Informationsgrundlage ausschließlich den erstellten Schemaless Knowledge Graph und wird nun per Textbeschreibung mit verschiedenen Aufgaben- und Problemstellungen konfrontiert.
Anhand des Prototyps soll das erstellte Konzept evaluiert und validiert werden. Dazu sollen die einzelnen Systemkomponenten getrennt, sowie in ihrem Zusammenspiel getestet werden. Geeignete Evaluierungsmetriken und -fälle sollen selbst gewählt werden.
gute Programmierkenntnisse erwünscht, Erfahrung mit der Verwendung von APIs von LLMs, Kenntnisse des Prinzips von Knowledge Graphen vorteilhaft
Johannes Sigel
♦
Der Einsatz von Large Language Models (LLMs) zur Steuerung autonomer Robotersysteme hat in den letzten Jahren erheblich an Bedeutung gewonnen. LLMs übersetzen natürliche Sprache in Aktionen. Im Rahmen einer studentischen Arbeit wurde ein solches System entwickelt, das einen Roboter in der Simulationsumgebung Gazebo steuert. Dazu wird ein einzelnes LLM verwendet, um auf Basis einer textuellen Aufgabenbeschreibung eine Sequenz elementarer Roboterfunktionen zu planen und auszuführen.
Ein zentrales Problem dieses Ansatzes liegt in der statischen Natur des verwendeten Modells. Das LLM wird einmalig eingesetzt und nicht an die spezifischen Anforderungen der Robotersteuerung oder an Erfahrungen aus vergangenen Ausführungen angepasst. Fehlgeschlagene oder suboptimale Pläne führen zu keiner Verbesserung des Systemverhaltens. Ein einzelnes Modell bietet keine Möglichkeit zur internen Überprüfung oder Verfeinerung eines generierten Plans.
In einer weiteren studentischen Arbeit wurde ein Agentennetzwerk entwickelt, das anhand einer Textbeschreibung und einer Problemstellung einen Handlungsplan generiert. Dieser Ansatz ermöglicht eine strukturiertere und robustere Planung, da verschiedene Agenten unterschiedliche Rollen übernehmen.
Ziel der Masterarbeit ist die Integration der bestehenden Systeme, indem das bisherige einzelne LLM im Gazebo-System durch ein Agentennetzwerk ersetzt wird. Dieses besteht aus einem Planner-Agenten, der aus einer textuellen Zielbeschreibung Aktionssequenzen generiert, und einem Kritiker-Agenten, der diese bewertet und verbessert; ein regelbasierter Schiedsrichter beendet die Diskussion und gibt den finalen Plan frei. Planner und Kritiker basieren auf vortrainierten Small Language Models (SLMs), die aus Effizienz- und Lokalausführbarkeitsgründen gegenüber großen LLMs bevorzugt werden.
Die Planungsqualität soll mittels Reinforcement Learning verbessert werden: Nach jeder vollständigen Simulation wird aus Zielerreichung, Kollisionen und Effizienz ein Reward berechnet und der Planner episodisch feinabgestimmt, während der Kritiker fix bleibt. Eine systematische Literaturrecherche zu RL-Methoden für Language Models (u. a. PPO, GRPO, RLHF-Ansätze) soll die Auswahl einer geeigneten Methode für das Finetuning kleiner Sprachmodelle in der Simulation leiten. Der gewählte Ansatz wird implementiert und im Kontext der Robotersteuerung evaluiert, wobei insbesondere Planungsqualität vor/nach dem Training und die Konvergenz des Lernprozesses analysiert werden.
Erfahrung mit Gazebo/ROS2 erwünscht, Erfahrung mit dem Umgang von SLMs optional, gute Programmierkenntnisse nötig
Johannes Sigel
♦