Testing of AI-based systems such as autonomous vehicles is challenging due to many situations and scenarios. Brute force is expensive and has gaps, as we see in practice. We thus use synthetic data for an AI-driven testing. This data covers real-world scenarios to train autonomous systems in a simulation-based environment. The training success is evaluated in a data loop and enhanced to close blind spots and unknown knowns. This thesis targets to integrate a requirements and test engine to an automated test system.
The goal of the thesis is to integrate existing parts of the system. A fully running system shall be implemented. The integration comprises verification and validation checks for the existing parts. Professional tools such as DOORS shall be used for industry-scale AI-based testing of autonomous systems.
Knowledge in Python
Industry-scale software engineering and tools
Work in a self-independent way
Passionate about clean and good quality code
Capable of integrating your work with other parts of the system
Christof Ebert
♦
Die Automatisierungstechnik entwickelt sich zunehmend hin zur Autonomisierung, wobei ein vollständig autonomer Betrieb weiterhin eine ungelöste Herausforderung bleibt. Insbesondere in dynamischen Umgebungen, in denen nicht alle Situationen vorhersehbar sind, stoßen bestehende Systeme schnell an ihre Grenzen. Aktuelle Forschungsansätze in der Intralogistik konzentrieren sich daher auf den Einsatz von flexiblen unbemannten mobilen Robotern. Diese sollen nicht nur den Transport von Waren übernehmen, sondern auch aktiv mit ihrer Umgebung interagieren. Ein zentrales Ziel besteht darin, dass das System bei unerwarteten Problemen, unbekannten Situationen oder komplexen Aufgaben eigenständig Lösungsstrategien entwickelt.
In der Automatisierungstechnik werden zunehmend Large Language Models (LLMs) eingesetzt. Diese können durch ihre hohe Flexibilität und breites Basiswissen verschiedenste Aufgabe übernehmen, die seither mit regelbasierten Algorithmen nicht möglich waren. LLMs arbeiten mit natürlicher Sprache, können aber auch mit strukturiertem Text sehr gut umgehen.
In dieser Arbeit soll geklärt werden, wie Daten aus verschiedenen Quellen effizient gespeichert und mit LLMs ausgewertet werden können. Eine vielversprechende Variante ist der „Schemaless Knowledge Graph“. Diese Methode soll in dieser Arbeit näher untersucht werden, dazu soll zunächst eine Literaturrecherche durchgeführt werden. In dieser Recherche soll geklärt werden, wie diese Art von Knowledge Graph funktioniert, wie diese generiert und ausgewertet werden, sowie welche Anwendungsmöglichkeiten diese aktuell in der Forschung haben. Des Weiteren soll überprüft werden, inwiefern bereits LLMs, Large Graph Models (LGMs) oder Graph Neural Networks (GNNs) im Zusammenhang mit Schemaless Knowledge Graphs eingesetzt werden.
Das zu entwerfende Konzept in dieser Arbeit soll den Schemaless Knowledge Graph mit LLMs verbinden. Dazu sollen Möglichkeiten für die Generierung, Speicherung und Auswertung von solchen Graphen mit LLMs oder LLM-Alternativen betrachtet werden. Konkret soll es möglich sein, einen beliebigen Text in natürlicher Sprache als Schemaless Knowledge Graph darzustellen und diesen Graphen zu speichern. Der Graph soll anschließend als Reasoning-Grundlage für ein LLM dienen. Dazu sollen dem LLM Aufgaben gestellt werden, die es ausschließlich mit den Informationen des Knowledge Graphs lösen kann.
Auf Basis des entworfenen Konzepts soll ein Prototyp entwickelt werden. Dieser Prototyp soll primär Informationen, Szenarien- und Funktionsbeschreibungen aus der Intralogistik in Knowledge Graphen übersetzen. Es soll angenommen werden, dass ein LLM einen mobilen Roboter steuern soll. Dieses LLM hat als Informationsgrundlage ausschließlich den erstellten Schemaless Knowledge Graph und wird nun per Textbeschreibung mit verschiedenen Aufgaben- und Problemstellungen konfrontiert.
Anhand des Prototyps soll das erstellte Konzept evaluiert und validiert werden. Dazu sollen die einzelnen Systemkomponenten getrennt, sowie in ihrem Zusammenspiel getestet werden. Geeignete Evaluierungsmetriken und -fälle sollen selbst gewählt werden.
gute Programmierkenntnisse erwünscht, Erfahrung mit der Verwendung von APIs von LLMs, Kenntnisse des Prinzips von Knowledge Graphen vorteilhaft
Johannes Sigel
♦
Der Einsatz von Large Language Models (LLMs) zur Steuerung autonomer Robotersysteme hat in den letzten Jahren erheblich an Bedeutung gewonnen. LLMs übersetzen natürliche Sprache in Aktionen. Im Rahmen einer studentischen Arbeit wurde ein solches System entwickelt, das einen Roboter in der Simulationsumgebung Gazebo steuert. Dazu wird ein einzelnes LLM verwendet, um auf Basis einer textuellen Aufgabenbeschreibung eine Sequenz elementarer Roboterfunktionen zu planen und auszuführen.
Ein zentrales Problem dieses Ansatzes liegt in der statischen Natur des verwendeten Modells. Das LLM wird einmalig eingesetzt und nicht an die spezifischen Anforderungen der Robotersteuerung oder an Erfahrungen aus vergangenen Ausführungen angepasst. Fehlgeschlagene oder suboptimale Pläne führen zu keiner Verbesserung des Systemverhaltens. Ein einzelnes Modell bietet keine Möglichkeit zur internen Überprüfung oder Verfeinerung eines generierten Plans.
In einer weiteren studentischen Arbeit wurde ein Agentennetzwerk entwickelt, das anhand einer Textbeschreibung und einer Problemstellung einen Handlungsplan generiert. Dieser Ansatz ermöglicht eine strukturiertere und robustere Planung, da verschiedene Agenten unterschiedliche Rollen übernehmen.
Ziel der Masterarbeit ist die Integration der bestehenden Systeme, indem das bisherige einzelne LLM im Gazebo-System durch ein Agentennetzwerk ersetzt wird. Dieses besteht aus einem Planner-Agenten, der aus einer textuellen Zielbeschreibung Aktionssequenzen generiert, und einem Kritiker-Agenten, der diese bewertet und verbessert; ein regelbasierter Schiedsrichter beendet die Diskussion und gibt den finalen Plan frei. Planner und Kritiker basieren auf vortrainierten Small Language Models (SLMs), die aus Effizienz- und Lokalausführbarkeitsgründen gegenüber großen LLMs bevorzugt werden.
Die Planungsqualität soll mittels Reinforcement Learning verbessert werden: Nach jeder vollständigen Simulation wird aus Zielerreichung, Kollisionen und Effizienz ein Reward berechnet und der Planner episodisch feinabgestimmt, während der Kritiker fix bleibt. Eine systematische Literaturrecherche zu RL-Methoden für Language Models (u. a. PPO, GRPO, RLHF-Ansätze) soll die Auswahl einer geeigneten Methode für das Finetuning kleiner Sprachmodelle in der Simulation leiten. Der gewählte Ansatz wird implementiert und im Kontext der Robotersteuerung evaluiert, wobei insbesondere Planungsqualität vor/nach dem Training und die Konvergenz des Lernprozesses analysiert werden.
Erfahrung mit Gazebo/ROS2 erwünscht, Erfahrung mit dem Umgang von SLMs optional, gute Programmierkenntnisse nötig
Johannes Sigel
♦
Die Genauigkeit der menschlichen Posenschätzung (Human Pose Estimation, HPE) nimmt deutlich ab, wenn Personen teilweise verdeckt sind, beispielsweise weil sie sich teilweise außerhalb des Sichtfelds des Kamerasensors befinden. Ein Ansatz besteht darin, verdeckte Bildbereiche generativ zu vervollständigen (sogenanntes Outpainting) und anschließend die Pose im rekonstruierten Bild zu schätzen. Klassische Outpainting-Verfahren modellieren die menschliche Pose jedoch nicht explizit, was zu anatomisch fehlerhaften Ergänzungen führen kann.
Im Gegensatz dazu arbeiten Methoden, die die menschliche Kinematik explizit modellieren, in einem deutlich kleineren Maßstab und verfügen nicht über das reichhaltige generative Weltvorwissen großer Bild-Diffusionsmodelle. Diese Lücke zu schließen, ist die zentrale Motivation dieses Projekts.
Ziel dieser Arbeit ist es, die Generierung von Menschen in RGB-Diffusionsmodellen zu verbessern, indem während des Generierungsprozesses anatomische und physikalische Korrektheit erzwungen wird. Dazu wird das Projekt eine Methode namens „Readout Guidance“ nutzen. Diese Technik ermöglicht es, die menschliche Pose, die sich zu einem beliebigen Zwischenschritt der Diffusion gerade ausbildet, auszulesen bzw. zu extrahieren und den Generierungsprozess mithilfe von Verlustgradienten in Richtung einer gewünschten Pose zu steuern.
Die zentrale Innovation dieser Arbeit besteht darin, ein leichtgewichtiges Pose-Modell für anatomisch korrekte menschliche Posen in die Readout-Guidance-Schleife einzubringen. In dieser Arbeit wird untersucht, ob dieser Ansatz effektiv für HPE außerhalb des Bildbereichs eingesetzt werden kann.
-- Methodik --
Während des Diffusionsprozesses soll die vorgeschlagene Pipeline:
1. die aktuelle menschliche Pose aus dem Zwischenzustand des Diffusionsmodells auslesen;
2. die extrahierte Pose in das spezifische Format überführen, das von einem menschlichen Pose-Modell erwartet wird, z. B. SMPL;
3. die nächstgelegene anatomisch gültige Pose finden, die mit den sichtbaren Keypoints übereinstimmt, z. B. durch Projektion auf die Pose-Mannigfaltigkeit oder durch gradientenbasierte Optimierung;
4. den Diffusionsschritt steuern, indem der Verlustgradient zwischen der ursprünglich ausgelesenen Pose und der korrigierten Pose berechnet wird.
- Interesse an Diffusionsmodellen und HPE.
- Deep Learning, Computer Vision, Python, PyTorch/JAX/TF.
Riccardo Frenner
♦
Die Schätzung menschlicher Posen wird schwierig, sobald Körperteile verdeckt sind oder sich außerhalb des Bildausschnitts befinden. Diffusionsbasierte Outpainting-Methoden können fehlende Bildbereiche generativ ergänzen, modellieren die menschliche Pose jedoch nicht explizit. Dadurch entstehen häufig anatomisch unplausible oder inkonsistente Vervollständigungen.
Gleichzeitig existieren lernbasierte Pose-Prior-Modelle, die plausible menschliche Körperhaltungen modellieren können, jedoch nicht mit leistungsfähigen Bild-Diffusionsmodellen gekoppelt sind. Ziel dieser Arbeit ist es, beide Ansätze zu kombinieren, indem Pose-Priors zur Steuerung und Bewertung diffusion-basierter Outpainting-Prozesse verwendet werden.
Ziel dieser Arbeit ist die Untersuchung pose-prior-gestützter Verfahren für Out-of-Image Human Pose Estimation.
Zunächst sollen einfache Baselines implementiert werden, bei denen generierte Outpainting-Ergebnisse mithilfe eines Pose-Priors bewertet, gewichtet oder selektiert werden. Anschließend soll ein Verfahren entwickelt werden, bei dem plausible vollständige Posen aus sichtbaren Keypoints gesampelt und als zusätzliche Bedingung für pose-guided Diffusionsmodelle (z. B. mittels ControlNet) genutzt werden.
Im Rahmen der Arbeit soll untersucht werden,
- wie sich unterschiedliche Pose-Prior-Modelle auf die Qualität der generierten Vervollständigungen auswirken,
- wie Pose-Hypothesen effektiv in den Generierungsprozess integriert werden können,
- sowie wie die Kompatibilität zwischen Pose-Bedingung und Bild-Diffusionsmodell bewertet werden kann.
Die Methoden sollen auf Benchmarks für Out-of-Image Human Pose Estimation evaluiert werden.
- Interesse an Diffusionsmodellen und Human Pose Estimation.
- Deep Learning, Computer Vision, Python.
- Erfahrung mit PyTorch/JAX/TensorFlow von Vorteil.
Hasan Evci
♦