Systematisches Testen von KI-basierten Systemen

Themenfeld

Testing of AI-based systems such as autonomous vehicles is challenging due to many situations and scenarios. Brute force is expensive and has gaps, as we see in practice. We thus use synthetic data for an AI-driven testing. This data covers real-world scenarios to train autonomous systems in a simulation-based environment. The training success is evaluated in a data loop and enhanced to close blind spots and unknown knowns. This thesis targets to integrate a requirements and test engine to an automated test system.

Aufgabenstellung

The goal of the thesis is to integrate existing parts of the system. A fully running system shall be implemented. The integration comprises verification and validation checks for the existing parts. Professional tools such as DOORS shall be used for industry-scale AI-based testing of autonomous systems.

Vorkenntnisse

Knowledge in Python
Industry-scale software engineering and tools
Work in a self-independent way
Passionate about clean and good quality code
Capable of integrating your work with other parts of the system

Ansprechpartner

Christof Ebert

Virtuelle Auslegung optischer Inline-Messtechnik für einen Hochgeschwindigkeits-Tiefziehprozess

Themenfeld

Beim Hochgeschwindigkeits-Tiefziehen (über 400 Hübe pro Minute) entstehen am Bauteilrand unerwünschte Welligkeiten, sogenannte Zipfel. In einem Forschungsprojekt soll diese Formabweichung künftig direkt in der Serienanlage optisch erfasst und durch datengetriebene Modelle kompensiert werden. Bevor Messtechnik in das Serienwerkzeug integriert wird, soll die gesamte Messkette virtuell ausgelegt werden: von der physikalisch basierten Lichttransportsimulation der Anlagenszene über Sensormodelle bis zur Rekonstruktion der Randkontur.

Aufgabenstellung

Aufbauend auf einer vom bereitgestellten CAD-Szene ist eine virtuelle Messkette für die optische Inline-Erfassung der Randkontur aufzubauen. Dies umfasst die Überführung der Szene in eine physikalisch basierte Rendering-Umgebung, die Modellierung der zur Auswahl stehenden Sensorkonzepte (Laser-Lichtschnitt, Kamerasystem) als parametrisierte Sensormodelle, die Segmentierung und Rekonstruktion der Kontur aus den synthetischen Sensordaten sowie die Quantifizierung des Rekonstruktionsfehlers gegenüber der bekannten Referenzgeometrie. Darauf aufbauend sind zwei Messpositionen (Eintritt in das Transportsystem, frei fallendes Bauteil) hinsichtlich erreichbarer Konturüberdeckung, Orientierungsreferenz und Auflösung systematisch zu vergleichen und eine Empfehlung für die Sensorspezifikation abzuleiten. Optional kann der Einfluss von Störeffekten (Verschmutzung, Vibration, Beleuchtungsdrift) untersucht werden.

Vorkenntnisse

Sichere Python-Kenntnisse; Grundlagen der Bildverarbeitung oder Computer Vision; Interesse an Simulation und Messtechnik. Erfahrung mit Rendering-Werkzeugen (z. B. Blender/BlenderProc, Mitsuba) oder maschinellem Lernen ist hilfreich, aber keine Voraussetzung. Selbstständige, strukturierte Arbeitsweise.

Ansprechpartner

Sebastian Baum

Wissensorganisation für LLM-basierte Bedienerassistenzsysteme: Vergleich von Retrieval-Augmented Generation und LLM-Wikis am Beispiel modularer prozesstechnischer Anlagen

Themenfeld

Modulare verfahrenstechnische Anlagen wie z.B. neue Konzepte für Offshore-Power-to-X-Plattformen weisen eine hohe Systemkomplexität auf und stellen entsprechende Anforderungen an das Prozess- und Anlagenwissen des Bedienpersonals. Die dafür erforderlichen Informationen sind in der Praxis über heterogene Dokumente verteilt und müssen manuell erschlossen werden. Dies verlängert die Reaktionszeit bei abnormalem Anlagenverhalten, insbesondere wenn sich Störungen über gekoppelte Teilprozesse ausbreiten.

LLM-basierte Assistenzsysteme bieten das Potenzial, situationsrelevante Informationen aus der Anlagendokumentation kontextbezogen bereitzustellen. Offen ist dabei die Frage der Wissensorganisation: Klassisches Retrieval-Augmented Generation (RAG) zerlegt Dokumente in unverbundene Textfragmente, während neuere Ansätze die Dokumentation offline in ein quervernetztes Wiki überführen, das ein LLM-Agent über explizite Verweise traversiert. Modulare Anlagen bilden hierfür einen besonders geeigneten Untersuchungsgegenstand, da ihre Dokumentation bereits dicht quervernetzt ist und Modulgrenzen sowie Schnittstellengrößen natürliche Verweise bilden.

Aufgabenstellung

Ziel der Arbeit ist die Konzeption, prototypische Realisierung und vergleichende Evaluation eines LLM-basierten Bedienerassistenzsystems für modulare Prozessleitsysteme. Das System soll Fragen eines Anlagenbedieners zum Prozessleitsystem und zum geführten Prozess beantworten und dazu mehrere Wissensschichten erschließen:
• statische Anlagendokumentation (u. a. Betriebshandbücher, Alarm- und Signallisten, P&ID-Diagramme),
• Berichte über Software- und Hardwareänderungen (Wartungs- bzw. Management-of-Change-Berichte) und
• Prozess- und Alarmdaten (als zeitlich abgespielter Datenstrom zur Nachbildung des Live-Betriebs).
Zentraler wissenschaftlicher Beitrag ist der kontrollierte Vergleich von RAG und LLM-Wikis zur Wissensorganisation.
Für die Evaluation, soll ein Evaluationskonzept erstellt werden, mit dem die Stärken und Schwächen der verschiedenen Ansätze untersucht werden können, sowie eine Aussage getroffen werden kann welche Auswirkungen dies auf den untersuchten Anwendungsfall hat. Dabei soll auch ein geeigneter Frage-Antwort Katalogs erstellt werden.

Vorkenntnisse

Selbstständiges wissenschaftliches Arbeiten
Erfahrung mit LLMs
Erfahrung mit dem Aufbau von RAG-Pipelines
Kenntnisse in der Prozessautomatisierung von Vorteil

Ansprechpartner

Peter Pfeiffer