Konzeptionierung eines Reinforcement-Learning-Ansatzes zur menschgestützten Ursachenanalyse in software-definierten Systemen

Themenfeld

Die moderne Systementwicklung ist geprägt von gestiegenen Kundenanforderungen und einem höheren Markt- und Zeitdruck. Die hierfür notwendigen Innovationen werden einerseits über einen höheren Software-Anteil in Produkten und andererseits über die Vernetzung von immer mehr bisher unabhängigen Systemen geschaffen, wodurch insgesamt heterogene und damit auch komplexere IT-Strukturen entstehen. Dies schlägt sich auch in der Automotive-Industrie nieder, in der über software-definiere Fahrzeuge neue Geschäftsmodelle erschlossen werden. Moderne E/E-Architekturen ermöglichen es dem Fahrzeug, mit seiner Umwelt zu kommunizieren sowie Daten während des Betriebs sammeln, die von den Herstellern anschließend zur Verbesserung der Fahr- oder Komfortdiensten genutzt werden können.

Zur Realisierung einer solchen Datenschleife ist eine automatisierte Analyse der sich im Betrieb befindlichen Software von zentraler Bedeutung. Eine zentrale Herausforderung ist dabei die Verknüpfung der im System auftretenden Ereignisse, um die Ursache etwaiger Fehler ermitteln zu können. Konventionelle Ansätze versagen dabei bei der Berücksichtigung von zeitlichem Verhalten sowie Kontextinformationen, die durch einen System-Ingenieur bereitgestellt werden können. Daher soll im Rahmen dieser Arbeit ein Reinforcement-Learning-Ansatz entwickelt werden, über den das Wissen des System-Ingenieurs sowie Informationen über Updates des Systems in die automatisierte Verknüpfung einfließen kann.

Aufgabenstellung

- Analyse existierender Ansätze zur Fehlerursachenanalyse
- Entwicklung eines Reinforcment-Learning-Ansatzes im Kontext einer software-definierten DevOps-Umgebung
- Integration in eine Analyse-Plattform für verteilte Cloud-Systeme
- Evaluierung des Konzepts anhand eines eigenen Datensatzes und dem Vergleich mit konventionellen Verfahren

Vorkenntnisse

- Sehr gute konzeptionelle Fähigkeiten
- Vorkenntnisse im Bereich Deep Learning und Markov-Ketten
- Grundlegende Kenntnisse im Software Engineering und bei IT-Systemen
- Gute Programmierkenntnisse
- Sehr gute Deutsch- und Englischkenntnisse

Ansprechpartner

Matthias Weiss

Konzeptionierung eines Reinforcement-Learning-Ansatzes zur selbst-adaptiven Anomalie-Detektion in software-definierten Systemen

Themenfeld

Die moderne Systementwicklung ist geprägt von gestiegenen Kundenanforderungen und einem höheren Markt- und Zeitdruck. Die hierfür notwendigen Innovationen werden einerseits über einen höheren Software-Anteil in Produkten und andererseits über die Vernetzung von immer mehr bisher unabhängigen Systemen geschaffen, wodurch insgesamt heterogene und damit auch komplexere IT-Strukturen entstehen. Dies schlägt sich auch in der Automotive-Industrie nieder, in der über software-definiere Fahrzeuge neue Geschäftsmodelle erschlossen werden. Moderne E/E-Architekturen ermöglichen es dem Fahrzeug, mit seiner Umwelt zu kommunizieren sowie Daten während des Betriebs sammeln, die von den Herstellern anschließend zur Verbesserung der Fahr- oder Komfortdiensten genutzt werden können.

Zur Realisierung einer solchen Datenschleife ist eine automatisierte Analyse der sich im Betrieb befindlichen Software von zentraler Bedeutung. Damit Änderungen oder aufkommende Fehler frühzeitig detektiert werden können, müssen daher die eingehenden Daten kontinuierlich auf Anomalien untersucht werden. Eine besondere Herausforderung stellt dabei die hohe Systemdynamik dar, die dazu führt, dass die eingesetzten Verfahren zur Anomalie-Detektion kontinuierlich aktualisiert werden müssen, um stets zuverlässige Alarmmeldungen ausgeben zu können. Da dies bisher mit einem hohen manuellen Aufwand verbunden ist, soll im Rahmen dieser Arbeit ein selbst-adaptiver Ansatz entwickelt werden, über den automatisiert geeignete Anomalie-Detektoren anhand der Systemeigenschaften ausgewählt und konfiguriert werden können.

Aufgabenstellung

- Analyse existierender Ansätze zur selbst-adaptiven Anomalie-Detektion
- Entwicklung eines eigenen Ansatzes im Kontext einer software-definierten DevOps-Umgebung
- Integration in eine Analyse-Plattform für verteilte Cloud-Systeme
- Evaluierung des Konzepts anhand eines eigenen Datensatzes und dem Vergleich mit konventionellen Verfahren

Vorkenntnisse

- Sehr gute konzeptionelle Fähigkeiten
- Vorkenntnisse im Bereich Deep Learning und Signalverarbeitung
- Grundlegende Kenntnisse im Software Engineering und bei IT-Systemen
- Programmierkenntnisse in Python
- Gute Deutsch- und Englischkenntnisse

Ansprechpartner

Matthias Weiss

Systematisches Testen von KI-basierten Systemen

Themenfeld

Testing of AI-based systems such as autonomous vehicles is challenging due to many situations and scenarios. Brute force is expensive and has gaps, as we see in practice. We thus use synthetic data for an AI-driven testing. This data covers real-world scenarios to train autonomous systems in a simulation-based environment. The training success is evaluated in a data loop and enhanced to close blind spots and unknown knowns. This thesis targets to integrate a requirements and test engine to an automated test system.

Aufgabenstellung

The goal of the thesis is to integrate existing parts of the system. A fully running system shall be implemented. The integration comprises verification and validation checks for the existing parts. Professional tools such as DOORS shall be used for industry-scale AI-based testing of autonomous systems.

Vorkenntnisse

Knowledge in Python
Industry-scale software engineering and tools
Work in a self-independent way
Passionate about clean and good quality code
Capable of integrating your work with other parts of the system

Ansprechpartner

Christof Ebert

Konstruktion und Realisierung eines Modellprozesses einer PtX-Offshore-Plattform

Themenfeld

Grüner Wasserstoff und Power-to-X-Verfahren (PtX) stellen wichtige Schlüsseltechnologien für die zukünftige Klimaneutralität dar. Durch den Offshore-Betrieb dieser Technologien und die Kombination mit hochdynamischen Winderzeugungsprozessen entstehen neue Herausforderungen, um einen sicheren und wirtschaftlichen verfahrenstechnischen Prozess zu ermöglichen. Am IAS soll dazu ein Modellprozess entwickelt werden, welcher die Präsentation von Konzepten wie etwa Digitaler Zwilling, Prozessleitsystem, etc. ermöglicht.

Aufgabenstellung

- Konstruktion eines transportablen und modularen Modellprozesses
- Berücksichtigung der Infrastruktur der unterschiedlichen zu präsentierenten Konzepte
- Realisierung des konstruierten Modellprozesses

Vorkenntnisse

- CAD-Kenntnisse erforderlich
- Selbstständig & verantwortungsbewusst
- Handwerkliche Geschicklichkeit

Ansprechpartner

Daniel Dittler

Adversarial Multi-Agent Reinforcement Learning und Modellbasierte Systemtechnik.

Themenfeld

Diese Abschlussarbeit befasst sich mit der Anwendung von adversarialer Multi-Agent-Verstärkungslernens in der modellbasierten Systemtechnik für die Entwicklung fehlertoleranter Designs. Das Ziel der Forschung ist es, die Vor- und Nachteile dieser Ansätze und verschiedener Eingangsmodelle zu untersuchen. Die Arbeit umfasst sowohl Literaturrecherche als auch Implementierung in Python. Die Abschlussarbeit eignet sich für Studierende, die versiert in Python sind und die Anwendbarkeit künstlicher Intelligenz im Engineering-Prozess untersuchen möchten.

Aufgabenstellung

Die genauen Aufgaben sind Gegenstand der Diskussion und hängen vom Umfang der Abschlussarbeit ab, aber die meisten Abschlussarbeiten sollten einige Programmieraufgaben in Python beinhalten. Hier sind einige Beispiele für Aufgaben:

Aufgabe 1: Auswahl von Eingangsmodellen
- Identifizieren Sie ein oder mehrere Eingangsmodelle, die verwendet werden sollen.

Aufgabe 2: Parsen und Erstellen von System- und Spielobjekten
- Erstellen Sie einen Parser, um relevante Parameter aus den Eingangsmodellen zu extrahieren.
- Entwickeln Sie Spielobjekte, die in Verbindung mit der PettingZoo-Trainingsumgebung verwendet werden können.
- Automatisieren Sie das Spieldesign, um die Erstellung neuer Umgebungen und Spielobjekte zu optimieren.

Aufgabe 3: Auswahl und Implementierung eines Trainingsalgorithmus
- Wählen Sie einen Verstärkungslernalgorithmus, der für die Aufgabe geeignet ist.
- Implementieren Sie den Algorithmus.
- Trainieren Sie den Algorithmus mithilfe der erstellten Umgebungen.

Aufgabe 4: Bewertung der Ergebnisse
- Bewertung der Leistung der trainierten Modelle.
- Analysieren Sie die Ergebnisse, um die Effektivität zu bestimmen.

Aufgabe 5: Spezialisierung
- Wählen Sie eine Spezialisierung aus, die näher untersucht werden soll.

Aufgabe 6: Literaturrecherche
- Führen Sie eine umfassende Literaturrecherche zu Verstärkungslernen, Spielumgebungen und allen relevanten Themen durch.

Vorkenntnisse

Python, objektorientierte Programmierung.
Solide mathematische Grundlagen.
Erfahrung mit Systemmodellierung bevorzugt.
Versiert in Englisch.

Ansprechpartner

Joachim Grimstad

Untersuchung von Hybriden-Modellierungsansätzen zur Bestimmung der Restlebensdauer

Themenfeld

Die Anforderungen an Elektronik in Bezug auf die Verlängerung der Wartungs-intervalle und die Lebensdauer steigen. Für die Erfüllung dieser Anforderungen ist eine sehr gute Kenntnis aller beeinflussenden Faktoren notwendig. Die Zusammenhänge sind dabei für den Menschen nur schwer zu entdecken und herzustellen, weshalb Machine Learning eingesetzt werden soll.

Aufgabenstellung

Literaturrecherche über die bisherige Verwendung von Hybriden Modellen zur Lebensdauervorhersage in der Literatur
Konzeption einer beispielhaften Anwendung
Prototypische Umsetzung

Vorkenntnisse

Vorlesung TMS2 und ZSA
Selbstständiges Arbeiten
Gute Deutschkenntnisse
Gute Englischkenntnisse

Ansprechpartner

Maurice Artelt

Reinforcement-Learning für die intelligente Generierung von diskreten Fertigungs-Services

Themenfeld

Im Kontext von Industrie 4.0 ist eine hohe Individualisierung der Produktion gefordert, diese Produktion wird zukünftig immer mehr mit Hilfe sogenannter Cyber-Physischer Produktionssysteme (CPPS) realisiert. Durch den verstärkten Bedarf kleine Losgrößen zu realisieren und die Unmöglichkeit der Vorhersage aller Ziele eines Systems zur Entwicklungszeit kommt der Rekonfiguration von CPPS eine immer größere Bedeutung zu.

Aufgabenstellung

- Einarbeitung in das Forschungsthema des Betreuers (Rekonfigurationsmanagement von CPPS) sowie in das Reinforcement-Learning.
- Entwicklung eines Reinforcement Learning-Verfahrens zur intelligenten Generierung von diskreten Fertigungs-Services für Cyber-Physische Produktionsmodule.
- Falls nötig, Definition einer geeigneteren HW/SW-Struktur.
- Implementierung und Integration in das bestehende CPPS.

Vorkenntnisse

- Sehr gute Kenntnisse im KI-Bereich (RL von Vorteil)
- Selbstständiges, wissenschaftliches Arbeiten
- Sehr gute Mathe- und Programmier-Kenntnisse
- Gute Deutsch- und Englischkenntnisse

Ansprechpartner

Daniel Dittler

Security-Bot — Entwicklung einer Cybersecurity-Analyse mit Heuristiken und maschinellem Lernen

Themenfeld

Sicherheitslücken aufgrund von Fehlern in cyber-physischen Systemen haben weitreichende Konsequenzen, einschließlich physischer Schäden. Ein Schwerpunkt des IAS besteht darin, herauszufinden, wie Cybersicherheit in solchen cyber-physischen Systemen zuverlässig und effizient erreicht werden kann.

Aufgabenstellung

Eine Werkzeug-Umgebung für Cybersecurity Analyse und Grey-Box Penetration-Test soll entwickelt werden. Dazu wird halb-automatisch eine TARA anhand von Architektur- und Design-Eigenschaften erstellt. Aus den Risiko-Punkten, z.B. Schnittstellen, SW-Komponenten, etc. werden mit einem Bot halbautomatisch Testfälle abgeleitet, die anhand von KPI für Effizienz und Wirksamkeit optimiert werden.

Vorkenntnisse

Vorlesung SER
Cybersecurity Kenntnisse
Selbstständiges Arbeiten
Englischkenntnisse: Die MT wird in englischer Sprache geschrieben.

Ansprechpartner

Simon Kamm