Arbeitspakete und Aufgaben
Überblick
- Anforderungsanalyse mit Studierenden
- Konzeption formativer Evaluationsinstrumente aus Studierendensicht
- Konzeption der Anwendungsarchitektur
- Konzeption der Benutzeroberfläche
- Implementierung des Backends
- Implementierung der Frontends
- Anbindung an hochschuleigene Authentifizierungsdienste
- Formative Evaluation des StudyBuddy mit Studierenden
- Anforderungsanalyse mittels ausgewählter Prüfungsordnungen und Modulhandbücher
- Extraktion der Regeln aus Prüfungsordnungen und Modulhandbüchern
- Modellierung der Regeln der Prüfungsordnung
- Implementierung eines Modellierungseditors für Studiengangsdesigner*innen
- Erweiterung der Modellierung um Präferenzen
- Erzeugung von Vorschlägen für Studierende
- Schnittstelle zu StudyBuddy
- Erweiterung des Modellierungseditor und Integration in BuddyAnalytics
- Erfassung der projektrelevanten, verfügbaren Daten und Identifikation personenbezogener Daten
- Ermittlung der rechtlichen Zugriffsmöglichkeiten im Rahmen des Forschungsprojekts
- Ermittlung der rechtlichen Zugriffsmöglichkeiten für einen Regelbetrieb
- Konstruktive, ethische Folgenbewertung zum Überwachungs- und Kontrollpotential
- Entwicklung des Referenzmodells
- Konzeption eines Datenschutzkonzepts
- Administrative Umsetzung des Referenzmodells
- NRW-Clearingstelle
- Aufsetzen des Datawarehouse
- Konzeption einer performanten, modularen Analyseinfrastruktur
- Konzeption einer Ergebnisdatenbank
- Konzeption des Zugriffsmanagements
- Implementierung der Datenschutzverwaltung
- Implementierung der Analyseinfrastruktur
- Aufsetzen der Ergebnisdatenbank
- Implementierung der Zugrifssschnittstelle auf die Ergebnisdatenbank
- Implementierung des Zugriffsmanagements
- Evaluation der Gesamtarchitektur
- Aufbereitung der Daten
- Konzeption der Datenanalyse
- Implementierung der Datenanalyse
- Visualisierung der Ergebnisse
- Entwicklung eines Empfehlungsmodells
- Implementierung des Empfehlungsmodells
- Anforderungsanalyse mit Studiengangsdesigner*innen
- Konzeption formativer Evaluationsinstrumente aus Sicht von Studiengangsdesigner*innen
- Konzeption der Logging-Komponente
- Konzeption des BuddyAnalytics Dashboards
- Implementierung der Logging-Komponente
- Implementierung des BuddyAnalytics Dashboards
- Formative Evaluation mit Studiengangsdesigner*innen
- Integration des Modellierungseditors für Prüfungsordnungen
- Konzeption der Transformation von Process Mining Modellen in logische Regeln
- Konzeption der Erweiterung von Process Mining Techniken um ILP
- Implementierung der Überführung von Process Mining Modellen in logische Regeln
- Implementierung des erweiterten Process Mining Models
- Erweiterung der Empfehlungsmodelle
- Integration der KI-basierten Empfehlungen in StudyBuddy
- Reflektion der Analyse, Aufbereitung und Darstellung der KI-basierten Empfehlungen
Nutzer*innenzentrierte Gestaltung und Entwicklung des StudyBuddy für Studierende
Auf Basis einer Anforderungsanalyse wird der StudyBuddy konzipiert und entwickelt. Dabei steht die nutzer*innenzentrierte, iterative Arbeitsweise im Fokus, um Erkenntnisse und Feedback aus den formativen Evaluationen (Didaktisches Design, Usability, Akzeptanz, Ethik und Wirksamkeit) im Einsatz mit den Zielgruppen unmittelbar in den Entwicklungsprozess zu integrieren.
An diesem Arbeitspaket wirken mit:
- Lead: Arbeitsbereich Educational Data Science (RUB)
- Lead: Lehr- und Forschungsbereich Lerntechnologien (RWTH)
- Lehrstuhl für Ethik der digitalen Methoden und Techniken (RUB)
- Wuppertaler Institut für bildungsökonomische Forschung (BUW)
Zur nutzer*innenzentrierten Entwicklung wurde eine umfassende Anforderungsanalyse mit Studierenden und Studiendesigner*innen durchgeführt werden welche funktionale sowie nicht-funktionale Anforderungen ermittelte. Dazu gehörten auch didaktische und akzeptanzbezogene Anforderungen sowie die Erfassung der aus Studierendensicht relevanten ethischen Aspekte für eine vertrauenswürdige Implementierung. Der resultierende Anforderungskatalog dient in agilen Entwicklungszyklen als Grundlage und wird unter Einbezug formativer Evaluationen kontinuierlich angepasst.
Es wurden Indikatoren zur Evaluierung des StudyBuddy entwickelt. Dies beinhaltete die Konzeption der relevanten ethischen Evaluationsbegriffe aus Studierendenperspektive, insbesondere zur Diversität, zum Schutz der Privatheit, zur Stärkung von Studierenden-Autonomie sowie zur Vermeidung einer vorauseilenden Anpassung des eignen „Daten-Double“ durch Studierende. Ebenso fand eine Konzeption der relevanten didaktischen Evaluationskriterien aus der und für die Studierendenperspektive, insbesondere zur Effektivität und Akzeptanz von StudyBuddy, statt.
Zur Umsetzung des StudyBuddy wird die Anwendungsarchitektur in Form eines modularen, skalierbaren Backends mit eigens entwickelten Datenmodell und REST-API konzipiert. Der Funktionsumfang wird entsprechend des Anforderungskatalogs konzipiert und zielt auf iterative Erweiterbarkeit. Die Anbindung externer Dienste und Komponenten wird durch offene Schnittstellen im Konzept verankert.
Die grundlegende Benutzeroberfläche des StudyBuddy wird unter Berücksichtigung des Anforderungskatalogs konzipiert. Mittels UI Prototyping soll unter Einbezug von Studierenden eine leicht bedienbare, moderne Benutzeroberfläche entworfen werden, die entsprechende Funktionalitäten zur Planung und Reflexion des Studienverlaufs sowie die Bereitstellung von KI-basierten Empfehlungen ermöglicht.
Basierend auf dem Konzept der Anwendungsarchitektur wird das Backend mittels eines webbasierten Software-Stacks implementiert. Dabei wird das entworfene Datenmodell angelegt und eine Datenbankschnittstelle implementiert. Eine offene REST-API dient zur Anbindung eines Frontends und externer Dienste (z.B. Hochschulsysteme). Umfassende, regelmäßige Funktionstests sichern die korrekte Umsetzung des Backends und ermöglichen bedarfsgerechte Anpassungen und Optimierungen.
Anhand evaluierter UI Prototypen wird das Frontend in mehreren Entwicklungszyklen implementiert und optimiert. Über eine clientseitige Servicekomponente wird das Frontend an die REST-API des Backends angeschlossen. Ergebnisse der formativen Evaluationen fließen unmittelbar in die Entwicklungszyklen ein und ermöglichen so eine nutzerzentrierte Gestaltung des StudyBuddy.
Damit Studierende den StudyBuddy unmittelbar als Service der Universität auffassen und nutzen können, wird eine Anbindung an die hochschuleigenen Authentifizierungsdienste entwickelt. Authentifizierungsdienste wie Shibboleth ermöglichen die Verwendung eindeutiger universitätsweiter Benutzerkennungen mit denen Studierende auf verschiedene Hochschulsysteme zugreifen können.
Die Effekte des Einsatzes von StudyBuddy erfolgt entlang der entwickelten, auch partizipativen Evaluationsinstrumente. Dabei soll der StudyBuddy möglichst nicht nur deskriptiv, sondern auch aus didaktischer Perspektive evaluiert werden. Durch den Einsatz an drei Standorten in verschiedenen Fächern ist eine kausale Wirkungsanalyse das Ziel. Da nur durch Nachweis der Effektivität von StudyBuddy die Implementation auch an anderen Hochschulen empfohlen werden kann, kommt der Evaluation der verschiedenen Varianten von StudyBuddy eine große Bedeutung zu. Die Evaluation der Effekte wird nicht erst zum Ende des Projektzeitraums umgesetzt, sondern findet über den gesamten Zeitraum projektbegleitend statt und liefert damit konstant Input für eine Weiterentwicklung des Systems auch nach den Gesichtspunkten didaktisches Design, Usability, Akzeptanz, Ethik und Wirksamkeit.
Entwicklung von Modellen zur Studienverlaufsplanung mit regelbasierter KI-Technologie
Ausgewählte Prüfungsordnungen und Modulhandbücher werden modelliert und in ein regelbasiertes KI-System eingepflegt. Das KI-System mit den Modellen wird in den StudyBuddy integriert, um die regelbasierte Planung und Validierung von Studienplänen zu ermöglichen.
An diesem Arbeitspaket wirken mit:
- Lead: Lehr- und Forschungsbereich Wissensbasierte Systeme (RWTH)
- Lehr- und Forschungebiet Lerntechnologien (RWTH)
- Dezernat für Studium, Lehre und Qualitätsmanagement (BUW)
- Zentrum für Wissenschaftsdidaktik (RUB) mit den Fakultäten für Maschinenbau und Wirtschaftswissenschaften
Die Prüfungsordnungen und Modulhandbücher ausgewählter Studiengänge wurden analysiert, um die Anforderungen an das regelbasierte System bzw. den Solver zu ermitteln. Insbesondere wurde bestimmt, welche Arten der Regeln auftreten, und welche verfügbaren Tools die Anforderungen erfüllen und für eine Referenzimplementierung geeignet sind. Die in den Prüfungsordnungen und Modulhandbüchern vorkommenden Regeln wurden extrahiert und in informelle Wenn-Dann-Regeln umformuliert. Ziel war ein klares, der Prüfungsordnung entsprechendes Regelwerk, was im Folgeschritt modelliert werden konnte. Die Extraktion der Regeln wurde im Austausch mit Studiengangsdesigner*innen verifiziert, sodass die vollständigen Prüfungsordnungen modelliert werden konnten.
Die extrahierten Regeln wurden modelliert und werden getestet. Dabei wurde die Modellierung auf Korrektheit und Performanz untersucht. Alternative Modellierungsansätze werden auf ihre Performanz und Erweiterbarkeit überprüft und verglichen. Der Fokus liegt dabei auf den harten Regeln der Prüfungsordnungen, eventuelle Präferenzen der Studierenden werden zunächst nicht berücksichtigt.
Die Implementierung wird um einen Modellierungseditor erweitert, der die Anpassung der Modellierung für Nutzer*innen ohne Fachkenntnisse des regelbasierten Systems ermöglicht. Der Editor soll es insbesondere Studiengangsdesigner*innen ermöglichen, Änderungen der Prüfungsordnung in die Modellierung zu übertragen und aufbauend auf existierenden Modellen neue Studiengänge zu modellieren.
Die bisher auf die Prüfungsordnung beschränkte Modellierung soll so erweitert werden, dass Präferenzen der Studierenden berücksichtigt werden können. Dabei müssen ein geeignetes Optimierungskriterium bzw. eine geeignete priorisierte Rangliste gefunden werden, welche Studierenden erlaubt, ihre Präferenzen effektiv auszudrücken, ohne die Regeln der Prüfungsordnung zu verletzen. Gleichzeitig sollen auch den Studiengangsdesigner*innen bekannte Präferenzen der Studierenden ergänzt und in die Modellierung aufgenommen werden.
Aufbauend auf der Modellierung von Regeln und Präferenzen sollen Vorschläge und Feedback für Studierende generiert werden, zum Beispiel welche Fächer als nächstes belegt werden sollten, und ob eventuelle Probleme in der Fächerbelegung auftreten könnten. Ausgehend von der Modellierung der Prüfungsordnungen gibt es dabei Verletzungen der Prüfungsordnung und aber auch Feedback zu nachteiligen Planungen auf Basis bekannter Präferenzen.
Die Implementierung wird um eine Schnittstelle zur Anbindung an StudyBuddy ergänzt. Dabei sollen Studierende ihre Planungen mittels der Modellierung verifizieren lassen können. Des Weiteren sollen die Studierenden ihre eigenen Präferenzen über die Schnittstelle angeben können und die Vorschläge aus abrufen können um ihre Planungen zu optimieren. Der Modellierungseditor wird erweitert, sodass Studiengangsdesigner*innen ihre Präferenzen und Erfahrungswerte in Form von Präferenzregeln in die Modellierung übernehmen können.
Datensammlung/Datenfreigabe zur Etablierung des Referenzmodells
Technisch verfügbare Daten werden erfasst, rechtliche Zugriffsmöglichkeiten ermittelt und abgesichert und die Relevanz für angestrebte Analysen bestimmt. Auf dieser Basis werden das Referenzmodell zum KI-basierten Studienmonitoring entwickelt, eine NRW-Clearingstelle für die hochschulübergreifende Zusammenführung der Daten sondiert und die Technikfolgen abgeschätzt.
An diesem Arbeitspaket wirken mit:
- Lead: Dezernat für Studium, Lehre und Qualitätsmanagement (BUW)
- Lead: Lehrstuhl für Ethik der digitalen Methoden und Techniken (RUB)
- Center für Lehr- und Lernservices (RWTH)
- Lehrstuhl für Process and Data Science (RWTH)
- Zentrum für Wissenschaftsdidaktik (RUB) mit den IT.Services
An jedem Kooperationsstandort wurden alle zugänglichen Datenquellen erfasst, die studienverlaufsbezogenen Informationen enthalten. Es wurde ein detaillierter Katalog angelegt, der verantwortliche Stellen, Ansprechpartner, verwendete Datenmodelle und vorhandene Schnittstellen auflistet. Die vorhandenen Daten wurden hinsichtlich ihrer Projektrelevanz bewertet und personenbezogenen Daten wurden identifiziert.
Mit den verantwortlichen Stellen wird geklärt unter welchen Bedingungen auf die projektrelevanten Daten zugegriffen werden kann. Dabei wird zwischen einem ersten Zugriff im Rahmen des Forschungsprojekts und einem späteren Zugriff im Regelbetrieb unterschieden. Hindernisse werden erfasst und mögliche Maßnahmen zur Ermöglichung des Datenzugriffs ausgearbeitet.
Auf Basis des implementierten Forschungszugriffs werden mit den verantwortlichen Stellen Maßnahmen entwickelt, die einen Zugriff auf die projektbezogenen Daten auch während eines Regelbetriebs erlauben. Dabei werden die jeweiligen Zwecke der Datenerhebung der Datenquellen zugrunde gelegt.
Über Ansätze einer konstruktiven, ethischen Technikfolgenabschätzung soll zum einen das erhebliche Überwachungs- und Kontrollpotenzial der Datennutzung durch den StudyBuddy kritisch reflektiert werden. Hierzu gehören insb. auch bereits bestehende und potentiell neu entstehende Informations-Asymmetrien zwischen Studierenden, Studienberater*innen, Studiengangsdesigner*innen und Universität. Zum anderen werden Möglichkeiten zur Minimierung entsprechender Risiken erarbeitet und Potentiale für eine vertrauenswürdige Umsetzung identifiziert werden. Dies soll als Input für die Gestaltung des Referenzmodells bereitgestellt werden. Zur Zusammenführung der Daten verschiedener Hochschulen und deren Systeme wird ein einheitliches Datenmodell definiert und ein Datawarehouse konzeptioniert, das die Daten aufnehmen, verwalten und für die weitere Verarbeitung bereitstellen kann.
Um die Kontrolle über die eigenen Daten durch die Nutzer*innen im Regelbetrieb zu gewährleisten, wird ein Datenschutzkonzept erarbeitet, welches die Einwilligungen der Nutzer*innen einholt und nach gesetzlichen Vorgaben auf Änderungen reagiert. Es wird ein Verfahren konzipiert, wie die Daten der Nutzer*innen pseudonymisiert verarbeitet werden können, derart, dass ein späteres Löschen nutzer*innenbezogener Daten möglich sein wird.
Die administrativen Prozesse der Datensammlung zur Umsetzung des Referenzmodells werden formuliert und implementiert. Fehlende Schnittstellen zu den projektrelevanten Datenquellen werden implementiert, um den Datentransfer in das Datawarehouse zu ermöglichen. Eine NRW-Clearingstelle für die hochschulübergreifende Zusammenführung von Studiendaten wird konzeptioniert und sondiert.
Entwicklung einer Referenzarchitektur für KI-gestütztes Studienmonitoring
Auf Basis des entwickelten Referenzmodells wird eine Referenzarchitektur implementiert, die an einer zentralen Stelle Daten verschiedener Hochschulen entgegennimmt, analysiert und die Ergebnisse zum Abruf bereitstellt. Über die Identifikation von Schnittstellen und ein Rechtemanagement wird die Steuerung von Datenschutz und Zugriffsrechten gewährleistet.
An diesem Arbeitspaket wirken mit:
- Lead: Center für Lehr- und Lernservices (RWTH)
- Lead: Lehr- und Forschungsgebiet Lerntechnologien (RWTH)
- Dezernat für Studium, Lehre und Qualitätsmanagement (BUW)
- Lehrstuhl für Ethik der digitalen Methoden und Techniken (RUB)
- Lehrstuhl für Process and Data Science (RWTH)
- Zentrum für Wissenschaftsdidaktik (RUB)
Auf Basis des definierten Referenzmodells wird ein Datawarehouse aufgesetzt, welches das Modell wiedergeben kann. Mit den erarbeiteten Datenquellen und -typen wird ein einheitliches Datenformat definiert, in dem die Daten in das Datawarehouse überführt werden.
Über eine interne Schnittstelle werden die gesammelten Daten aus dem Datawarehouse ausgelesen und einer modularen Analyseinfrastruktur übergeben. Diese führt einzelne Analysemodule aus. Während Basismodule die Rohdaten aufnehmen, bei Bedarf bereinigen und für weitere Analysen aufbereiten, sollen weiterführende Module diese Aufbereitungen aufnehmen und komplexere Analysen durchführen. Dabei wird sowohl bei der übergreifenden Infrastruktur als auch bei den einzelnen Modulen auf eine gute Performance in Form von Rechenzeit und Speicherkomplexität geachtet. Dabei sollen auch Analysen identifiziert werden, welche pro-aktiv durchgeführt werden können, um die Serverauslastung zusätzlich zu reduzieren.
Um einen performanten Zugriff auf Analyseergebnisse zu ermöglichen, soll eine Ergebnisdatenbank konzeptioniert werden, welche die Ergebnisse proaktiv durchgeführter Analysen für den Abruf durch die Nutzer bereitstellt. Dafür werden die individuellen Anforderungen der Analysemodule zusammengetragen, ein geeigneter Datenbanktyp bestimmt und unter den möglichen Lösungen die passendste ausgewählt.
Damit nur autorisierte Systeme Daten in der Referenzarchitektur speichern und Ergebnisse abrufen können, wird ein Modul zur Verwaltung dieser Zugriffsrechte konzeptioniert. Dabei sollen auch relevante Überlegungen zu Datenschutz und ethischen Aspekten berücksichtigt werden.
Basierend auf dem Datenschutzkonzept wird ein Softwaremodul implementiert, das die definierten Aufgaben übernimmt. Es verwaltet die Einverständniserklärungen der Nutzer*innen und dient als Schnittstelle für Anfragen über Datenauskunft oder -löschung. Die IDs und Pseudonyme verschiedener Hochschulsysteme für einzelne Nutzer*innen werden zusammengeführt und angeglichen, sodass Daten Nutzer*innen bzw. Pseudonymen systemübergreifend zugeordnet werden können, was systemübergreifende Analysen ermöglicht.
Zunächst wird die übergreifende Analyseinfrastruktur implementiert, welche abgerufene Rohdaten aus Datawarehouse sowie aufbereitete Daten der Basisanalysemodule den einzelnen Analysemodulen nach deren Bedarf übergibt. Anschließend werden die einzelnen Basis- und weiterführenden
Analysemodule implementiert. Die Modularität der Analysen ermöglicht das schnelle Implementieren mehrerer Prototypen, welche durch Tests schnell miteinander in Bezug auf die Performance getestet werden können, um so die geeignetste Implementierung für eine Analyse zu bestimmen.
Eine Datenbank zur Speicherung der Analyseergebnisse wird aufgesetzt.
Da nicht jede Plattform eine eigene Direktverbindung zur Ergebnisdatenbank aufbauen muss und um die Zugriffe zu authentifizieren, wird eine web-basierte REST-API implementiert, die Anfragen an die Ergebnisdatenbank entgegennimmt. Diese wird mit dem Zugriffsmanagement verbunden und erlaubt durch Filter und weiterführende Optionen REST-Schnittstelle eine nutzerfreundlichere Implementierung von verschiedenen Dashboards.
Anhand des erarbeiteten Konzepts wird das Modul zum Zugriffsmanagement implementiert.
Mit der Implementierung jeder Komponente oder nach Anpassungen soll die Gesamtarchitektur evaluiert werden. Dazu sollen einerseits Integrationstest durchgeführt werden, welche das korrekte Zusammenwirken der Komponenten sicherstellen, als auch mit Testdaten der Gesamtprozess durchgeführt und potentielle Flaschenhälse in Bezug auf die Laufzeit identifiziert werden.
Entwicklung der Kohortenverfolgung unter Einsatz des Process Mining
Mittels datenbasierter KI-Technologie (insb. Process Mining) wird Kohortenverfolgung auf Daten der Hochschulsysteme implementiert und die Ergebnisse unter Berücksichtigung der Fragestellungen von Studiengangsdesignern zielgruppengerecht aufbereitet.
An diesem Arbeitspaket wirken mit:
- Lead: Lehrstuhl für Process and Data Science (RWTH)
- Lehr- und Forschungsgebiet Lerntechnologien (RWTH)
Die im Basisanalysemodul aufbereiteten Daten werden in einem ersten Schritt für die verschiedenen Process Mining Analysen angepasst. Dabei müssen je nach Analyse die Daten in ein anderes Format übertragen werden oder sind andere Kombinationen von Daten notwendig. Verschiedene Aspekte der Daten stehen hier im Fokus.
Die für die Kohortenverfolgung (konkret die Metaanalyse und die Studienpfadanalyse) benötigten Analyseschritte werden bestimmt und geeignete Algorithmen ausgewählt. Anpassungen an die Algorithmen müssen vorgenommen werden um insbesondere die Parallelität und die mögliche Lebenszyklusinformationen passend abzubilden. Zusätzlich wird bestimmt, wie die Ergebnisse den einzelnen Stakeholdern geeignet visuell präsentiert werden können. Diese Algorithmen werden in einem iterativen Prozess implementiert, der Output und die Performance mit Testdaten evaluiert und der Algorithmus und seine Implementierung bei Bedarf angepasst.
Für das Frontend des StudyBuddy werden eigenständige Modulkomponenten implementiert, welche die Visualisierungen der Kohortenverfolgung umsetzen. Die modulare Implementierung ermöglicht die Integration in weitere Dashboards.
Zusätzlich zur Darstellung und auf Basis bereits erfolgter Studienverläufe wird ein Modell zur Vorhersage des weiteren Studienverlaufs von Studierenden erarbeitet. Dazu wird die benötigte Datengrundlage bestimmt, Algorithmen definiert und das Ausgabeformat festgelegt.
Das Empfehlungsmodell wird implementiert. Dies wird iterativ erfolgen und das Modell nach jeder Iteration mit definierten Trainings- und Testdaten evaluiert.
Nutzer*innenzentrierte Gestaltung und Entwicklung der BuddyAnalytics für Studiengangsdesigner*innen
Das Interaktionsverhalten wird im StudyBuddy erfasst, aufbereitet und in die datenbasierte KI-Technologie eingebunden, um für evidenzbasiertes Curriculumsdesign Kennzahlen zu entwickeln und die Analyseergebnisse visuell aufbereitet in einem interaktiven Dashboard integrieren.
An diesem Arbeitspaket wirken mit:
- Lead: Lehr- und Forschungsgebiet Lerntechnologien (RWTH)
- Lead: Wuppertaler Institut für bildungsökonomische Forschung (BUW)
- Arbeitsbereich Educational Data Science (RUB)
- Dezernat für Studium, Lehre und Qualitätsmanagement (BUW)
- Lehrstuhl für Ethik der digitalen Methoden und Techniken (RUB)
- Lehrstuhl für Process and Data Science (RWTH)
- Lehr- und Forschungsbereich Wissensbasierte Systeme (RWTH)
- Zentrum für Wissenschaftsdidaktik (RUB)
Zur Analyse des Interaktionsverhalten im StudyBuddy soll BuddyAnalytics unterschiedliche Kennzahlen und Indikatoren in Form eines Dashboards für Studiengangsdesigner*innen zugänglich machen. In einer Anforderungsanalyse mit den Studiengangsdesigner*innen soll ermittelt werden, welche Informationen im Dashboard u.a. aus didaktischer Sicht visualisiert werden sollen und darüber hinaus welche funktionalen und nicht-funktionalen (ggf. auch ethischen) Anforderungen zu berücksichtigen sind. Es werden aus BuddyAnalytics Kennzahlen entwickelt, die sich eignen, um Studiengangsdesigner*innen zu unterstützen. Dazu werden die Ergebnisse aus BuddyAnalytics geeignet und einem didaktischen Design folgend aggregiert und aufbereitet. Dies geschieht im Dialog mit Studiengangsdesigner*innen, um BuddyAnalytics, bzw. die steuerungsrelevanten Kennzahlen, während der Projektlaufzeit kontinuierlich weiterzuentwickeln. Besonders interessant sind dabei mögliche Anpassungen in den Studiengängen schon während der Projektlaufzeit, um nicht nur normale Variationen im Zeitverlauf, sondern auch Veränderungen von Studienverläufen durch Anpassungen in den Studiengängen zu erfassen. Dazu bedarf es einer engen Kommunikation mit den Studiengangverantwortlichen. Aus ethischer Sicht sollen Begriffsinstrumente zur Klärung von impliziten und gewünschten Verantwortlichkeiten entwickelt werden, die sich für Interventionen in Studiengangsdesign, ggf. dann aber auch im Rahmen der Studienberatung, aus BuddyAnalytics ergeben.
Basierend auf dem Datenmodell des StudyBuddy wird die modulare Logging-Komponente konzipiert und Schnittstellen innerhalb der StudyBuddy Architektur identifiziert um die Logging-Komponente entsprechend einzubinden. Auf Grundlage der Anforderungsanalyse wird mittels UI Prototyping die Benutzeroberfläche des BuddyAnalytics Dashboards entworfen. Hierfür werden unterschiedliche Visualisierungsformen verglichen und die Interaktionsformen mit dem Dashboard ausgestaltet.
Auf Basis des entworfenen Konzepts wird die Logging-Komponente implementiert und anschließend in den StudyBuddy integriert. Zudem wird eine Anbindung an die Referenzarchitektur implementiert, um die Logdaten des StudyBuddy in die KI-basierten Analysen einzuspeisen und Analyseergebnisse zur Darstellung im Dashboard abzugreifen. Das BuddyAnalytics Dashboard wird auf Basis des zuvor entworfenen Konzepts inkl. UI Prototypen implementiert und in iterativen Entwicklungszyklen mit Ergebnissen der formativen Evaluation für den Einsatz mit Studiengangsdesigner*innen optimiert.
Die Studiengangsdesigner*innen werden in die Entwicklung der Kennzahlen eingebunden. Dies geschieht durch regelmäßigen Dialog aber auch durch Befragungen der Studiengangsdesigner*innen. Dabei ist der praktische Wert, die didaktische Einbindung und auch die Akzeptanz und Effektivität von BuddyAnalytics für den Einsatz an den Hochschulen von großer Bedeutung. Aus ethischer Sicht werden hierbei insbesondere die sich hieraus ergebenden Verantwortlichkeiten für Interventionen in Studiengangsdesign, ggf. dann aber auch im Rahmen einer Studienberatung, reflektiert.
Der entwickelte Modellierungseditor für Prüfungsordnungen wird in Buddy-Analytics integriert, sodass für Studiengangsdesigner*innen die Möglichkeit geschaffen wird, Entscheidungen auf Basis des evidenzbasierten Curriculumsdesign zu erfassen und in die KI-basierte Modellierung einfließen zu lassen.
Analyse, Aufbereitung und Darstellung der KI-basierten Empfehlungen für den StudyBuddy
Zur Vereinigung von regel- und datenbasierten KI-Technologien werden die Ergebnisse des Process Mining analysiert und als Empfehlungen aufbereitet. Zur Einbindung in den StudyBuddy werden die Empfehlungen in die Modelle des regelbasierten KI-Systems integriert.
An diesem Arbeitspaket wirken mit:
- Lead: Lehr- und Forschungsbereich Wissensbasierte Systeme (RWTH)
- Lead: Lehrstuhl für Process and Data Science (RWTH)
- Arbeitsbereich Educational Data Science (RUB)
- Lehr- und Forschungsgebiet Lerntechnologien (RWTH)
- Lehrstuhl für Ethik der digitalen Methoden und Techniken (RUB)
- Wuppertaler Institut für bildungsökonomische Forschung (BUW)
Ein genereller Ansatz wird entwickelt um Process Mining Modelle in Regeln zu überführen. Dabei werden verschiedene Process Mining Modelle als mögliches Ausgangsmodell angesetzt.
Process Mining Modelle werden erweitert um ILP an spezifischen Stellen. Auch wird eine Konformitätsprüfung entwickelt um diese erweiterten Modelle auch in der Konformitätsprüfung verwenden zu können. Die Ergebnisse der Process Discovery werden in Regeln überführt, sodass das entwickelte Modell der regelbasierten KI mit tatsächlichen Studienverläufen verfeinert werden kann.
Das erweiterte Modell wird umgesetzt und insbesondere wird die Konformitätsprüfung erweitert um eine Prüfung des ILP. Die entwickelten Empfehlungsmodelle werden iterativ erweitert durch die bisherigen Ergebnisse und auf verschiedenen Test- und Trainingsdaten erprobt.
Die Empfehlungsmodelle zur Bereitstellung KI-basierter Empfehlungen für die Studienverlaufsplanung werden in StudyBuddy integriert. Aus ethischer sowie didaktischer Sicht soll die Aufbereitung und Darstellung der zusammengeführten KI-basierten Empfehlungen vor dem Hintergrund der in konzipierten Evaluationskonzepte reflektiert und entsprechende Hinweise zur Nutzung von Potentialen bzw. Minimierung von Risiken erarbeitet werden.