Qualitätssicherung in Zeiten der KI
Die KI definiert die Rolle der IT-Qualitätssicherung neu, bestätigt aber deren Wichtigkeit und eröffnet viele neue Möglichkeiten.
Die KI-Revolution läuft, und wie bei jeder Revolution wird bisher Bestehendes hinterfragt und Neues geschaffen. Von der Ablöse des Mainframes über die Internet-Welle bis zu agilen Methoden und immer leistungsfähigeren Tools: In der IT sind wir an disruptive Veränderungen gewöhnt, auch in der IT-Qualitätssicherung. Daher sind folgende Fragen relevant:
- Welche Herausforderungen an die IT-Qualitätssicherung bringt die KI mit sich?
- Wie begegnet man am besten diesen neuen Herausforderungen?
- Inwiefern ändert sich die Rolle der IT-Qualitätssicherung?
- Welche neuen Möglichkeiten eröffnen sich?
Da die KI ein breites fachliches Feld darstellt, werden in diesem Fachartikel die wesentlichsten aktuellen Erkenntnisse zusammengefasst.
Herausforderungen an die IT-Qualitätssicherung durch die KI
Folgende Frage bringt die Haupt-Herausforderung auf einen Punkt: „Würden Sie eine Software, die von Nicht-Entwicklern nur mit Vibe Coding mit KI entwickelt und ohne menschliches QS-Zutun durch KI getestet worden ist, für den Betrieb freigeben und in Betrieb nehmen?“ Stellen Sie sich vor, es handelt sich um eine App mit mehreren Millionen User:innen!
In obiger Frage spiegelt sich die aktuelle Diskrepanz wieder: Auf der einen Seite versprechen
KI-Tools, Agenten, Agententeams und Coding-Agents massiven Produktivitäts- und Geschwindigkeitszuwachs, auf der anderen Seite sind neue Regulatoriken wie z.B. der EU AI-Act zu berücksichtigen und es wird betont, wie wichtig es sei, dass der Mensch, der ja nach wie vor die Verantwortung trägt, als Human-in-the-Loop die Letztentscheidung zu treffen hat – und das möglichst rasch.
Dazu kommt, dass auch die KI nicht fehlerlos Software entwickelt, nicht fehlerlos testet und sich – unkontrolliert – in eine nicht gewünschte Richtung verselbständigen kann. Zusätzlich machen Systeme zur Mustererkennung und selbstlernende Ansätze grundlegend neue Testmethoden und Werkzeuge erforderlich, die den Fokus stärker auf die zugrunde liegenden Daten legen.
Die neue Rolle der IT-Qualitätssicherung
Die IT-Qualitätssicherung muss sich diesen neuen Herausforderungen stellen.
Dies gelingt am besten, wenn auch die gesamte Bandbreite erkannt und berücksichtigt wird:
Den neuen regulatorischen Anforderungen begegnet man am besten mit einem organisatorisch anpassbaren AI Governance-Framework, KI-Gremien, KI-Rollen und Auditvorbereitungen.
Der bisherige Testbetrieb wird durch geeignete und vorher auf Tauglichkeit getestete KI-Tools unterstützt. Dabei ist zu beachten, dass nach wie vor die End-To-End Qualitätssicherung bis hin zum Betrieb berücksichtigt wird. Darüber hinaus müssen Tools zur Verfügung stehen, die durch Benchmarks und Visualisierung rasche menschliche Checks und Entscheidungen unterstützen, die weiterhin nicht an Aktualität verlieren: Wurden genug Testfälle erstellt? Ist die Testüberdeckung ausreichend? Gibt es einen Testfall zu Requirement XY? Wie wurde das Regressions-Testset ermittelt? Ist der aktuelle Automatisierungsgrad hoch genug? Gibt es Testfälle, die nicht automatisierbar sind und manuell durchgeführt werden müssen?
Für bisher bestehende Rollen wie z. B. Projekt-, Testmanager:innen oder Testanalytiker:innen bedeutet der KI-Tsunami auch die rasche, effiziente und regelkonforme Anwendung von KI und das Erlernen von KI-Techniken wie Prompt Engineering im Testbetrieb, wie es z.B. im ISTQB CT-GenAI-Syllabus gelehrt wird.
Der Testbetrieb von KI-Systemen erfordert spezielle KI-QS-Rollen, deren Knowhow aufgebaut werden muss. Dies eröffnet völlig neue individuelle Entwicklungsmöglichkeiten entlang einer großen Bandbreite: Vom Daten-orientierten Test der Data Pipeline, der ISTQB CT-AI konformen QS des KI-Systems an sich mit neuen Methoden wie LIME, metamorphem Testen, Analyse von Systementscheidungen (Explainability), dazugehörenden Tools, dem technischen Check der Infrastruktur auf KI-Tauglichkeit bis hin zur QS von IT-Agenten und eigener Verwendung technischer Tools wie Coding-Agents.
Dies eröffnet eine neue QS-Welt, die neue Wege erfordert, aber auch Bestehendem seinen Platz lässt: So haben beispielsweise automatisierte Regressionstests im Zusammenhang mit selbstlernenden Systemen noch immer ihre Berechtigung, wenn es darum geht, zu bestimmen, ob sich das System bereits außerhalb gewünschter Schranken befindet, oder ob das Regressionstestset um neue Testfälle ergänzt werden sollte.
Auch in dieser neuen Welt spielen Benchmarks, Monitoring, Berichtswesen, enge Zusammenarbeit von QS und Betrieb sowie rasche Eingriffs- und Korrekturmöglichkeiten im Sinne eines effizienten operativen Risikomanagements eine immens wichtige Rolle.
Zu guter Letzt: Die KI-Transformation im QS-Bereich eines Unternehmens sollte durch professionelle KI QS Consultants unterstützt werden, die sowohl das bisherige IT QS-Handwerk beherrschen als auch Überblick und Erfahrung mit der neuen KI QS-Welt mitbringen.
Damit auch in Zukunft die IT-Systeme zum Nutzen von uns Menschen funktionieren.
Autor
Dr. Robert Vogler, Principal Consultant bei Expleo Group Austria
Mit langjähriger Erfahrung als Senior IT‑Consultant in IT‑Projekt‑, Qualitäts‑ und Testmanagement begleitete er zahlreiche Großprojekte, technologische Transformationen und missionskritische Releases.
Aktuell unterstützt er die KI‑Transformation in Unternehmen mit Schwerpunkten auf KI‑Governance, KI‑Projektmanagement und KI‑Qualitätssicherung.