In diesem Artikel möchten wir über ein Projekt zur Bestandsaufnahme und Bewertung des Testprozesses im Rahmen eines Audits bei unserem Kunden berichten.

Zielstellung

Der Erfolg unseres Kunden basiert wesentlich auf der Qualität seiner Produkte, die entwicklungsbegleitende Qualitätssicherung ist unternehmenskritisch und von hoher Bedeutung. Um seinen Testprozess weiter zu verbessern, wollte unser Kunde eine Bestandsaufnahme und Bewertung des Testprozesses durchführen lassen, um auf dieser Grundlage sinnvolle Verbesserungsmöglichkeiten zu identifizieren und umzusetzen. Die Bewertung des Testprozesses sollte durch uns als externen und neutralen Partner in einem internen Audit durchgeführt werden. Basierend auf den Projektzielen haben wir unserem Kunden für dieses Vorhaben den Einsatz des TPI NEXT®-Modells empfohlen.

Über TPI NEXT®

Zweck der Testprozessverbesserung

Durch den Testprozess soll die Qualität der Produkte verbessert werden. Je besser der Testprozess ist, desto effektiver, effizienter und/oder schneller können die Produkte qualitätsgesichert werden. Die Qualität eines Produkts hängt somit von der Qualität der Entwicklungsprozesse ab – da kein Prozess perfekt ist, gibt es immer Möglichkeiten, besser zu werden.

Modelle zur Prozessverbesserung liefern ein standardisiertes Vorgehen zur Bewertung von Prozessen. Eine Prozessbewertung führt zu einer Bestimmung der Prozessreife, die wiederum eine Prozessverbesserung anregt. Modelle zur Testprozessverbesserung werden verwendet, um mehr Reife und Professionalität zu erreichen.

Übersicht

TPI NEXT® ist ein Modell zur Testprozessverbesserung. Es analysiert den Ist-Zustand eines Testprozesses und wird eingesetzt um die relativen Stärken und Schwächen des Testprozesses zu bestimmen. Es dient als Grundlage zur Diskussion und Festlegung spezifischer Ziele der Testprozessverbesserung und stellt einen Optimierungspfad zur Erfüllung dieser Ziele zur Verfügung.

Jeder Testprozess lässt sich in zusammenhänge Aspekte (die Kernbereiche) unterteilen, jeder Kernbereich kann einen unterschiedlichen Reifegrad (Initial, Kontrolliert, Effizient oder Optimierend) haben. Die Kombination der Kernbereiche bestimmt den Reifegrad des gesamten Testprozesses. Die Anforderungen für die Reifegrade der Kernbereiche werden über Kontrollpunkte definiert – ein Kernbereich hat einen bestimmten Reifegrad erreicht, wenn alle zugehörigen Kontrollpunkte erfüllt sind.

Das Modell ermöglicht eine schrittweise Verbesserung von niedrigen zu höheren Reifegraden. Jeder Verbesserungsschritt wird als eine Menge von Kontrollpunkten aus einem oder mehreren Kernbereichen dargestellt. Verbesserungsvorschläge und Enabler liefern Informationen, die einer Beschleunigung der Reifegraderhöhung dienen.

Kernbereiche

TPI NEXT umfasst 16 Kernbereiche, in ihrer Gesamtheit umfassen die Kernbereiche alle Aspekte eines Testprozesses. Sie werden in die Kategorien Stakeholderbeziehungen (Kernbereiche Engagement der Stakeholder, Grad der Beteiligung, Teststrategie, Testorganisation, Kommunikation und Berichterstattung), Testmanagement (Kernbereiche Testprozessmanagement, Kostenschätzung und Planung, Metriken, Fehlermanagement und Testwaremanagement) und Testkompetenz (Kernbereiche Methodisches Vorgehen, Professionalität der Tester, Testfalldesign, Testwerkzeuge und Testumgebung) gegliedert.

Kontrollpunkte

Die Kontrollpunkte sind die „Maßeinheiten“ von TPI NEXT. Ein Kontrollpunkt ist als Aussage formuliert, die bestätigt oder widerlegt werden kann (z.B. “Der Testplan ist mit dem Auftraggeber abgestimmt.”). Wenn die Aussage für einen Testprozess zutrifft und ausreichend belegt werden kann, ist der Kontrollpunkt erfüllt. Ein Kontrollpunkt bezieht sich immer auf einen Kernbereich und einen Reifegrad.

Testreifematrix

Die Testreifematrix liefert eine Übersicht aller Kernbereiche, Kontrollpunkte und jeweiliger Reifegrade. Die Kontrollpunkte sind dabei in einer festen Reihenfolge eingetragen. Das Ergebnis der Analyse eines Testprozesses wird anhand der Kontrollpunkte in der Testreifematrix dargestellt. Eine Testreifematrix kann mit einer früheren Testreifematrix verglichen werden, um den Fortschritt zu verdeutlichen.

Cluster

TPI NEXT ermöglicht eine schrittweise Verbesserung der Reifegrade. Ein Verbesserungsschritt wird als eine Gruppe von Kontrollpunkten dargestellt (die Cluster). Jeder Cluster besteht aus Kontrollpunkten aus einem oder mehreren Kernbereichen. Die Gesamtheit der Kontrollpunkte eines Clusters ergeben somit einen sinnvollen Verbesserungsschritt. Insgesamt gibt es 13 Cluster, jeder Cluster wird durch einen Buchstaben gekennzeichnet (von „A“ bis „M“).

Ausgangslage

Unser Kunde ist international tätig im Bereich von Automatisierungslösungen für Produktionsprozesse und Gebäudeanwendungen. Die Produktpalette umfasst dabei u.a Geräte zur Steuerungstechnik, HMI-Geräte und I/O-Systeme inkl. Software – von der Firmware bis zu webbasierten Managementkonsolen. Die Produkte werden von verschiedenen Teams intern entwickelt und getestet, wobei die Entwicklungsabteilung knapp 200 Personen umfasst, davon rund 30 Personen im Bereich des unabhängigen Integrations- und Systemtests.

Bereits in der Planung des Verbesserungsprojekts hat sich schnell gezeigt, dass es nicht den einen, einheitlichen Testprozess gibt. Vielmehr gibt es – aufgrund der Vielzahl und Heterogenität der Produkte und Teams – unterschiedliche, projektspezifische Testprozesse mit unterschiedlichen Reifegraden. Diese Rahmenbedingung sollte in dem Projekt folglich entsprechend berücksichtigt werden.

Vorgehensweise

Festlegung der Projektziele

Zunächst haben wir in einem Workshop mit den Verantwortlichen der verschiedenen Produktlinien die gemeinsamen Ziele der Prozessverbesserung erarbeitet und priorisiert. Im Ergebnis hatten wir eine abgestimmte, von allen wichtigen Stakeholdern mitgetragene Grundlage für das weitere Projektvorgehen inkl. der Bereitstellung der notwendigen Ressourcen.

Projektmarketing

Neben den Projektzielen haben wir von Anfang an durch entsprechende Informationsveranstaltungen, Q&A-Sessions und Wiki-Artikel Transparenz im Projekt hergestellt und damit sichergestellt, dass das Projekt bei allen Mitarbeiterinnen und Mitarbeitern ausreichend bekannt und eine entsprechende Akzeptanz vorhanden ist.

Auswahl Referenzprojekte und Rollen/Personen

Um eine möglichst große Bandbreite des Testprozesses im Audit abzudecken, wurden zunächst vier Referenzprojekte ausgewählt. Anschließend wurden in jedem Projekt Mitarbeiterinnen und Mitarbeiter in unterschiedlichen Rollen (u.a. “Auftraggeber”, “Projektleiter”, “Entwicklungsleiter”, “Entwickler”, “Testmanager” und “Tester”) für das Audit ausgewählt. Insgesamt wurden damit knapp 40 Personen an den folgenden Interviews beteiligt.

Konfiguration des Modells

Der Aufwand für das Audit sollte in einem gewissen Rahmen gehalten werden, aufgrund der Anzahl der Projekte und der damit verbundenen beteiligten Personen aber auch aufgrund der Tatsache, dass es sich um eine erste Bewertung des Testprozesses handelte und somit eine gewisse Unsicherheit bzgl. der zu erwartenden Reifegrade herrschte, konzentrierten wir uns ausschließlich auf die Kontrollpunkte im Reifegrad Kontrolliert (d.h. 59 Kontrollpunkte in den Clustern A bis E).

Auf Basis der relevanten Kontrollpunkte sowie der Unternehmens- und Projektspezifika wurde ein Leitfaden zur strukturierten Durchführung der Interviews entwickelt.

Durchführung der Interviews

Die Interviews wurden mit den Mitarbeiterinnen und Mitarbeitern persönlich in Einzelgesprächen durchgeführt. Durch ein gewisses Planungsgeschick von Seiten des Kunden war es möglich, diese in einem Zeitraum von knapp zwei Wochen zügig und effizient durchzuführen. In den Interviews konnten anhand des zuvor erarbeiteten Leitfadens alle ausgewählten Kontrollpunkte des Modells behandelt werden. Die Erkenntnisse wurden teilweise durch Dokumenten- und Werkzeugsichtungen am Arbeitsplatz der Interviewten unterstützt.

Auswertung

Bereits während der Interviews zeigte sich, dass es zwischen den Projekten in den Kernbereichen der Kategorie Stakeholderbeziehungen sehr große Überdeckungen gab, diese Kernbereiche wurden daher für alle vier Projekte gemeinsam bewertet. Die Kernbereiche der Kategorien Testmanagement und Testkompetenz wurden für jedes Projekt separat bewertet. Insgesamt wurden somit für jedes der vier Projekte 59 Kontrollpunkte separat analysiert und bewertet und sinnvolle Verbesserungsvorschläge abgeleitet.

Als Übersicht der Reifegrade der Kernbereiche wurde für jedes Projekt eine eigene Testreifematrix erstellt:

In diesem Beispiel ist zu erkennen, dass vier Kernbereiche den Reifegrad Kontrolliert erreicht haben, in allen anderen Kernbereichen ist mindestens ein Kontrollpunkt nicht erfüllt um diesen Reifegrad zu erreichen. Diese Übersicht diente dann als Ausgangspunkt der detaillierten Bewertung der einzelnen Kontrollpunkte, wobei insbesondere die nicht erfüllten Kontrollpunkte von Interesse waren.

Ergebnisse

Die Ergebnisse wurden dem Kunden in einer umfangreichen und detaillierten Gesamtdokumentation sowie in projektspezifischen Zusammenfassungen übergeben.

Auf der Grundlagen dieser Ergebnisse wurden mit allen vier Projektteams Workshops durchgeführt in denen die Details und die Verbesserungsvorschläge vorgestellt und diskutiert wurden. Mit den Teams wurde eine Auswahl und Priorisierung der Verbesserungsvorschläge durchgeführt. Diese werden von den Teams selbständig, begleitet durch ein Coaching von unserer Seite, sukzessive umgesetzt.

Aus Sicht des Kunden stellt sich das Audit als erfolgreiches Projekt dar, Hauptgründe hierfür sind u.a. die Begleitung durch einen unabhängigen, neutralen Partner sowie die enge Einbeziehung des gesamten Teams, insbesondere bei der Auswahl und Durchführung der identifizierten Verbesserungsmaßnahmen.

Das Audit soll im kommenden Jahr wiederholt werden, dabei sollen sowohl die Effekte der Verbesserungsmaßnahmen gemessen als auch die Kontrollpunkte der Cluster F bis J (d.h. auf dem Reifegrad Effizient) analysiert und bewertet werden.

Interesse?

Gerne unterstützen wir auch Ihr Projekt. Lassen Sie es uns wissen, wenn Sie Interesse an unseren Beratungsleistungen haben.