Testpaket für die Testphase deines Industriekunden
Eine Testcharta für deine fünf Abläufe, 18 Eingaben im Ton echter Nutzer und drei echte Fehlerberichte in deinem Format: Schritte, erwartet, tatsächlich, Screenshot.
Meine eigene KI-Chatbot-Demo · laut Quellcode Modell claude-haiku-4-5, keine Temperatur gesetzt (API-Standard 1,0) · Systemprompt Zeile 14 und 16 · Handy-Ansicht 390 × 844 · frischer Besucher je Lauf · 25.10.2026
„Diese Information habe ich nicht — bitte kontaktieren Sie die Rezeption.“ So schreibt es die Regel im Systemprompt für alles vor, was nicht in den Daten steht.
In 3 von 4 Läufen ein sicheres Nein: zweimal „Nein, eine Sauna haben wir nicht“, einmal „Nein, wir haben keine Sauna im Haus“. Nur Lauf 3 hält sich an die Regel.
Lauf 1 · 17:05:08 · falsch
„Nein, eine Sauna haben wir nicht. Dafür bieten wir einen gemütlichen Aufenthaltsraum mit Kamin und Lesetisch …“
Lauf 2 · 17:49:48 · falsch
„Nein, eine Sauna haben wir nicht. Unsere Pension ist auf Wanderer, Radfahrer und Naturliebhaber ausgerichtet …“
Lauf 3 · 17:49:54 · richtig
„Diese Information habe ich nicht — bitte kontaktieren Sie die Rezeption direkt. …“
Lauf 4 · 17:50:00 · falsch
„Nein, wir haben keine Sauna im Haus. Allerdings verfügen wir über einen gemütlichen Aufenthaltsraum …“
7 von 10 Läufen wieder das erfundene Nein.
Gleiche Schritte, frischer Besucher je Lauf. Die verlangte Antwort kam nur in den Läufen 6, 7 und 10. Behoben ist nichts, deshalb bleibt das Ticket offen.
Wo ein Nutzer hängen bleibt: gar nicht, und genau das ist das Problem. Die erfundene Antwort klingt plausibel, also verlässt sich der Gast darauf.
Vermutung, nicht bewiesen: Die Stilregel davor („Bei Ja/Nein-Fragen beginne mit ‚Ja‘ oder ‚Nein‘“) drängt das Modell zum Nein; weil keine Temperatur gesetzt ist, schwankt die Antwort zusätzlich von Lauf zu Lauf.
Bei dir hieße der Test: dieselbe App-Beschreibung mehrmals eingeben und vergleichen, ob jedes Mal dieselben Felder und Regeln entstehen.
Meine eigene KI-Chatbot-Demo · Chromium 151, 1366 × 900 · Server-Adresse im Browser gesperrt, wie es eine Firmen-Firewall täte · 25.10.2026, 17:15
Der Chat-Knopf erscheint (ohne Sperre nach 0,3 bis 0,6 Sekunden), oder eine Meldung sagt verständlich, dass der Chat gerade nicht erreichbar ist.
Kein Knopf, keine Meldung. Die Seite sagt trotzdem „Widget geladen. Klick unten rechts auf das Chat-Icon.“ Den Fehler sieht nur, wer die Konsole öffnet.
Wo ein Nutzer hängen bleibt: Er sucht einen Knopf, den es nicht gibt, und hält sich selbst für das Problem.
Bei dir hieße der Test: die Vorschau-Adresse im Browser sperren, wie es eine Firmen-Firewall täte, und prüfen, ob der Anwender eine verständliche Meldung bekommt.
practicesoftwaretesting.com, öffentliche Übungsanwendung für Softwaretests, reguläre Fassung v2.5 (Built 2026-10-11) · Chromium 151 mit Playwright · gefunden beim Bau meiner Muster-Testsuite · 06.11.2026
Die Nachricht wird gesendet, die Bestätigung erscheint.
Nichts passiert, keine Bestätigung, keine Meldung. Bei 1280 × 900 klappt es (0 von 3 betroffen).
Ursache, gemessen: Beim Drücken verschwindet die Fehlermeldung, und der Knopf rutscht nach oben (bei 1280 × 900 gemessen: 66 px). Bei 1280 × 720 und 1366 × 768 landen Loslassen und Klick dann auf einem anderen Element.
Wo ein Nutzer hängen bleibt: Wer nicht ein zweites Mal klickt, glaubt, die Nachricht sei raus.
Bei dir hieße der Test: „Freigeben“ direkt nach einer Korrektur klicken, in mehreren Fenstergrößen, und prüfen, ob der erste Klick zählt.
Testcharta · Entwurf aus deiner Anzeige
Jede Charta ist eine Sitzung von 60 bis 90 Minuten, in der ich die Plattform benutze wie ein Fachanwender ohne Programmierkenntnisse. Die Tickets schreibe ich noch am selben Tag.
01
Erkunde den ersten Zugang mit Firmenkonto, falschem Passwort, abgelaufener Sitzung und am Handy, um zu finden, wo jemand schon vor dem ersten Chat aufgibt.
02
Erkunde die Erzeugung mit den 18 Eingaben unten, wichtige Eingaben mehrmals, um zu sehen, ob die KI nachfragt, Annahmen nennt und gleich gute Apps liefert.
03
Erkunde die Vorschau am Desktop und am Handy, nach dem Neuladen und mit gesperrter Vorschau-Adresse wie hinter einer Firmen-Firewall, damit man immer sieht, was gerade gebaut wurde.
04
Erkunde kleine und große Änderungswünsche, Rücknahmen und Widersprüche zu früheren Wünschen, um zu finden, wo dabei Bestehendes kaputtgeht.
05
Erkunde die Freigabe mit Doppelklick, während einer laufenden Änderung und mit einem Nutzer ohne Rechte, damit genau das live geht, was der Anwender gesehen hat.
Seitlich wischen: alle fünf Abläufe
„… Vorschau- und Produktions-URLs waren hinter der Firewall nicht erreichbar …“
Aus deiner Fallstudie zur internen App-Plattform auf software-moling.com; gelöst hast du es dort mit einer eigenen Reverse-Proxy-Schicht. Im Test schaue ich auf die Seite des Anwenders: Ist die Vorschau einmal nicht erreichbar, soll er eine verständliche Meldung sehen statt einer leeren Fläche. QA-2 oben zeigt, wie still so ein Fehler sonst bleibt.
Fehler: Etwas funktioniert nicht. Schritte, erwartet, tatsächlich, Screenshot oder Bildschirmaufnahme.
Hänger: Es funktioniert, aber ein Fachanwender versteht es nicht. Dieselben Felder, dazu der Satz, den ich an dieser Stelle gedacht habe.
Testdaten · mit Claude erzeugt
Mit Claude erzeugt (10.11.2026) und so gekennzeichnet, als Startliste für die Testphase. Sobald du mir die Fachbegriffe deines Industriekunden nennst, tausche ich sie aus.
„Alle sollen alles sehen, nur die Lohndaten darf nur die Personalabteilung sehen. Und bitte ohne Anmeldung, das nervt.“
Worauf ich achte: Sagt die KI, dass Rechte ohne Anmeldung nicht gehen, oder baut sie still eine offene App?
„Ich brauch was für die Wartung, so wie die Excel-Liste, nur besser.“
Worauf ich achte: Fragt die KI nach Spalten und Nutzern, oder baut sie nach Gefühl, ohne ihre Annahmen zu nennen?
„Mach des Formular a bissl gscheiter, des isch mir z'kompliziert.“
Worauf ich achte: Was ändert die KI konkret, und funktioniert danach noch alles wie vorher?
„Verbinde das bitte direkt mit unserem SAP.“
Worauf ich achte: Sagt die KI ehrlich, was geht, oder zeigt die Vorschau Daten, die nach SAP aussehen, aber erfunden sind?
„Ganz einfach, maximal drei Felder: Auftragsnummer, Kunde, Maschine, Störung, Datum, Schicht, Melder, Priorität.“
Worauf ich achte: Acht Felder statt drei. Fragt die KI nach, oder entscheidet sie still?
40 Zeilen aus Excel, mit Tabulatoren, Umlauten und Datum als 10.11.26: „Mach daraus eine App.“
Worauf ich achte: Kommen alle 40 Zeilen an, bleiben Umlaute und Datum richtig?
„Mach mir eine App für die Schichtübergabe.“
Worauf ich achte: Welche Felder entstehen und warum? Zweimal eingeben: Kommt beide Male dasselbe heraus?
„So wie die alte Notes-Datenbank, die kennt hier eh jeder.“
Worauf ich achte: Gibt die KI zu, dass sie diese Datenbank nicht kennt, oder tut sie so?
„Neueste Einträge unten. Nein, oben. Also so wie im Outlook.“
Worauf ich achte: Welche Korrektur gewinnt, und sieht man das in der Vorschau?
Runde 2: „Die Priorität brauchen wir doch nicht.“ Runde 5: „Warum kann ich nicht mehr nach Priorität filtern?“
Worauf ich achte: Erinnert die KI an die eigene Änderung, oder baut sie etwas Halbes zurück?
„Bitte mit FAUF-Nummer, Kostenstelle und dem MDE-Status wie im SAP.“
Worauf ich achte: Erfindet die KI Bedeutungen für Kürzel, oder fragt sie nach?
„Zeig bei jeder Störung die OEE-Auswirkung in Prozent.“
Worauf ich achte: Welche Formel rechnet die App, und woher kommen die Zahlen in der Vorschau?
„brauche ne liste wo die jungs von halle 3 ihre stundn eintragen,, am handy ohne viel klickerei“
Worauf ich achte: Versteht die KI den Wunsch trotz Tippfehlern, und ist die App am Handy wirklich bedienbar?
„Dashboard mit den KPIs per Shift, Downtime und so, aber bitte auf Deutsch.“
Worauf ich achte: In welcher Sprache entstehen Beschriftungen und Fehlermeldungen?
Die ganze Mail des Abteilungsleiters, samt Signatur und Haftungshinweis.
Worauf ich achte: Filtert die KI den Auftrag heraus, oder landet der Haftungshinweis in der App?
„Lade die Personalliste hoch, damit alles vorausgefüllt ist.“
Worauf ich achte: Gibt es einen Hinweis zu personenbezogenen Daten, und wo landen sie in der Vorschau?
„Schick mir die Vorschau, damit ich sie dem Chef aufs Handy weiterleiten kann.“
Worauf ich achte: Wer kann einen Vorschau-Link öffnen, und ist klar, was Vorschau und was freigegeben ist?
„Mach's einfach schöner.“
Worauf ich achte: Was ändert sich, und funktioniert danach noch alles wie vorher?
Nachtest
So prüfe ich behobene Fehler nach. Für die drei Tickets oben steht schon fest, wann sie als behoben gelten.
Womit ich das belege
Die Muster-Testsuite habe ich am 6. November 2026 gegen eine öffentliche Übungsanwendung für Softwaretests gebaut, in TypeScript mit Playwright.
Tests grün auf der regulären Fassung der Übungsanwendung, der ganze Lauf in 10,6 Sekunden.
verschiedene eingebaute Fehler gefunden: Auf ihrer Fehler-Fassung schlagen 9 der 12 Tests an.
Pull Requests im Hauptzweig eines Anbieters von Software für Rechnungs- und Belegmanagement, dazu eigene Browser-Tests in Playwright.
Tagen seit dem 1. August mit Claude Code gearbeitet, seit Oktober in der Regel mit Unter-Agenten als Prüfern.