Zum Inhalt
Alle Apps

Trust, but verify

Über diese App

Fünf kurze Funktionen, wie sie ein Assistent liefert, jede plausibel und jede mit einem typischen Fehler: Randfall, erfundene Bibliotheksfunktion, eval auf Formulareingaben, vertauschtes Datumsformat, falsche Fachlogik. Verdächtige Zeile antippen, dann mit fünf Methoden prüfen: Code lesen, Doku prüfen, Beispiel, Randfall, Nachrechnen. Das Protokoll zeigt echte Python-3.13-Ausgaben, die Matrix sammelt, welche Methode welchen Fehler findet: Lesen gegen Ausprobieren.

Trust, but verify

Code von KI-Assistenten sieht oft plausibel aus und läuft auch, kann aber Fehler enthalten. Typisch sind vergessene Randfälle, erfundene Bibliotheksfunktionen, unsichere Muster wie eval auf Nutzereingaben, falsche Annahmen über Formate und eine falsche Fachlogik. Keine einzelne Prüfmethode findet alle diese Fehler. Lesen deckt unsichere Muster und falsche Formatcodes auf, Ausprobieren mit Beispiel und Randfall findet Abstürze, Nachrechnen findet Ergebnisse, die laufen, aber falsch sind. Wer KI-Code übernimmt, kombiniert deshalb Lesen und Ausprobieren.

Was die App zeigt

Fünf kurze Aufträge, jeweils mit der Python-Funktion, die ein Assistent liefert: Durchschnittspreis, gewichteter Durchschnitt, Preisformel aus einem Webformular, Liefertermin einlesen und Nettobetrag aus Brutto. Jede enthält einen Fehler, etwa eine Division durch null bei leerer Liste, die erfundene Funktion statistics.weighted_mean, eval auf Formulareingaben, das Format %m.%d.%Y für deutsche Daten oder brutto * 0.81 statt brutto ÷ 1,19. Ein Protokoll zeigt echte Ausgaben von Python 3.13.

Selbst ausprobieren

Tippe zuerst die Zeile an, die du für verdächtig hältst. Prüfe dann mit den fünf Methoden: Code lesen, Doku prüfen, mit Beispiel ausführen, Randfall testen und gegen die Anforderung nachrechnen. Eine Matrix sammelt, welche Methode welchen Fehler zeigt. Am Ende wird sichtbar, dass Lesen und Ausprobieren unterschiedliche Fehler finden und keine Methode alle fünf aufdeckt.

Häufige Fragen

Wie prüft man Code, den eine KI geschrieben hat?
Am besten kombiniert man mehrere Methoden: den Code Zeile für Zeile lesen, unbekannte Funktionen in der Dokumentation nachschlagen, mit einem Beispiel und mit Randfällen ausführen und das Ergebnis gegen die Anforderung nachrechnen. Jede Methode findet andere Fehlerarten.
Warum ist eval auf Nutzereingaben gefährlich?
eval führt einen Text als Python-Code aus. Kommt der Text aus einem Formular, kann jemand beliebigen Code einschleusen und auf dem Server ausführen lassen. Für Rechenausdrücke sollte man einen eigenen, eingeschränkten Parser verwenden.
Was sind halluzinierte Funktionen bei KI-Code?
Gemeint sind Funktionen oder Parameter, die plausibel klingen, aber in der Bibliothek nicht existieren. Der Code bricht dann beim ersten Aufruf ab. Ein Blick in die offizielle Dokumentation klärt, ob es die Funktion gibt und was sie genau tut.
Welche Fälle enthält die App?
Fünf Funktionen mit je einem Fehler: Randfall leere Liste, erfundene Bibliotheksfunktion, eval auf Formulareingaben, vertauschtes Datumsformat und falsche Mehrwertsteuerrechnung. Für jeden Fall zeigt die App, welche Prüfmethoden ihn aufdecken.

Fach: Softwaretechnik

Mehr aus Softwaretechnik

Eine VisuApp von heyprof: interaktiv, kostenlos im Browser, ohne Anmeldung. Was ist eine VisuApp? · Alle Apps