Harness Engineering: das System rund um das Modell

Ein Agent ändert den Code, führt einen Befehl aus und gibt bekannt, dass der Auftrag erledigt ist. Der Patch sieht plausibel aus. Die Zusammenfassung ist überzeugend. Dann öffnet jemand die Anwendung und stellt fest, dass das Feature nie funktioniert hat.

Diese Lücke zwischen einem überzeugenden Konto und einem verifizierten Ergebnis ist der Beginn von Harness Engineering. Ein stärkeres Modell kann weniger Fehler machen. Eine längere Aufforderung kann ihn daran erinnern, seine Arbeit zu überprüfen. Weder für sich, gibt die umgebende Software eine zuverlässige Möglichkeit, um festzustellen, was passiert ist.

Das fehlende Stück ist das System um das Modell herum: die Ebene, die Kontext verwaltet, Aktionen steuert, Zustand bewahrt und um Beweise bittet, bevor sie die Fertigstellung akzeptiert.

Das Modell ist ein Teil des Systems

Ein Modell kann über eine Aufgabe nachdenken und die nächste Aktion vorschlagen. Das Harness bestimmt, was es beobachten kann, welche Werkzeuge es aufrufen kann, was diese Anrufe ändern dürfen und wie ihre Ergebnisse zum nächsten Schritt werden. In der Umgebung treffen diese Aktionen auf die Realität: ein Repository, eine Datenbank, ein Browser, ein Service oder eine Person.

Dies ist der Rahmen in Hailin Zhong und Shengxin Zhu. Mai 2026 Vordruck, Infrastruktur für KI-Agenten. Ihre vorgeschlagene H0–H3 Leiter fügt Werkzeuge, persistenten Kontext und Verifikation in Stufen. Die nützliche Unterscheidung ist die Beweise, die jede Stufe hinterläßt.

Die Arbeit enthält eine kontrollierte Validierungsaufgabe, begründet aber kein allgemeines Leistungsgesetz. Ich lese sie als nützlichen Architekturvorschlag: Betrachtet wird das vollständige System, und der Nachweis eines Ablaufs wird ebenso wichtig wie dessen abschließende Codeänderung.

Der Agenten-Infrastruktur eine klare Aufgabe geben

In der Praxis gruppiere ich die Arbeit in sieben Aufgaben. Die Grenzen sind wichtiger als die Terminologie: Jede Verantwortung braucht einen Eigentümer außerhalb des Modells.

Vertrag

Definieren Sie die Aufgabe, die Beweise, die wie getan zählen und die Bedingungen, die einen Lauf beenden.

Kontext

Wählen Sie die relevanten Quellen, Anweisungen und vorherigen Entscheidungen für diesen Schritt.

Zustand und Speicher

Unterscheiden Sie, was vorgeschlagen wurde, was versucht wurde und was tatsächlich abgeschlossen.

Werkzeuge

Explizite Operationen mit validierten Eingaben und nützlichen, gebundenen Ergebnissen aufdecken.

Befugnis

Durchsetzung der Zugangsregeln und Genehmigung erforderlich, bevor eine Maßnahme ihren zulässigen Anwendungsbereich überschreitet.

Überprüfung

Prüfen Sie Ansprüche gegen Tests, Quellen, Transaktionsaufzeichnungen oder das laufende Produkt.

Wiederherstellung

Rekordfehler, gebundene Wiederholungen und bieten einen Weg zur Reparatur oder menschliche Übergabe.

Einiges davon ist normale Software-Engineering: Schemas, Zustand Maschinen, Zugriffskontrollen und Protokolle. Die Schwierigkeit ist, die Teile um eine Komponente, deren nächste Aktion ist nicht vollständig vorhersehbar. Gute Architektur macht diese Unsicherheit überschaubar, ohne vorzugeben, es ist verschwunden.

Legen Sie die Regel, wo die Aktion geschieht

Betrachten Sie eine Rückerstattung, die Genehmigung erfordert. Schreiben Sie eine Person zuerst in der Eingabeaufforderung drückt die Regel. Überprüfen eines Genehmigungsprotokolls an der Ausführungsgrenze erzwungen.

Der Unterschied ist konkret: Bevor das Werkzeug etwas an den Zahlungsdienst sendet, muss es prüfen, ob die Genehmigung genau für diese Aktion, diesen Betrag und diesen Empfänger gilt. Das Modell kann eine Erstattung vorschlagen; es kann sich die Befugnis dazu nicht selbst erteilen.

Joongho Ahn und Moonsoo Kim untersuchen diesen Schritt im Juli 2026 im Vordruck Von Prompts zu Verträgen. Sie legen Quellgrenzen, Routing-Regeln, Trace-Anforderungen und Output-Checks in Code um ein austauschbares Modell herum. Ihre code-eigenen Kontrollen über 270 kompositionsgebundene Runs mit drei gehosteten Modellen; absichtliche Fehler aktivierten die Validatoren.

Der Anwendungsbereich betrifft: feste Szenarien über öffentliche Daten von fünf koreanischen Unternehmensgruppen. Diese Ergebnisse unterstützen das Muster innerhalb dieser Auswertung. Sie bedeuten nicht, dass das gesamte Agentenverhalten durch Hinzufügen von Validatoren korrigiert werden kann. Eine Überprüfung kann nur die Eigenschaft durchsetzen, die sie für die Inspektion entworfen hat.

Erstellen Sie eine Schleife, die eine Ablehnung akzeptieren kann

Es kommt immer noch darauf an. Klare Werkzeugbeschreibungen reduzieren die Mehrdeutigkeit; der ausgewählte Kontext gibt dem Modell eine bessere Grundlage für seine nächste Entscheidung. Anthropoc s Effektive Werkzeuge für Agenten entwickeln macht dies durch Toolbenennung, Beschreibungen und Response Design praktisch.

Aber nützliche Anweisungen sitzen in einer größeren Schleife. Nachdem das Modell eine Aktion vorschlägt, muss etwas feststellen, ob es laufen kann und ob es funktioniert.

Die Prüfung sollte über das Modell hinausgehen . Ein Codierungs-Agent braucht Tests gegen die Änderung. Eine Bereitstellung benötigt eine Gesundheits-Check auf dem laufenden Dienst. Eine Datenbank-Aktion benötigt ein Transaktionsergebnis. Wiederholen Sie Ihre Antwort . erstellt keine dieser Signale.

Anthropocis Effektive Agenten entwickeln beschreibt dies als Grundwahrheit aus der Umgebung. Seine später Arbeit an langfristig laufenden Agenten macht den Ansatz greifbar: persistente Fortschrittsaufzeichnungen, eine Feature-Liste und Browser-Tests, die die eigentliche Anwendung ausüben. Dies sind Wege, um den nächsten Schritt abhängig von beobachtbaren Zustand zu machen.

Lesen Sie die Spur, dann überprüfen Sie das Ergebnis

Eine erfolgreiche abschließende Antwort kann einen schlechten Ausführungspfad verbergen: unnötige Wiederholungen, ein falscher Werkzeugaufruf, eine zu spät angeforderte Genehmigung. Eine Spur macht diesen Pfad inspizierbar. Ergebnisprüfungen stellen fest, was der Pfad tatsächlich erreicht hat.

Anthropocis Evaluationen für KI-Agenten verständlich machen behandelt Evaluation als Test des Modells, des Harness, der Werkzeuge und der Umgebung. Eine praktische Lektion ist, den Zustand zu bewerten, der zurückgelassen wurde: ob die Datei geändert, die Tests bestanden oder der erwartete Datensatz existiert.

Das macht Spuren Teil der Produkt-Betriebsaufzeichnung. Sie sollten Werkzeugaufrufe, politische Entscheidungen, Genehmigungen, Ergebnisse und genug Kontext erfassen, um einen Fehler zu untersuchen, mit einem angemessenen Umgang mit sensiblen Daten. Eine polierte Abschlussnachricht ist nützlich für den Leser; es ist kein Ersatz für diesen Datensatz.

Der Bezug zu meiner eigenen Arbeit

Ich kam zu diesem Problem durch Autonomie und die Übergabe an eine Person. Eine Maschine empfiehlt eine Aktion, aber die Beweise dahinter sind oft verloren, bevor die Person zu entscheiden hat.

NODERIQ befasst sich damit, Nachweise bis zur Entscheidung weiterzugeben. NowFlow macht die Freigabe zu einem ausdrücklichen Routing-Schritt. QFlow Studio hält Aufgabenbeschreibung, generierten Quellcode, Anbieterroute und Ausführungsnachweise zusammen, damit ein Experiment rekonstruiert werden kann. In der von mir geleiteten agentengestützte Softwaretests stehen Bewertung und Aufsicht vor der Freigabeentscheidung.

Diese Systeme arbeiten in verschiedenen Bereichen, aber sie treffen auf die gleiche architektonische Frage: Wo erwirbt ein Vorschlag Autorität, und welche Beweise überleben die Aktion?

Design für den Moment geht etwas schief

Die aufschlussreichste Überprüfung eines Agentensystems beginnt mit einem fehlgeschlagenen Lauf. Können wir sagen, was es sah? Können wir die Aktion rekonstruieren, die es versuchte? Hat eine Politik sie rechtzeitig gestoppt? Weiß der nächste Versuch, was bereits passiert ist?

Diese Fragen machen Harness Engineering in konkrete Design-Arbeit. Definieren Sie die Fertigstellung vor der Ausführung. Setzen Sie durchsetzbare Regeln an der Aktionsgrenze. Bewahren Sie genug Zustand, um sich zu erholen. Überprüfen Sie das Ergebnis gegen die Welt.

Ein fähiges Modell schafft Möglichkeiten. Das umgebende System bestimmt, welche Möglichkeiten verlässliche Arbeit werden.