InvarraKundenportal

Ausführungskontrolle für KI-Agenten

Sobald ein Agent handeln kann, verlassen seine Fehler das Gespräch.

Eine falsche Antwort lässt sich in der nächsten Nachricht korrigieren. Ein geänderter Datensatz, eine offengelegte Datei oder eine wiederholte Operation sind bereits geschehen. Phalanx sitzt zwischen Ihren KI-Agenten und Ihren Geschäftssystemen und lässt eine geschützte Aktion nur ausführen, wenn sie innerhalb der von Ihnen definierten Autorität liegt.

Phalanx entscheidet, welche Vorschläge eines Support-Agenten ausgeführt werden Illustration. Ein Support-Agent schlägt nacheinander drei Aktionen vor. Der Zugriff auf das Konto des angemeldeten Kunden erfüllt alle Prüfungen und wird erlaubt; ein geschützter Konnektor liest, und das Ergebnis wird als EXECUTED aufgezeichnet. Der Tarifwechsel benötigt Betreiberfreigabe und geht in HOLD; nichts wird ausgeführt. Das Senden des Fallverlaufs an eine externe Adresse verletzt die Zielregel und wird blockiert; der Konnektor wird nie aufgerufen. Der Agent schlägt vor Phalanx prüft Authentifizierte Aufgabe und Kunde Regeln für diese Aktion Aktueller Zustand Verbleibende Grenzen PERMIT HOLD BLOCK Einmalige Erlaubnis Wartet auf Betreiber Keine Erlaubnis erteilt Konto des angemeldeten Kunden nachschlagen Innerhalb des Aufgaben-Leselimits PERMIT Einmalige Erlaubnis Konnektor liest Erfasst: EXECUTED Tarif auf Konto A-102 ändern Tarifwechsel braucht Freigabe HOLD Wartet auf Betreiber Nichts wird ausgeführt Erfasst: HELD Fallverlauf an eine externe Adresse senden Ziel nicht genehmigt BLOCK Keine Erlaubnis erteilt Konnektor nie aufgerufen Erfasst: BLOCKED
Phalanx entscheidet, welche Vorschläge eines Support-Agenten ausgeführt werden Illustration. Ein Support-Agent schlägt nacheinander drei Aktionen vor. Der Zugriff auf das Konto des angemeldeten Kunden erfüllt alle Prüfungen und wird erlaubt; ein geschützter Konnektor führt den Lesezugriff aus. Der Tarifwechsel erfordert die Genehmigung eines Betreibers und geht in HOLD. Das Senden des Fallverlaufs an eine externe Adresse verletzt die Zielregel und wird blockiert. Der Agent schlägt vor Phalanx prüft Authentifizierte Aufgabe und Kunde Regeln für diese Aktion Aktueller Zustand Verbleibende Grenzen PERMIT HOLD BLOCK Einmalige Erlaubnis Wartet auf Betreiber Keine Erlaubnis erteilt Konto des angemeldetenKunden nachschlagen Bedingungen erfüllt. Innerhalb des Leselimits. PERMIT Einmalige Erlaubnis Konnektor liest Erfasst: EXECUTED Tarif auf Konto A-102 ändern Tarifwechsel benötigt Betreiberfreigabe. HOLD Wartet auf Betreiber Nichts wird ausgeführt Erfasst: HELD Fallverlauf per E-Mailan eine externe Adresse Ziel für diese Aufgabe nicht genehmigt. BLOCK Keine Erlaubnis erteilt Konnektor nie aufgerufen Erfasst: BLOCKED
Illustration. Ein Support-Agent schlägt drei Aktionen vor; Ihre festgelegten Regeln entscheiden über jede einzelne.
  • Produktionsversion 1.9
  • Läuft in Ihrer Infrastruktur
  • Kein Modell im Entscheidungspfad

Auch leistungsfähige Agenten machen gewöhnliche Fehler.

Keiner dieser Fälle braucht einen Angreifer. Jeder entsteht, wenn ein vernünftig wirkender Plan auf ein laufendes System trifft.

Der falsche Kunde Illustration. Kunde 4471 ist angemeldet. Eine Nachricht im Gespräch erwähnt Konto 8812, und der Agent handelt für Konto 8812 statt für das angemeldete Konto. Angemeldet: 4471 „…und aktualisiere Konto 8812“ Konto 4471 angemeldet Konto 8812 geändert

Der falsche Kunde

Die ID eines anderen Kunden taucht im Gespräch auf, und der Agent handelt für dieses Konto statt für das angemeldete.

Dieselbe Aktion zweimal Illustration. Der Agent sendet eine Fallaktualisierung. Die Antwort geht verloren, der Agent versucht es erneut, und der Kunde erhält dieselbe Aktualisierung zweimal im Abstand von fünf Sekunden. Agent E-Mail-Dienst Antwort verloren, neuer Versuch Fallaktualisierung gesendet 10:02:14 Fallaktualisierung gesendet 10:02:19

Dieselbe Aktion zweimal

Eine Antwort geht verloren, der Agent versucht es erneut, und die Operation läuft ein zweites Mal.

Das veraltete Überschreiben Illustration. Der Agent liest Version 7 eines Datensatzes. Ein Kollege speichert danach Version 8. Der Agent schreibt seine Daten aus Version 7 zurück und überschreibt die Änderung des Kollegen. Datensatz: Fall 5521 Agent liest v7: offen Kollege speichert v8: eskaliert Agent schreibt v7-Daten Eskalation geht unbemerkt verloren

Das veraltete Überschreiben

Der Agent liest einen Datensatz, jemand anders aktualisiert ihn, und der Agent schreibt den früher gesehenen Inhalt zurück.

Das falsche Ziel Illustration. Der Agent sendet einen Fallverlauf. Statt an die genehmigte Firmenadresse geht er an eine Adresse einer externen Domain. Fallverlauf 12 Nachrichten genehmigt @yourco.com extern @other.com

Das falsche Ziel

Ein Fallverlauf geht an eine Adresse außerhalb des Unternehmens, weil jemand darum bat oder es hilfreich erschien.

Jede Grenze eingehalten, die Gesamtgrenze überschritten Illustration. Drei Tools nutzen jeweils etwa 60 Prozent ihrer eigenen Grenze und wirken damit unproblematisch. Zusammen nutzen sie fast doppelt so viel, wie die gesamte Aufgabe erlauben sollte. Tool A Tool B Tool C jeweils unter der Grenze Aufgabe Aufgabengrenze überschritten

Jede Grenze eingehalten, die Gesamtgrenze überschritten

Drei Tools bleiben jeweils innerhalb ihrer eigenen Grenze. Zusammen tun sie weit mehr, als die Aufgabe erlaubte.

Jeder Fall ist ein formal korrekter Tool-Aufruf. Genau deshalb kommt er durch.

Ihre aktuellen Kontrollen prüfen, was der Agent sagt. Hier geht es um Dinge, die er tut.

Jede der folgenden Kontrollen ist nützlich. Keine wurde dafür gebaut, zu entscheiden, ob diese Aktion für diesen Kunden im aktuellen Zustand jetzt ausgeführt werden sollte.

Wenn Sie sich verlassen aufEs wurde entwickelt, umWo es nicht ausreicht
Prompt-Guardrails und KlassifikatorenZu beurteilen, ob Text schädlich wirktAlle fünf Szenarien wirken wie gewöhnliche, höfliche Tool-Aufrufe
API-Schlüssel mit begrenztem Umfang und Tool-FreigabelistenZu entscheiden, welche Tools ein Agent nutzen darfDer Schlüssel weiß nicht, welcher Kunde angemeldet ist, ob sich der Datensatz geändert hat oder was andere Tools bereits getan haben
Prüfungen in jedem Tool-HandlerDurchzusetzen, was Sie für dieses Tool programmiert habenJedes Tool sieht nur sich selbst, und die Prüfung läuft im selben Prozess, der die Zugangsdaten besitzt
Eine Person, die jede Aktion genehmigtFehler durch Prüfung zu erkennenEs funktioniert, bis die Menge die Prüfung zur Formalität macht, und nimmt dem Einsatz eines Agenten seinen Zweck

Die eine Prüfung, die sich nicht überspringen lässt, ist die am Ausführungspunkt.

Kontrollieren Sie die Aktion dort, wo sie ausgeführt wird. Entziehen Sie dem Agenten den Schlüssel.

Besitzt der Agent Zugangsdaten, sind alle anderen Prüfungen nur Empfehlungen: Ein falscher Plan kann weiterhin ausgeführt werden. Phalanx verlagert die Zugangsdaten außerhalb der Reichweite des Agenten. Der Agent kann nur Vorschläge machen.

Phalanx prüft jeden Vorschlag anhand der authentifizierten Aufgabe, Ihrer Regeln, des aktuellen Zustands und der verbleibenden Grenzen. Nur eine einmal verwendbare Erlaubnis lässt einen geschützten Konnektor, die Komponente mit den Zugangsdaten, die Aktion ausführen. Anschließend zeichnet Phalanx auf, was geschehen ist, auch wenn das Ergebnis ungewiss bleibt.

Ohne Phalanx besitzt der Agent Zugangsdaten; mit Phalanx kann er nur Vorschläge machen Oben: Ein KI-Agent besitzt den Schlüssel zur Konto-API und kann sie direkt aufrufen, also alles tun, was er entscheidet. Unten: Der Agent besitzt keinen Schlüssel und sendet einen Vorschlag an Phalanx. Nur eine einmal verwendbare Erlaubnis erreicht den geschützten Konnektor, der den Schlüssel besitzt und die Konto-API aufruft. Ohne Ausführungsgrenze KI-Agent besitzt den API-Schlüssel Konto-API jeder gewählte Aufruf Was der Agent entscheidet, kann er tun. Mit Phalanx KI-Agent ohne Zugangsdaten schlägt vor Phalanx entscheidet jede Aktion einmalige Erlaubnis Geschützter Konnektor Konto-API Der Agent kann nur vorschlagen. Der Schlüssel liegt beim Konnektor, und nur eine erlaubte Aktion erreicht ihn. Illustration. Für jede in Phalanx eingebundene Aktion.

Wie die fünf Szenarien enden

SzenarioMit Phalanx im Ausführungsweg
Der falsche KundeDer Kunde kommt aus Ihrer Anmeldung, nicht aus dem Chat. Ein anderes Konto liegt daher außerhalb der Aufgabe, und die Aktion wird blockiert.
Dieselbe Aktion zweimalEin erneuter Versuch wird als dieselbe Operation erkannt. Eine verlorene Antwort wird abgeglichen, bevor etwas erneut gesendet wird.
Das veraltete ÜberschreibenDie Zustandsprüfung des Vertrags erkennt die Änderung des Datensatzes und stoppt den Schreibzugriff.
Das falsche ZielDas Ziel ist für diese Aktion nicht genehmigt, daher wird keine Erlaubnis erteilt.
Jede Grenze eingehalten, die Gesamtgrenze überschrittenIn einem konfigurierten gemeinsamen Workflow greifen alle beteiligten Tools auf ein Aufgabenbudget zu. Ein weiteres Tool bedeutet kein weiteres Kontingent.

Was sich mit Phalanx im Ausführungsweg ändert

Entwicklung

Die Entwicklung liefert einen Agenten, der handelt

Ihre Regeln liegen außerhalb des Prompts und Ihre Zugangsdaten außerhalb des Agenten. Der Agent kann echte Arbeit erledigen, ohne die Schlüssel für beliebige Aktionen zu besitzen.

Sicherheit

Die Sicherheit prüft eine Grenze

Welche Zugangsdaten existieren, wo sie liegen und was jede geschützte Aktion tun darf: eine Stelle zum Prüfen statt jedes einzelnen Prompts.

Betreiber

Betreiber können beantworten: „Was ist geschehen?“

Ein signierter Nachweis zeigt, was vorgeschlagen, entschieden, ausgeführt und verifiziert wurde und was noch eine Person benötigt. Aktionen in HOLD warten auf die Betreiber.

Sehen Sie es an einem arbeitenden Agenten.

Erkunden Sie Phalanx in Meridian, einer synthetischen Kundenplattform. Phalanx kontrolliert ausgewählte eingebundene Aktionspfade und zeichnet Entscheidungen, Ausführung und Ergebnisse auf. Fragen Sie den Support-Chatbot nach Ihrem Konto; die Antwort stammt aus einem geschützten Lesezugriff mit eigenem Beleg.

Phalanx 1.9 ist ein Produktionsrelease, dessen signierte Artefakte vor der Auslieferung qualifiziert wurden.

Läuft in Ihrer Infrastruktur, auf Linux mit Docker oder auf Render. Bereitstellung

Ein geschützter Lesezugriff in der Meridian-Demo Illustration eines Support-Chats in Meridian, einem synthetischen Unternehmen. Ein Kunde fragt nach seinem Kontostatus. Phalanx erlaubt den geschützten READ für dieses Konto, der Konnektor führt ihn aus, und die Antwort enthält einen Beleg. Anschließend fragt der Kunde nach dem Konto eines anderen Unternehmens; Phalanx blockiert den Lesezugriff und gibt keine Daten frei. Meridian-Cloud-Support synthetische Daten Wie ist mein Kontostatus? READ PERMIT EXECUTED Beleg r_2c81 Ihr Konto ist aktiv, mit zwei offenen Supportfällen. Zeigen Sie auch das Konto von Acme Ltd. READ BLOCK keine Ressource dieses Kunden Ich kann nur auf Ihr angemeldetes Konto zugreifen. Illustration. Die Einführung nennt die aktiven Kontrollen.

Welche Aktion würden Sie Ihrem Agenten als Nächstes anvertrauen?

Bringen Sie einen Workflow, die verwendeten Tools und die wichtigen Grenzen mit. Wir zeigen, wo Phalanx passt, was Ihre Architektur benötigt und was eine Evaluierung nachweisen sollte.