InvarraPortal de clientes

Control de ejecución para agentes de IA

Cuando un agente puede actuar, sus errores salen de la conversación.

Una respuesta incorrecta puede corregirse en el siguiente mensaje. Un registro modificado, un archivo divulgado o una operación repetida ya han ocurrido. Phalanx se sitúa entre sus agentes de IA y sus sistemas empresariales y permite ejecutar una acción protegida solo cuando está dentro de la autoridad que usted definió.

Phalanx decide qué acciones propuestas por un agente de soporte se ejecutan Ilustración. Un agente de soporte propone tres acciones por turnos. Consultar la cuenta del cliente autenticado supera todas las comprobaciones y se permite; un conector protegido realiza la lectura y el resultado se registra como EXECUTED. Cambiar el plan de la cuenta requiere aprobación de un operador y queda en HOLD; no se ejecuta nada. Enviar el historial del caso a una dirección externa incumple la regla de destino y se bloquea; nunca se llama al conector. El agente propone Phalanx comprueba Tarea y cliente autenticados Reglas para esta acción Estado actual Límites restantes PERMIT HOLD BLOCK Permiso de un solo uso Espera a un operador No se emite permiso Consultar la cuenta del cliente autenticado Dentro del límite de lectura de la tarea PERMIT Permiso de un solo uso El conector lee Registro: EXECUTED Cambiar el plan de la cuenta A-102 El cambio de plan requiere aprobación HOLD Espera a un operador No se ejecuta nada Registro: HELD Enviar el historial del caso a una dirección externa Destino no aprobado BLOCK No se emite permiso Nunca se llama al conector Registro: BLOCKED
Phalanx decide qué acciones propuestas por un agente de soporte se ejecutan Ilustración. Un agente de soporte propone tres acciones por turnos. Consultar la cuenta del cliente autenticado supera todas las comprobaciones y se permite; un conector protegido realiza la lectura. Cambiar el plan de la cuenta requiere aprobación de un operador y queda en HOLD. Enviar el historial del caso a una dirección externa incumple la regla de destino y se bloquea. El agente propone Phalanx comprueba Tarea y cliente autenticados Reglas para esta acción Estado actual Límites restantes PERMIT HOLD BLOCK Permiso de un solo uso Espera a un operador No se emite permiso Consultar la cuentadel cliente autenticado Condiciones cumplidas. Dentro del límite de lectura. PERMIT Permiso de un solo uso El conector lee Registro: EXECUTED Cambiar el plan de la cuenta A-102 Cambiar el plan requiere aprobación de un operador. HOLD Espera a un operador No se ejecuta nada Registro: HELD Enviar el historial del casoa una dirección externa Destino no aprobado para esta tarea. BLOCK No se emite permiso Nunca se llama al conector Registro: BLOCKED
Ilustración. Un agente de soporte propone tres acciones; las reglas que usted fija deciden sobre cada una.
  • Versión de producción 1.9
  • Se ejecuta en su infraestructura
  • Sin modelo en la ruta de decisión

Los agentes capaces fallan de formas habituales.

Ninguno de estos casos necesita un atacante. Cada uno ocurre cuando un plan que parece razonable se encuentra con un sistema real.

El cliente equivocado Ilustración. El cliente 4471 ha iniciado sesión. Un mensaje de la conversación menciona la cuenta 8812 y el agente actúa sobre la cuenta 8812 en lugar de la cuenta autenticada. Sesión: 4471 «…y actualiza la cuenta 8812» Cuenta 4471 sesión activa Cuenta 8812 modificada

El cliente equivocado

El identificador de otro cliente aparece en la conversación y el agente actúa sobre esa cuenta en lugar de la que ha iniciado sesión.

La misma acción dos veces Ilustración. El agente envía una actualización de caso. Se pierde la respuesta, el agente vuelve a intentarlo y el cliente recibe la misma actualización dos veces, con cinco segundos de diferencia. Agente Servicio de correo respuesta perdida, reintento Actualización de caso enviada 10:02:14 Actualización de caso enviada 10:02:19

La misma acción dos veces

Se pierde una respuesta, el agente vuelve a intentarlo y la operación se ejecuta una segunda vez.

La sobrescritura obsoleta Ilustración. El agente lee la versión 7 de un registro. Un colega guarda después la versión 8. El agente escribe los datos de la versión 7 y sobrescribe el cambio del colega. Registro: caso 5521 El agente lee v7: abierto Un colega guarda v8: escalado Agente escribe datos v7 El escalado se pierde sin aviso

La sobrescritura obsoleta

El agente lee un registro, otra persona lo actualiza y el agente escribe lo que había visto antes.

El destino equivocado Ilustración. El agente envía el historial de un caso. En lugar de la dirección de empresa aprobada, lo envía a una dirección de un dominio externo. Historial del caso 12 mensajes aprobado @yourco.com externo @other.com

El destino equivocado

El historial de un caso se envía a una dirección externa a la empresa porque alguien lo pidió o porque parecía útil.

Cada límite respetado, el total excedido Ilustración. Tres herramientas usan alrededor del 60 % de su propio límite, por lo que cada una parece correcta. Juntas usan casi el doble de lo que permitía la tarea completa. Herr. A Herr. B Herr. C cada una dentro del límite Tarea límite de tarea excedido

Cada límite respetado, el total excedido

Tres herramientas se mantienen dentro de su propio límite. Juntas hacen mucho más de lo que la tarea permitía.

Cada caso es una llamada a una herramienta correctamente formada. Por eso consigue pasar.

Sus controles actuales comprueban lo que dice el agente. Estas son cosas que hace.

Cada control siguiente es útil. Ninguno se diseñó para decidir si esta acción, para este cliente, en el estado actual, debe ejecutarse ahora.

Si utilizaEstá diseñado paraDónde se queda corto
Barreras de prompts y clasificadoresJuzgar si un texto parece dañinoLos cinco escenarios parecen llamadas a herramientas normales y corteses
Claves de API con alcance limitado y listas de herramientas permitidasDecidir qué herramientas puede usar un agenteLa clave no sabe qué cliente ha iniciado sesión, si el registro cambió ni qué hicieron ya otras herramientas
Comprobaciones dentro de cada manejador de herramientasAplicar lo que haya programado para esa herramientaCada herramienta solo se ve a sí misma, y la comprobación se ejecuta en el mismo proceso que posee la credencial
Una persona que aprueba cada acciónDetectar errores mediante revisiónFunciona hasta que el volumen convierte la revisión en una formalidad y elimina la razón de tener un agente

La única comprobación que no puede omitirse es la que está en el punto de ejecución.

Controle la acción donde se ejecuta. Quite la clave al agente.

Si el agente posee una credencial, todas las demás comprobaciones son orientativas: un plan incorrecto aún puede ejecutarse. Phalanx sitúa la credencial fuera del alcance del agente. El agente solo puede proponer.

Phalanx comprueba cada propuesta frente a la tarea autenticada, sus reglas, el estado actual y los límites restantes. Solo un permiso de un solo uso permite que un conector protegido, el componente que posee la credencial, la lleve a cabo. Después, Phalanx registra lo ocurrido, incluido cuando el resultado es incierto.

Sin Phalanx el agente posee la credencial; con Phalanx solo puede proponer Arriba: un agente de IA posee la clave de la API de cuentas y puede llamarla directamente, de modo que puede hacer lo que decida. Abajo: el agente no posee ninguna clave y envía una propuesta a Phalanx. Solo un permiso de un solo uso llega al conector protegido, que posee la clave y llama a la API de cuentas. Sin límite de ejecución Agente de IA posee la clave API API de cuentas cualquier llamada El agente puede hacer lo que decida. Con Phalanx Agente de IA sin credencial propone Phalanx decide cada acción permiso de un solo uso Conector protegido API de cuentas El agente solo puede proponer. La clave reside en el conector, y solo una acción permitida llega a él. Ilustración. Cada acción inscrita tras Phalanx.

Cómo terminan los cinco escenarios

EscenarioCon Phalanx en la ruta
El cliente equivocadoEl cliente procede de su autenticación, no del chat, de modo que una cuenta distinta queda fuera de la tarea y la acción se bloquea.
La misma acción dos vecesUn reintento se reconoce como la misma operación. Una respuesta perdida se concilia antes de enviar nada de nuevo.
La sobrescritura obsoletaLa comprobación de estado del contrato detecta que el registro cambió y detiene la escritura.
El destino equivocadoEl destino no está aprobado para esta acción, por lo que no se emite ningún permiso.
Cada límite respetado, el total excedidoEn un flujo de trabajo compartido configurado, todas las herramientas utilizan un único presupuesto de tarea. Otra herramienta no significa otra asignación.

Qué cambia cuando Phalanx está en la ruta

Ingeniería

Ingeniería entrega un agente que actúa

Sus reglas residen fuera del prompt y sus credenciales fuera del agente. El agente puede hacer trabajo real sin poseer las claves para hacer cualquier cosa.

Seguridad

Seguridad revisa un único límite

Qué credenciales existen, dónde residen y qué puede hacer cada acción protegida: un lugar que inspeccionar en lugar de cada prompt.

Operadores

Los operadores pueden responder «¿qué ocurrió?»

Un registro firmado muestra lo que se propuso, decidió, ejecutó y verificó, y lo que aún necesita una persona. Las acciones en HOLD esperan a los operadores.

Véalo en un agente en funcionamiento.

Explore Phalanx en Meridian, una plataforma sintética de clientes. Phalanx controla rutas de acción inscritas seleccionadas y registra sus decisiones, ejecución y resultados. Pregunte al chatbot de soporte por su cuenta y la respuesta procederá de una lectura protegida con su propio recibo.

Phalanx 1.9 es una versión de producción, cualificada sobre sus artefactos firmados antes de la entrega.

Se ejecuta en su infraestructura, en Linux con Docker o en Render. Despliegue

Una lectura protegida en la demo de Meridian Ilustración de un chat de soporte en Meridian, una empresa sintética. Un cliente pregunta por el estado de su cuenta. Phalanx permite el READ protegido de esa cuenta, el conector lo ejecuta y la respuesta incluye un recibo. El cliente pide después la cuenta de otra empresa; Phalanx bloquea la lectura y no se libera ningún dato. Soporte de Meridian Cloud datos sintéticos ¿Cuál es el estado de mi cuenta? READ PERMIT EXECUTED recibo r_2c81 Su cuenta está activa, con dos casos de soporte abiertos. Muéstreme también la cuenta de Acme Ltd. READ BLOCK no es un recurso de este cliente Solo puedo acceder a la cuenta con la que ha iniciado sesión. Ilustración. La introducción enumera los controles activos.

¿Qué acción confiaría a su agente a continuación?

Traiga un flujo de trabajo, las herramientas que usa y los límites que importan. Le mostraremos dónde encaja Phalanx, qué necesita su arquitectura y qué debería demostrar una evaluación.