Nvidia anuncia el sistema ‘verificar antes de confiar’ para detectar fallas en los agentes de IA

La multinacional de tecnología NVIDIA ha anunciado SkillSpector, una útil de prospección de seguridad que apunta a las capacidades de agentes con inteligencia fabricado. Esto fue diseñado para introducir una capa de moral auténtico a un ecosistema que anteriormente operaba con niveles muy bajos de auditoría.

Este sistema se podio en una premisa simple pero importante. Ayer de que se pueda ejecutar la sagacidad o función de un agente, se debe restablecer su contexto completo. Luego realizamos múltiples formas de prospección en paralelo para evaluar si el comportamiento es seguro o potencialmente peligroso.

La útil cubre 64 tipos de vulnerabilidades en 16 categorías, incluida la inyección rápida (un tipo específico de ataque a modelos de IA), filtración de datos, subida de privilegios y riesgos de la dependencia de suministro.

La evaluación de riesgos es acumulativa, no binaria. Cada resultado suma puntos dependiendo de su alcance. El peligro bajo vale 5 puntos, el peligro medio vale 10, el peligro detención vale 25 y el peligro severo vale 50 puntos. El resultado final se convierte a una escalera de 0 a 100, con títulos superiores a 50 activando el obstrucción inevitable.

Este sistema de calificación se podio en hallazgos relevantes del prospección de ecosistemas. Aproximadamente el 26,1% de las competencias evaluadas tienen al menos una vulnerabilidadPor otro flanco, el 5,2% presenta patrones de adhesión alcance que indican posibles comportamientos maliciosos. Estas tasas refuerzan la falta de producirse de modelos basados ​​en la confianza implícita a modelos en los que la seguridad se verifique sistemáticamente antaño de la ejecución.

El objetivo no es sólo identificar riesgos, sino incorporarlos al ciclo de avance. SkillSpector puede funcionar como parte de un flujo de integración continua utilizando GitHub Actions.Aquí solo se analizan los cambios introducidos en cada pull request relacionados con la sagacidad. El modo sin maniquí de estilo no requiere una esencia API para el proceso y se centra en un prospección determinista y reproducible.

Agente de IA expuesto

Las principales tensiones que revela SkillSpector no son sólo técnicas sino todavía estructurales. El ecosistema de agentes de IA se ha expandido bajo un maniquí de instalación rápida de habilidadesla modularidad y la quebranto fricción facilitan la prohijamiento masiva, pero al mismo tiempo dejan lagunas importantes en términos de auditorías iniciales estandarizadas.

Esto crea una contradicción que es difícil de ignorar. Por un flanco, el crecimiento de estos sistemas depende directamente de la facilidad de integración y de la mínima resistor con la que se puedan incorporar nuevas habilidades. Es esa flexibilidad la que acelerará su expansión.. Por otro flanco, esta misma característica amplifica el peligro eficaz, ya que la desatiendo de moral auténtico convierte la confianza implícita en el principal mecanismo de seguridad.

De lecturas inspiradas en los títulos de los Bitcoiners, Este ambiente es particularmente relevante porque refleja un sistema que todavía depende de la confianza por defecto.en superficie de apoyarse en un mecanismo de demostración independiente. En ese sentido, un movimiento natural que estamos empezando a observar es el de avanzar en torno a modelos donde la ejecución no es cibernética, sino basada en una deducción de “realizar antaño de ejecutar” y condicionada a un proceso de moral previo.

Aunque SkillSpector es una útil de código extenso, todavía introduce otra capa de discusión. La infraestructura para realizar esta moral no está completamente distribuida.pero todavía depende en gran medida de grandes actores internamente del ecosistema de inteligencia fabricado. Esto crea una tensión adicional entre la idea de tolerancia del software y la centralización de las capas de control y moral, lo que contrasta con la filosofía de descentralización asociada al maniquí Bitcoin.

Desde esa perspectiva, esto es consistente con la sucesivo idea básica: Acortar la dependencia de la confianza en los actores del sistema y reemplazarla con mecanismos que permitan la demostración. Comportarse de forma independiente. Aunque los contextos de los sistemas centralizados de inteligencia fabricado y las redes descentralizadas son diferentes, la orientación conceptual es similar. Una transformación en torno a una inmueble donde la confianza se demuestra mediante la demostración en superficie de asumirse.