En la gobernanza de la IA, puedes gobernar lo que puedes ver. Sin embargo, la visibilidad por sí sola no es útil a menos que también comprenda los riesgos dentro de sus modelos y sistemas de inteligencia artificial (IA)
Esto es especialmente cierto para tecnologías emergentes como IA Agentic. Los agentes de IA pueden mejorar la eficiencia y mejorar la productividad, pero comprender el alcance total del riesgo que introducen es más desafiante. “Los riesgos para la IA generativa y el aprendizaje automático pueden ser significativos para empezar, especialmente para ciertos casos de uso,” escribe IBMis Manish Bhide, Heather Gentile y Jordan Byrd. “Agregue agentes de IA, y los riesgos se amplifican aún más.”
Nuestro libro blanco, “Agentes de IA: Oportunidades, riesgos y mitigaciones” proporciona una investigación exhaustiva sobre los riesgos de la IA agentic, explorando tanto la amplificación de los riesgos de IA previamente conocidos como la aparición de nuevos desafíos únicos.
Construyendo sobre nuestro trabajo anterior al identificar los riesgos y las mitigaciones para los modelos de base, este documento equipa a los profesionales con el conocimiento fundamental necesario para comprender, identificar y mitigar los riesgos. Este es un primer paso importante para escalar responsablemente la IA agentica.
Características y capacidades autónomas de los agentes de IA
Los agentes de IA son altamente autónomos, completando varias tareas sin supervisión humana continua. También poseen 4 características que pueden introducir riesgo:
» Opacidad: La visibilidad limitada en el funcionamiento interno y las interacciones de un agente de IA puede obstaculizar la comprensión de las acciones.
» Abierta: Los agentes de IA pueden auto-seleccionar recursos, herramientas e incluso otros agentes de IA para completar tareas, lo que aumenta la probabilidad de acciones inesperadas.
» Complejidad: A medida que los agentes de IA aprenden y se adaptan, su funcionamiento interno se vuelve más complejo, lo que dificulta cada vez más el análisis.
» No reversibilidad: Actuando sin supervisión humana continua, los agentes de IA tienen una mayor probabilidad de tomar acciones irreversibles con consecuencias tangibles tanto en el ámbito digital como en el físico.
La autonomía y las características de los agentes de IA presentan riesgos potenciales, desafíos e impactos sociales que los profesionales deben comprender para escalar de manera responsable la IA agentica.Mixture of Experts | 11 abril, episodio 50
Decodificación de IA: Resumen Semanal de Noticias
Únase a nuestro panel de ingenieros, investigadores, líderes de productos de clase mundial y más a medida que recortan el ruido de la IA para brindarle lo último en noticias e ideas de IA.Mira los últimos episodios de podcast
Encuesta el panorama de riesgo de IA agéntica
Agentic AI introduces new risks and challenges to the AI risk landscape, ones that practitioners are less likely to have considered in the design, development, adoption or governance of previous AI systems.
For example, one new emerging risk involves data bias: an AI agent might modify a dataset or database in a way that introduces bias. Here, the AI agent takes an action that potentially impacts the world and could be irreversible if the introduced bias scales undetected.
La IA agentic también amplifica varias áreas de riesgo conocidas, incluida la evaluación del sistema y el potencial de acciones inexplicables o imposibles de rastrear. Los profesionales deben reevaluar estas áreas cuando trabajan con agentes de IA.
Por ejemplo, un agente de IA con acceso sin restricciones a recursos, bases de datos o herramientas amplifica el riesgo de compartir información confidencial o confidencial con los usuarios. Sin barandillas adecuadas, tal agente podría almacenar y compartir de manera inapropiada información personal, propiedad intelectual u otros datos confidenciales con los usuarios del sistema. El libro blanco detalla estos riesgos y desafíos, explicando sus orígenes e impactos potenciales.
Mitigación de riesgos y gobernanza responsable
Abordar los riesgos y desafíos únicos de la IA agentic requiere un enfoque integral para la mitigación de riesgos, promulgado a través de la gobernanza holística de la IA. Sin embargo, como IBMics Phaedra Boinodiris y Jon Parker recientemente explicado“Agentic AI está avanzando tan rápido que las organizaciones pueden tener dificultades para encontrar precedentes o mejores prácticas para minimizar los daños
Afortunadamente, muchas estrategias que pueden ayudar a mitigar los riesgos de otros tipos de IA, como la IA generativa y el aprendizaje automático, también pueden ayudar a mitigar los riesgos de la IA agentica. Por ejemplo, incorporar a un humano en el bucle es una mejor práctica para la IA responsable de todo tipo. Permitir la validación humana y la retroalimentación sobre las acciones tomadas por los agentes de IA puede ayudar a garantizar la precisión y la relevancia y mantener la alineación con los valores de la organización.
Comprender los riesgos únicos de la IA agentic es un primer paso crítico para escalarla de manera responsable en toda la empresa y darse cuenta de retorno de la inversión (ROI) de la IA responsable. “agentes de IA: Oportunidades, riesgos y mitigacións” puede ayudarlo a conceptualizar el panorama de riesgo de IA agentic con mayor claridad y considerar cómo su organización puede capitalizar responsablemente las inmensas oportunidades presentadas por los agentes de IA.
Leer Agentes de IA: Oportunidades, riesgos y mitigaciones
Obtenga más información sobre el enfoque de IBM para la IA responsable
IBM News. Traducido al español
Contacto