Los sistemas IA robustos y seguros son sistemas de IA que funcionan de forma fiable a los niveles esperados de rendimiento, incluso cuando se enfrentan a la incertidumbre y en presencia de peligro o amenaza. Estos sistemas tienen estructuras, mecanismos o mitigaciones incorporados para prevenir, evitar o proporcionar resistencia a los peligros de un modelo de amenaza en particular. Esta conceptualización se basa en las definiciones existentes que se centran en la corrección de las funciones del sistema y subraya que el comportamiento del sistema debe cumplir con las expectativas de calidad y no generar un comportamiento inesperado como resultado del avance tecnológico u otros cambios en el entorno operativo (p. ej., ruido, degradación del sensor, cambios de contexto). La robustez no es una garantía contra fallos, sino que permite a los usuarios, ingenieros y diseñadores de sistemas mitigar los modos de fallo comunes y saber qué hacer cuando se producen.

Los desarrolladores de sistemas asignan a las tecnologías de IA problemas complejos para los que no hay garantías de lograr soluciones perfectas ni formas de construir conjuntos de datos de entrenamiento que reflejen todos los aspectos de los casos de uso del mundo real. Como resultado, el objetivo del sistema debe pasar de lograr un resultado perfecto a generar confianza en la IA a lo largo de todo el ciclo de vida, desde el diseño hasta el desarrollo, las pruebas, las operaciones y nuevamente a medida que el sistema evoluciona. El desarrollo de nuevas herramientas, procesos y prácticas para pruebas, evaluación, verificación y validación (TEV&V) es fundamental para construir e implementar sistemas de IA robustos y seguros con confianza.

Deusto se centra el trabajo en la robustez y la fiabilidad de la Inteligencia Artificial mediante el estudio de los valores nulos en los datasets y el análisis de redes neuronales inversas.

Proyecto subvencionado por el Gobierno Vasco KK-2022/00007