8.3
Evitar la (double) black box
La introducción de IA y sistemas autónomos en entornos industriales intensifica el riesgo de la black box.
En una single black box, el operario ya no comprende plenamente los procesos físicos de la máquina debido a la complejidad técnica o a la falta de formación. La double black box aparece cuando, además, las decisiones del sistema —basadas en algoritmos de IA— resultan opacas e inexplicables para el usuario.
Tal como señalan Shivankar y Ramachandran (2024), esta doble opacidad deteriora la capacidad de intervención humana, reduce la conciencia situacional y erosiona progresivamente las competencias del operario. Evitar la double black box implica diseñar HMIs que hagan visibles tanto el estado del sistema como la lógica de decisión de la IA, manteniendo al usuario dentro del bucle de control y preservando la inteligencia conjunta humano–máquina.
Explicar la lógica de decisión del sistema
Mantener al usuario en el loop
Cuando interviene IA o automatización avanzada, el sistema debe comunicar por qué actúa así y bajo qué criterios, reduciendo la opacidad algorítmica, Inteligencia Artificial Explicable (XAI).
Permitir supervisión, validación o corrección de decisiones automáticas para preservar el control operativo.
BIBIANA NICOLÁS CORREA,
Presidenta del Grupo Correa
“Los clientes piden máquinas cada vez más autónomas porque tiene problemas para encontrar personal profesional”
The Automation Paradox
Para compensar la falta de personas, se delegan más decisiones en sistemas inteligentes, haciendo los procesos más complejos y menos transparentes. Cuando algo falla, el operario no solo pierde capacidad de intervención, sino también de comprensión: la IA añade una nueva capa de opacidad al proceso. Así, la automatización y la IA resuelven un problema inmediato de recursos, pero pueden generar un (double) black box effect si no se diseñan como inteligencia compartida, explicable y orientada al aprendizaje humano.
