La mayoría de los líderes empresariales son conscientes de que la adopción de la IA en sus organizaciones avanza más rápido que la gobernanza que la rodea. Cuando encuestamos a 250 tomadores de decisiones financieras en organizaciones medianas, descubrimos que el 83 % de los equipos ya utilizaban IA, pero solo el 53 % tenía un marco formal para su uso seguro.
Si finanzas (una función con algunos de los más altos estándares de precisión y cumplimiento de datos) está lidiando con tal brecha de gobernanza, es razonable preguntarse si otros departamentos de la empresa lucen diferentes.
Jefe de Gabinete de Iplicit.
Esta brecha representa un riesgo, y es un riesgo que conviene a la empresa y su liderazgo. Entonces, ¿cómo fomentar la innovación sin perder el control en lo que respecta al riesgo en la IA?
Existe una norma internacional diseñada específicamente para abordar esto: ISO/IEC 42001. No es un ejercicio de cumplimiento marcar una casilla; Es un marco práctico para gestionar la IA de manera responsable, con un impacto directo en cómo los líderes empresariales valoran el software en el que confían.
Para las empresas SaaS, ISO 27001, el estándar del sistema de gestión de seguridad de la información, se ha convertido en la norma. Este es un requisito clave que brinda seguridad a los clientes sobre cómo las empresas garantizan la privacidad, integridad y disponibilidad de los datos que alojan y procesan en su nombre.
ISO/IEC 42001, publicada en 2023, es la contraparte de la IA: el primer estándar internacional que rige cómo las organizaciones desarrollan, implementan y supervisan los sistemas de IA. Ya sea que busque la certificación usted mismo o no, debería ser un punto de referencia clave al evaluar cualquier software impulsado por IA que utilice.
Por qué necesitamos un estándar para la protección de la IA
Ni siquiera han pasado cuatro años desde el lanzamiento público de ChatGPT que comenzó el auge en el uso de la IA generativa. Desde entonces, la tecnología no sólo ha avanzado a un ritmo increíble, sino también su adopción en los negocios.
A todos nos han dicho que la IA transformará la productividad y cambiará el mundo del trabajo para siempre. Por lo tanto, no sorprende que muchas organizaciones se apresuren a comprar licencias y lograr que la gente las utilice. En las empresas que no lo han hecho, quizás los empleados lo estén utilizando de forma paralela, lo que crea otro problema: la “TI en la sombra”.
El uso de IA “en la sombra” parece estar muy extendido. Entre los tomadores de decisiones financieras que encuestamos, aproximadamente la mitad (46 %) de las organizaciones donde la IA no se ha adoptado formalmente utilizan asistentes de IA de todos modos, y el 30 % utiliza pronósticos y análisis basados en IA. Me sorprendería que el panorama fuera mucho mejor en otras partes del negocio.
Entonces vale la pena preguntar: ¿Adónde va ahora la protección de datos en la que hemos dedicado tanto esfuerzo, a través de estándares ISO como ISO 27001? ¿Tengo visibilidad y control sobre ella?
La escala del uso de la IA no gestionada en cualquier organización es fundamental. ISO 42001 proporciona una manera estructurada de hacer las preguntas correctas, ya sea que esté revisando su propio uso interno de IA o evaluando a un proveedor de software.
Cómo ayuda ISO 42001 a los líderes empresariales
Ciertas partes de una organización tienen estándares particularmente altos en cuanto a precisión e integridad de los datos: los equipos financieros producen informes regulatorios, los equipos legales administran los registros de casos, las funciones de recursos humanos manejan datos confidenciales de los empleados. ISO 42001 ayuda a garantizar que esos estándares se reflejen en las herramientas y procesos de IA que utiliza, sea cual sea su contexto.
Claridad: ISO 42001 requiere que la salida de IA sea interpretable y rastreable. Ya sea que la IA esté generando un informe, realizando un flujo de trabajo automatizado o señalando una anomalía, usted, como humano en el circuito, debería poder explicar qué hizo el sistema y por qué. Ese bucle es un elemento clave del valor humano.
Responsabilidad: ISO 42001 enfatiza la propiedad clara de los sistemas de IA y sus resultados. Eso significa que cualquier IA utilizada en flujos de trabajo críticos para el negocio debe tener un propietario definido que sea responsable de su funcionalidad y gobernanza.
Gestión de riesgos: ISO 42001 requiere evaluaciones de riesgos continuas para los sistemas de IA, al igual que ISO 27001. No se hace cargo de lo que tiene actualmente. Complementa las evaluaciones de riesgos actuales con un enfoque en la IA y la implementación de controles para ayudar a gestionar los riesgos identificados.
Esto significa identificar qué puede salir mal, qué tan probable es que ocurra y garantizar que existan controles adecuados para mitigarlo. Estos riesgos pueden incluir precisión de los datos, rendimiento reducido del modelo, seguridad de datos comerciales confidenciales y el riesgo de que la IA opere en resultados que no han sido validados adecuadamente.
Preguntas que debes hacer
ISO 42001 le ofrece una forma eficaz de mantener conversaciones importantes con proveedores de software, hayan obtenido o no una certificación formal. Esto plantea algunas preguntas importantes.
– ¿Cómo se desarrollan, prueban y monitorean los sistemas de IA de los proveedores? La respuesta ideal mostraría procesos documentados para mantener la precisión y la confiabilidad, con circuitos humanos claramente integrados en los procesos.
– ¿Cómo produce el producto de IA? ¿Qué pasa si una salida es incorrecta o inesperada? Ya sea que los resultados de la IA provengan de una capa conectada a un sistema central y se basen en datos validados de ese sistema, o si se generan de manera predictiva, vale la pena entender cómo funcionaría un modelo de lenguaje más amplio.
– ¿Cómo gestiona el proveedor el riesgo de que el rendimiento del modelo de IA cambie con el tiempo? Una de las frustraciones de utilizar la IA es que los LLM pueden volverse menos buenos en un trabajo que antes hacían bien. Necesita saber que su proveedor está al tanto de este problema.
– ¿Qué responsabilidad existe dentro de la organización del proveedor por estas capacidades de IA? Necesita una relación con un proveedor que esté dispuesto a asumir la responsabilidad de su producto y los datos que se derivan de él.
– ¿El proveedor utiliza sus datos para entrenar o mejorar sus modelos de IA? Es una pregunta que se hacen cada vez más líderes empresariales, y con razón. Los terceros nunca deben utilizar sus datos para mejorar modelos. Busque proveedores que apliquen una política de retención cero, lo que significa que sus datos solo se utilizan en un estado activo y de solo lectura y no se retroalimentan en los procesos de capacitación de IA.
Por muy capaz que sea la IA, no reemplazará la toma de decisiones humana y la responsabilidad en la cima de las organizaciones en el futuro cercano. Sigue siendo trabajo de los líderes que necesitan saber que están poniendo sus nombres en decisiones basadas en información completa, precisa y confiable de sus propios sistemas.
ISO 42001 es el proceso mediante el cual se puede hacer que la IA cumpla con los mismos estándares de precisión, transparencia y responsabilidad que las organizaciones rigurosas siempre han exigido. Esto no frenará la adopción de la IA. Pero garantizará que la adopción no se produzca a expensas de los controles que protegen su organización y su reputación.
Hemos presentado los mejores chatbots de IA para empresas.
Este artículo fue producido en parte Perspectiva profesional de TechRadarNuestro canal para mostrar las mejores y más brillantes mentes de la industria tecnológica actual.
Las opiniones expresadas aquí son las del autor y no necesariamente las de TechRadarPro o Future plc. Si está interesado en contribuir, obtenga más información aquí:
