La confianza es un problema importante que obstaculiza la adopción de la tecnología de IA y tiene sus raíces en el problema de la IA de “caja negra”.
A medida que las empresas se apresuran a implementar proyectos de IA, muchas han comprado modelos de cajas negras previamente entrenados que brindan respuestas, pero no explicaciones.
Muchas herramientas de IA conocidas se consideran cajas negras: no podemos ver su interior, realizan bien las tareas, pero no estamos necesariamente seguros de cómo.
Vicepresidente y director nacional para Reino Unido e Irlanda del Norte, Snowflake.
Según McKinsey, el 40% de las organizaciones citan la interpretabilidad como un obstáculo que impide la confianza en la IA. Obtener valor de la tecnología de IA en la empresa requiere algo diferente del enfoque actual que muchos han adoptado. Necesitamos soluciones que brinden más transparencia sobre cómo funcionan y cómo llegan a las respuestas que brindan.
Si los CIO, los desarrolladores y los usuarios finales pueden trabajar juntos, podemos lograr una IA que sea transparente, adaptable y conectada a las necesidades reales. Así como esperamos que los investigadores académicos “muestren su trabajo” citando sus fuentes, deberíamos esperar lo mismo de los sistemas de IA.
Ya existen nuevas tecnologías y métodos para permitir esta rendición de cuentas, y las regulaciones ayudan a exigir transparencia y rendición de cuentas. Las empresas deben participar activamente en él: un sistema de IA es como un empleado en muchos sentidos.
Lo ‘contratamos’ para hacer un trabajo y, como un empleado, necesitamos entender lo que hace para poder medir y monitorear su desempeño.
Grieta en la primera ola
Si bien ChatGPT cambió el mundo para siempre en noviembre de 2022, la barrera de entrada del modelo entrenable significó que las empresas dependieran principalmente de opciones patentadas y previamente capacitadas propiedad de grandes empresas de tecnología para moverse rápidamente.
Muchos continúan con esta estrategia, aunque estos modelos no están entrenados en datos comerciales, a menudo no logran satisfacer las necesidades específicas de esa organización y ofrecen poca transparencia sobre lo que sucede “bajo el capó”.
En conversaciones con tomadores de decisiones de TI, escuchamos problemas reales planteados en torno al cumplimiento, la ética y la competencia de la IA. Los posibles sesgos tóxicos y la discriminación pueden tener implicaciones en el mundo real dependiendo del rendimiento de las herramientas impulsadas por la IA y de la interacción con ellas. En última instancia, estos riesgos ralentizan la adopción y limitan los posibles casos de uso y aplicaciones.
Para las empresas, este es un riesgo clave y un obstáculo para generar confianza en torno a la IA. La misma encuesta de McKinsey encontró que solo el 17% de los encuestados dijeron que actualmente estaban trabajando para reducir los problemas de interpretabilidad a pesar de reconocerlo como un problema.
El informe también afirma que los sistemas que brindan más interpretabilidad serán un facilitador clave a medida que la IA vaya más allá de la implementación de casos de uso inicial hacia una adopción escalada en toda la empresa. Aunque la regulación ha avanzado, la gestión de riesgos aún debe provenir de empresas que tomen la iniciativa en abordar este problema.
Cambio hacia la apertura y la personalización
A medida que las empresas comienzan a dar un paso atrás y adoptar una visión más amplia de la adopción de la IA, queda claro que la transparencia y la gobernanza son tan importantes como la velocidad. Durante años, adoptar la IA significó depender de modelos opacos y universales en los que se tenía menos visibilidad sobre cómo se tomaban las decisiones y la capacidad de adaptarlas a su negocio.
Estos sistemas de “caja negra” obligaron a las organizaciones a aceptar resultados genéricos, revelar sus datos patentados a proveedores externos y esperar que los resultados fueran precisos e imparciales. Esto puede ser un obstáculo importante en muchas industrias y casos de uso altamente regulados.
Este enfoque está dando paso rápidamente a un nuevo paradigma: modelos abiertos y personalizables que brindan a las empresas control total sobre cómo se construye, ajusta e implementa la IA en sus propios términos utilizando sus propios datos.
Al elegir una plataforma de datos e IA que calcule a partir de datos, las empresas pueden garantizar que la IA funcione dentro de parámetros controlados y que usted tenga elección y control del modelo. Sus datos nunca tienen que salir de su cuenta, por lo que mantiene la gobernanza, la privacidad y el cumplimiento en todas partes.
El resultado es una IA que realmente comprende su contexto empresarial, proporciona respuestas más relevantes y evoluciona a medida que cambian sus necesidades. Esto pone la ventaja estratégica de la IA firmemente en sus manos, no en las del proveedor.
Creando IA en la que la gente confíe
A medida que la IA pasa de la experimentación a decisiones comerciales reales, la confianza se convierte en un desafío decisivo. Los agentes (sistemas de inteligencia artificial que pueden razonar, tomar medidas y realizar tareas en su nombre a través de herramientas) representan un gran salto en productividad, pero solo si las personas confían en ellos lo suficiente como para confiar en ellos.
Esa confianza no proviene de promesas de marketing; Esto se logra al poder ver exactamente lo que hizo un agente, por qué lo hizo y qué datos utilizó allí, mientras utiliza a un humano en el circuito para tomar decisiones clave. La observabilidad y la transparencia no son sólo sutilezas técnicas, son la base que determina si su organización realmente adoptará la IA o la dejará de lado como proyecto piloto.
La IA interpretable y observable es el núcleo de nuestras políticas de IA responsable en Snowflake y debe ser un principio rector para cualquier organización que espere cosechar los beneficios de la IA. Los equipos de cumplimiento, legales y comerciales deben poder examinar el comportamiento de la IA con el mismo rigor que cualquier otro proceso empresarial, haciendo que la IA pase de ser una caja negra a algo que toda su organización pueda respaldar con confianza.
Al adoptar un enfoque integrado que involucre a los CIO, los desarrolladores y las plataformas de datos, las empresas pueden trabajar para crear una IA en la que a las personas les resulte fácil confiar y ofrecer a la empresa de maneras que la IA opaca y prediseñada no puede.
abriendo la caja
En la prisa por aprovechar los beneficios de la IA, muchas empresas han descubierto que los sistemas de caja negra, por muy potentes que sean, introducen más riesgos que sus beneficios principales. El valor duradero sólo surgirá cuando las empresas puedan comprender, cuestionar y gestionar con confianza la tecnología que implementan.
El camino a seguir es una IA transparente, interpretable, observable, responsable y conectada a los propios datos y necesidades de una organización.
Al adoptar la apertura, integrar la supervisión humana y adoptar plataformas que prioricen el desarrollo responsable y bien gobernado de la IA, las empresas finalmente podrán desbloquear el potencial de la IA a escala.
Esta no es sólo una elección técnica sino un imperativo estratégico, ya que la transparencia determinará la confianza a largo plazo, la preparación regulatoria y la ventaja competitiva.
Las empresas que inviertan en interpretabilidad y observabilidad ahora estarán en la mejor posición para construir sistemas de inteligencia artificial que ofrezcan valor confiable mucho después de que se desvanezca la primera ola de exageraciones sobre las cajas negras.
Enumeramos el mejor software de automatización robótica de procesos (RPA).
Este artículo fue producido en parte Perspectiva profesional de TechRadarNuestro canal para mostrar las mejores y más brillantes mentes de la industria tecnológica actual.
Las opiniones expresadas aquí son las del autor y no necesariamente las de TechRadarPro o Future plc. Si está interesado en contribuir, obtenga más información aquí:
