Midiendo la confianza Por qué cada modelo de IA necesita una puntuación FICO

Por qué los modelos de IA necesitan una puntuación FICO para medir la confianza

La inteligencia artificial generativa pronto se popularizará, según el informe “Estado de la TI en 2023” de Salesforce, en el que el 90% de los líderes de TI lo afirman.

Según McKinsey, el 50% de las organizaciones utilizaron IA en 2022. IDC pronostica que el gasto global en IA aumentará un asombroso 26,9% solo en 2023. Una encuesta reciente a profesionales de atención al cliente encontró que la adopción de IA había aumentado un 88% entre 2020 y 2022. La investigación muestra que el 86% de los líderes de TI creen que la IA generativa jugará un papel destacado en su organización en un futuro próximo.

También: Dos tercios de los profesionales creen que la IA aumentará el valor de sus habilidades

Y sin embargo, el 64% de los líderes de TI están preocupados por la ética de la IA generativa, y el 62% están preocupados por su impacto en sus carreras. En una encuesta reciente a líderes de TI, las preocupaciones en torno a la IA generativa incluyen riesgos de seguridad (79%), sesgo (73%) y huella de carbono (71%). Otro informe encontró que el 23% de los clientes no confía en la IA y el 56% es neutral. Este déficit de confianza puede variar en función de cómo las empresas utilicen y brinden servicios impulsados por IA.

La última investigación de McKinsey estima que la IA generativa podría agregar el equivalente de $2,6 billones a $4,4 billones anualmente en los 63 casos de uso analizados por McKinsey, en comparación, el PIB total del Reino Unido en 2021 fue de $3,1 billones. Esto aumentaría el impacto de toda la inteligencia artificial en un 15 a 40%. El mayor impedimento para el crecimiento y la adopción de la IA es la confianza. La brecha de habilidades de los empleados y la confianza son los mayores obstáculos para la adopción empresarial de la IA generativa.

• Meta confirma que la versión web de Threads estará disponible en un...
• La nueva aplicación Fire TV Channel de Amazon facilita la transmisi...
• Qué hacer cuando te duele la muñeca del ratón

También: IA generativa y la cuarta pregunta: Construyendo confianza con tu cliente

Para obtener una mejor perspectiva de cómo los proveedores de soluciones de IA pueden ganar la confianza de todas las partes interesadas: empleados, clientes, socios y comunidades a las que sirven, tuve una fascinante discusión con Richie Etwaru, un experto en privacidad de datos, análisis avanzado, IA y transformación digital. Etwaru, cofundador y director creativo de Mobeus, tiene numerosas patentes, libros, charlas TEDx e innovaciones pioneras en la industria a su nombre.

¿Cómo podemos construir confianza con todos los modelos fundamentales utilizados para la IA generativa y más allá? Esto es lo que propuso Etwaru.

La afirmación de Arthur C. Clarke, “Cualquier tecnología suficientemente avanzada es indistinguible de la magia”, escrita en su libro de 1962 “Perfiles del futuro: Una investigación sobre los límites de lo posible”, ha resistido el paso del tiempo.

Avancemos rápidamente 60 años hasta el 20 de noviembre de 2022, cuando OpenAI presentó ChatGPT, una maravilla tecnológica tan avanzada que parecía difuminar las líneas entre la magia y la brujería. Esto no era solo magia; era inquietante. La relación de la humanidad con la magia es de equilibrio. Nos deleitamos con la magia cuando es cautivadora e impresionante, pero cuando trasciende nuestra comprensión, cruzando una frontera de entendimiento, se vuelve intimidante. El momento en que la magia parece demasiado poderosa, nos aleja de nuestras zonas de confort y nos lleva a una dimensión desconcertante. La incomodidad se debe a enfrentar fenómenos que evaden explicaciones lógicas o científicas.

También: Los mejores chatbots de IA: ChatGPT y otras alternativas destacadas En el panorama tecnológico, tanto ChatGPT como sus contemporáneos, modelos de lenguaje grandes diseñados para la interacción y cosas como DALL-E con la capacidad de generar texto a medios, ofrecen algo inesperado. Presentan avances que Clarke quizás no haya imaginado y logran un nivel de sofisticación que va más allá de la mera “magia”, evocando preocupación instintiva porque introducen conceptos y capacidades que nos resultan difíciles de comprender.

La psique humana es delicada. Cuando nos enfrentamos a fenómenos inexplicables, nuestra respuesta innata, moldeada por la evolución, a menudo tiende hacia el miedo. Es por eso que una criatura diminuta y desconocida puede resultar más intimidante que una bestia masiva y conocida. ChatGPT y sus pares han traspasado esta barrera de “más que magia” y sus capacidades impresionantes están causando revuelo.

La inteligencia artificial no nos asusta por sus capacidades, sino más bien porque tenemos poco entendimiento de cómo funciona y logra lo que hace. Nuestra falta de comprensión nos hace imaginar todas las cosas adicionales que la IA podría “potencialmente hacer”.

También: Cómo redactar mejores indicaciones para obtener los mejores resultados de IA generativa con ChatGPT

En el artículo “Cálmate sobre GPT-4 de una vez”, Rodney Brooks argumenta que debemos “dejar de confundir el rendimiento con la competencia”. Brooks explica que si un modelo de IA puede hacer X, no debemos presumir que también puede hacer Y solo porque los humanos que pueden hacer X generalmente pueden hacer Y. Nuestro miedo surge al imaginar habilidades ilimitadas de la IA, cuando en realidad estamos sobreestimando la competencia general de los sistemas que muestran una efectividad sorprendente en aplicaciones específicas. Desmitificar el funcionamiento interno de la IA podría reducir significativamente el miedo que la rodea. Si podemos pasar de una “caja negra” opaca a un “cubo de vidrio” transparente, podemos recalibrar cómo adoptamos la tecnología como especie.

En su charla “Más allá de ChatGPT: Dentro de las mentes de la IA generativa”, el Dr. Michael Wu explica cómo una indicación simple como “¿De qué color es el cielo?” realmente funciona. Wu hace un gran trabajo al desmitificar los modelos generativos, demostrando que sus respuestas sorprendentes se producen utilizando “solo matemáticas” y estadísticas, no inteligencia consciente. Revelar los fundamentos matemáticos detrás de las respuestas de la IA confirma para la audiencia que los sistemas no poseen conciencia como los humanos.

También: Casi caigo en la estafa de la factura de cripto generada por IA, y soy un profesional de la seguridad

Aunque hoy estamos comenzando a comprender mejor la IA, el camino por delante sigue siendo largo. En junio, el CEO de AWS, Adam Selipsky, dijo a CNBC que solo hemos dado “tres pasos y es una carrera de 10.000 metros” en la IA. A medida que la IA avanza, los modelos superarán sus capacidades actuales. El dominio de datos mejorado, la gestión de modelos mejorada, una mayor integración en el ecosistema, la capacitación de las personas y la innovación matemática/estadística continua pueden mejorar significativa, si no exponencialmente, la IA con el tiempo. Aunque regulamos nuestros miedos hacia tecnologías pasadas como la electricidad, el vuelo, los automóviles y ​​Internet, es poco probable que podamos regular por completo nuestros miedos hacia la IA. Esto se debe a que la IA tiene una exponencialidad acumulativa, mientras que todo lo que ha venido antes es lineal en el mejor de los casos. En el fondo, nuestra ansiedad proviene de cómo la IA puede afectar la capacidad de la humanidad para seguir prosperando como especie. En un escenario extremo, catastrofizamos sobre la IA que lleva a la extinción humana. Pero el resultado probablemente será menos binario que una victoria o derrota total. En lugar de enmarcar el futuro como una victoria o una pérdida para los humanos, debemos encontrar formas de coexistir de manera duradera y sostenible con la inteligencia artificial.

También: Los 5 mayores riesgos de la IA generativa, según un experto

Con la coexistencia como principio rector, necesitamos un mecanismo para evaluar qué tan alineado está un modelo de IA con ese objetivo. Cuando se nos presenta un sistema de IA, deberíamos poder juzgar de inmediato si es una “buena IA” que respalda la coexistencia entre humanos y AI y satisface las necesidades humanas, o si ignora la coexistencia y no se puede confiar en él. Necesitamos algún tipo de sistema de puntuación fácil de entender que indique la confiabilidad de un modelo de IA y su servicio a la humanidad.

Sin ese mecanismo, podríamos volvemos cada vez más sospechosos de toda la IA, lo que podría generar desconfianza hacia cualquier corporación que la emplee. Un marco coherente para evaluar la alineación de la IA con la coexistencia humana-IA es clave para generar confianza pública y extraer valor de la tecnología. La Ley de IA de la Unión Europea ha dado los primeros pasos hacia un sistema de puntuación de IA al requerir una marca CE y un número de modelo único para cada modelo de IA, rastreable hasta los datos de evaluación de conformidad. Sin embargo, la información subyacente en esta marca CE solo revela cómo se entrenó y creó el modelo. No indica si el modelo se puede confiar. Un modelo puede cumplir con las regulaciones aplicables pero aún así no ganar la confianza del público, lo que afecta las percepciones de los consumidores, corporaciones o países que utilizan el modelo para productos y servicios. Cumplir con los requisitos no equivale a una alineación de coexistencia. Necesitamos un marco de evaluación de puntuación de IA que vaya más allá de las métricas técnicas para evaluar explícitamente el beneficio humano, la transparencia y el potencial de coexistencia.

También: Ética de la IA: Beneficios y riesgos de la inteligencia artificial

Empresas como Google y OpenAI han comenzado a utilizar “tarjetas de modelo” para recopilar y presentar información sobre el diseño, los datos, el entrenamiento, el rendimiento y las limitaciones de sus modelos. Por ejemplo, el modelo de IA BlazeFace de MediaPipe de Google tiene una tarjeta de modelo que tiene las secciones, los datos y el formato prescritos en un artículo escrito principalmente por empleados de Google. Por otro lado, OpenAI tiene una “tarjeta de sistema” para GPT-4 que tiene las secciones, los datos y el formato prescritos en un artículo de la Universidad de Stanford.

Mientras que tanto las tarjetas de modelo/sistema son un paso en la dirección correcta, el hecho de que cada una siga un formato y una arquitectura de información independiente es solo uno de los muchos desafíos. El desafío principal es que la mayoría de los consumidores no tendrán el tiempo, la paciencia o la aptitud para leer y comprender estas tarjetas de modelo/sistema, y por lo tanto, aunque las tarjetas están disponibles para el consumo público, son algo inútiles para los consumidores. Demasiado largas para leer y demasiado difíciles de entender.

También: El 40% de los trabajadores tendrán que adquirir nuevas habilidades en los próximos tres años debido a la IA, según un estudio de IBM

Como ejercicio, definamos una puntuación simple y fácil de entender que indique la alineación de un modelo de IA con las necesidades humanas y la convivencia entre humanos y AI. Para imaginar cómo una puntuación indicaría la confiabilidad de un modelo para la convivencia, imaginemos una “puntuación de Convivencia Humano y AI” (también conocida como HAICO). ¿Cómo podría funcionar esto? ¿Qué datos de cada modelo de IA se necesitarían recopilar, con qué frecuencia y qué fórmula se usaría para calcular la puntuación HAICO? El marco tendría que destilar información compleja en una puntuación fácilmente comprensible que señale la alineación de convivencia de un modelo al público en general.

Aunque es complejo, dar vida a un marco de puntuación como este no es imposible. Imaginemos que nuestra puntuación HAICO ilustrativa consta de 50 atributos de un modelo de IA agrupados en las cinco capas de la Jerarquía de Necesidades de Maslow (Figura 1).

Cada uno de los 50 atributos mediría algo que está alineado con la convivencia entre humanos y AI. Los datos de los atributos se recopilarían de todo el proceso del modelo, desde la transparencia de las rutinas incorporadas en el silicio utilizado en los chips, hasta el consentimiento y la propiedad de los datos de entrenamiento, el diseño del modelo, el rendimiento de inferencia, el reentrenamiento y la redistribución.

Ejemplos de atributos del modelo incluirían elementos como si el modelo es robusto, disponible, justo, respeta la autonomía humana, está orientado al consenso, aprende continuamente y agrega valor a la vida humana. Cada atributo se puntuaría del 0 al 5, luego una fórmula los combinaría en una puntuación HAICO general del 0 al 100 para cada modelo (Figura 2).

También: El auge de la IA de hoy amplificará los problemas sociales si no actuamos ahora, dice un ético de la IA

El sistema final de puntuación HAICO de tres niveles:

• No Coexistente (0-59 puntos): No se confía en que satisfaga las necesidades humanas.
• Coexistente (60-79 puntos): Se confía en que satisface las necesidades humanas.
• Muy Coexistente (80+ puntos): Se confía en gran medida en que satisface las necesidades humanas.

Esto ilustra cómo los detalles técnicos multinivel podrían mapearse a un modelo simple de tres niveles de convivencia y puntuación de confiabilidad. El marco HAICO ilustrativo proporciona un punto de partida. Transformarlo en un marco efectivo orientado al público requeriría un desarrollo inclusivo y una mejora continua. Pero demuestra la viabilidad de un mecanismo de puntuación matizado para la convivencia entre humanos y AI.

Nuestro mecanismo de puntuación HAICO ilustrativo está lejos de estar completo; queda mucho trabajo por hacer. Por ejemplo, la ponderación de cada capa y el rango que categorizaría a un modelo de IA como no coexistente podrían cambiar para diferentes audiencias. La fórmula para calcular la puntuación HAICO podría cambiar para los modelos de IA clasificados para audiencias de PG-13 en comparación con los modelos clasificados para audiencias de Rated R. Esta ilustración demuestra que podemos establecer un sistema de puntuación para modelos de IA que introduzca una forma fácil y confiable de determinar si los modelos pueden ser confiables para la convivencia entre humanos y AI o no (Figura 3).

También: Antes de la IA, esta otra ola tecnológica se está extendiendo rápidamente

Debemos dejar atrás el debate de “quién ganará” y avanzar hacia un camino de convivencia. La IA está aquí para quedarse, al igual que nosotros. El trabajo que nos espera debe hacerse como una comunidad colaborativa. Si no se hace, la ausencia de un marco como nuestra puntuación HAICO ilustrativa cada vez pondrá más en duda la confiabilidad de los consumidores, las corporaciones o los países que utilizan modelos de IA para construir productos o brindar servicios. Como sociedad, correríamos el riesgo de aumentar exponencialmente la desconfianza hacia la IA y aquellos que la utilizan, cruzando eventualmente un umbral donde podríamos privarnos de la oportunidad de aprovechar el poder de la tecnología para mejorar la condición humana.

Aquí está la buena noticia: Además de los participantes en el ecosistema de IA en desarrollo, como proveedores de hardware (NVIDIA, Intel, Apple, AMD, SambaNova), Nubes (AWS, Google, Azure, Oracle, Alibaba, Salesforce), modelos, mercados (Cohere, Hugging Face), aplicaciones (OpenAI, Antrophic, Stability.ai), y empresas de estrategia y servicios (Deloitte, Accenture, IBM, Cognizant y otros), hay una cohorte en desarrollo de herramientas de “medición de modelos”.

Por ejemplo, TensorFlow Data Validation puede ayudar a comprender las características del conjunto de datos, detectar anomalías y comparar las diferencias entre los conjuntos de datos utilizados para entrenar un modelo. CleverHans o Adversarial Robustness Toolbox (ART) se pueden utilizar para simular ataques adversarios al modelo al calcular su robustez. Herramientas como Google’s Fairness Indicators, AI Fairness 360 de IBM o Fairlearn se pueden utilizar para medir, visualizar y mitigar los sesgos en los modelos de aprendizaje automático. Herramientas como Google’s TFX, Seldon o Fiddler se pueden utilizar para monitorear el rendimiento del modelo a lo largo del tiempo, alertándote cuando haya un cambio o degradación significativa.

También: La adopción masiva de herramientas de IA generativa está desviando un factor muy importante, según el MIT

Las piezas están comenzando a encajar. El objetivo principal es la coexistencia. Ahora estamos en el momento en el que podemos establecer colaborativamente una puntuación de confianza para cada modelo de IA, indicando la alineación del modelo con la coexistencia humano-IA, una puntuación fácil de entender similar a la puntuación FICO que usamos para indicar la confiabilidad financiera de una persona. La puntuación HAICO ilustrativa compartida en este artículo es solo un aperitivo para iniciar la conversación. No hay mejor momento que ahora.

Este artículo fue coescrito por Richie Etwaru, cofundador de Mobeus. Etwaru es un ejecutivo multidisciplinario, emprendedor en serie y líder de pensamiento global. En colaboración con equipos de dirección y juntas directivas, ha diseñado y dirigido transformaciones globales en servicios financieros y atención médica. Etwaru inventó la informática espacial habilitada por software y fue pionero en el 31er Derecho Humano. Ha escrito tres libros, ha dado tres charlas TED y ha hablado en más de 100 conferencias.

• Innovation