Atención a la brecha de confianza las preocupaciones sobre los datos generan cautela en los clientes respecto a la IA generativa

La brecha de confianza en la IA generativa preocupa a los clientes.

La inteligencia artificial generativa (IA) está siendo promocionada como algo esencial para que las organizaciones aseguren su relevancia en el mercado, pero algunos siguen dudando en dar el paso debido a preocupaciones sobre los datos y la confianza.

Estos problemas son especialmente pertinentes para las empresas que operan en sectores con estrictas normas de gobernanza de datos y grandes bases de clientes, lo que las lleva a esperar antes de adoptar herramientas de IA generativa a pesar de los beneficios que se les atribuyen.

También: Las empresas necesitan claridad en los precios a medida que los servicios de IA generativa llegan al mercado

La capacidad de generar informes de ventas a través de una solicitud, por ejemplo, en lugar de tener que manipular manualmente hojas de cálculo, ofrece un potencial interesante para herramientas de IA generativa como Einstein Copilot de Salesforce, dijo Sarwar Faruque, jefe de operaciones de desarrollo en Jollibee Foods Corporation. La cadena de restaurantes filipina utiliza Heroku de Salesforce para construir sus aplicaciones y Mulesoft como middleware para conectar sus aplicaciones, incluyendo sistemas ERP y de gestión de pedidos.

Jollibee tiene 15,000 empleados y opera casi 4,000 tiendas en todo el mundo en 34 países. Sus aplicaciones se ejecutan principalmente en la nube, por lo que no mantiene sus propios centros de datos, con excepción de una pequeña intranet.

Faruque también ve potencial para utilizar IA en la fabricación, donde puede impulsar eficiencias en la cadena de producción y ensamblaje. Por ejemplo, la IA puede ayudar a monitorear la calidad de los alimentos y prever la demanda.

Sin embargo, su interés en el uso potencial de la IA se limita a las operaciones internas. Faruque insiste en mantener la IA generativa alejada de las interacciones con los clientes y las operaciones orientadas al cliente, al menos por ahora.

Con la tecnología aún en sus primeras etapas, aún hay mucho que comprender y resolver, señaló.

“Vemos el resultado [y las respuestas] que genera, pero realmente no entendemos cómo [llegó a la respuesta]”, dijo. “Hay esta caja negra… necesita ser desmitificada. Quiero saber cómo funciona, cómo llegó a su respuesta y si esta respuesta es repetible [cada vez que se hace la pregunta]”.

También: Por qué las empresas deben usar la IA para pensar de manera diferente, y no simplemente para reducir costos

Actualmente, este no es el caso, agregó, y señaló que también existe el riesgo de alucinación. Y en ausencia de un incidente de seguridad, se sabe poco sobre si existen problemas inherentes de ciberseguridad que deben resolverse.

“En este momento, hay mucho marketing [exagerado]”, dijo Faruque, agregando que no es suficiente simplemente hablar de “confianza” sin proporcionar detalles sobre lo que exactamente significa.

Instó a los proveedores de IA a explicar cómo se forman sus grandes modelos de lenguaje, qué datos consumen y qué hacen exactamente para generar respuestas. “Deben dejar de actuar como si fuera magia [cuando] hay un código ejecutándolo y hay ciencia detrás de ello”, dijo. “Ayúdenos a entenderlo [porque] no nos gusta adoptar una tecnología de la que no tenemos un entendimiento sólido”.

Subrayó la necesidad de responsabilidad y transparencia, junto con garantías de que los datos de los clientes utilizados para entrenar los modelos de IA no se harán públicos. Esto es especialmente crítico para las organizaciones que deben cumplir con las regulaciones de privacidad de datos en su jurisdicción local.

También: Midiendo la confianza: por qué cada modelo de IA necesita una puntuación FICO

Hasta que se resuelvan estos problemas, dijo que no está dispuesto a poner en riesgo los datos de sus propios clientes.

La confianza también es algo que el Ministerio de Comercio e Industria de Singapur (MTI) se toma en serio, especialmente en términos de privacidad y seguridad de datos. El ministerio incluye diez agencias gubernamentales, incluyendo EDB y la Junta de Turismo de Singapur.

En particular, los datos del ministerio deben ser retenidos en Singapur, lo que representa un gran obstáculo para garantizar la seguridad y gobernanza de los datos, dijo Sharon Ng, CIO de la familia ministerial de MTI. Esto significa que cualquier IA y grandes modelos de lenguaje que utilice deben alojarse en su propio entorno, incluso aquellos gestionados por proveedores estadounidenses como la plataforma Einstein Copilot de Salesforce.

Al igual que Faruque, Ng también destacó la necesidad de transparencia, en particular los detalles de cómo opera la capa de seguridad, incluyendo qué tipo de cifrado se utiliza y si se retiene los datos, señaló. 

También: Cómo la inteligencia artificial generativa confiable puede mejorar la experiencia del cliente conectado

Su equipo está explorando actualmente cómo las herramientas de inteligencia artificial generativa, incluyendo las de Salesforce, pueden beneficiar al ministerio, que sigue abierto a utilizar diferentes inteligencias artificiales y modelos de lenguaje grandes disponibles en el mercado. Esto sería menos costoso que construir sus propios modelos y acortaría el tiempo de comercialización, afirmó. 

El uso de cualquier modelo de IA, sin embargo, seguiría estando sujeto a consideraciones de confianza y seguridad, señaló. MTI actualmente está llevando a cabo pilotos de IA generativa que tienen como objetivo mejorar la eficiencia operativa y facilitar las tareas de trabajo en sus agencias. 

Para el proveedor de servicios de telecomunicaciones de Singapur M1, ofrecer un mejor servicio al cliente es el KPI claro para la IA generativa. Sin embargo, al igual que MTI y Jollibee, el cumplimiento de los datos y la confianza son críticos, dijo Jan Morgenthal, director digital principal de M1. Actualmente, la empresa de telecomunicaciones está llevando a cabo pruebas de concepto para evaluar cómo la IA generativa puede mejorar las interacciones que su chatbot tiene con los clientes y si puede admitir otros idiomas además del inglés. 

Esto implica trabajar con proveedores para determinar los parámetros y comprender dónde se implementan los modelos de lenguaje grandes y la IA, dijo Morgenthal. Al igual que MTI y Jollibee, M1 también debe cumplir con las regulaciones que requieren que algunos de sus datos, incluidos los alojados en plataformas en la nube, se encuentren en su mercado local. 

También: Antes que la IA, esta otra ola de tecnología se está extendiendo rápidamente

Esto implica que el entrenamiento de los modelos de IA se lleve a cabo en el entorno de la red de M1, dijo. 

La empresa de telecomunicaciones de Singapur también debe tener cuidado con los datos utilizados para entrenar los modelos y las respuestas generadas, que deben ser probadas y validadas, dijo. Estos no solo deben ser verificados según las pautas estipuladas por el proveedor, como la Capa de Confianza de Salesforce, sino también según los límites que tiene establecidos la empresa matriz de M1, Keppel. 

Abordando la brecha de confianza en la IA generativa

Estos esfuerzos serán críticos en medio de la disminución de la confianza en el uso de la IA.

Tanto las organizaciones como los consumidores ahora son menos receptivos al uso de la IA que antes, según una encuesta de Salesforce publicada el mes pasado. Un 73% de los compradores de empresas y un 51% de los consumidores están abiertos a que la tecnología se utilice para mejorar sus experiencias, una disminución del 82% y el 65%, respectivamente, en 2022. 

Y si bien el 76% de los clientes confían en que las empresas hagan afirmaciones honestas sobre sus productos y servicios, un 57% confía en que las utilicen éticamente. Otro 68% cree que los avances en IA han hecho que sea más importante que las empresas sean confiables.

La brecha de confianza es un problema y una preocupación significativos para las organizaciones, dijo Tim Dillon, fundador y director de Tech Research Asia, señalando el rechazo que experimentó Zoom cuando cambió sus Términos de Servicio, dándose el derecho de utilizar los datos de video, audio y chat de sus usuarios para entrenar sus modelos de IA.

También: La IA, la confianza y la seguridad de los datos son cuestiones clave para las empresas de finanzas y sus clientes

Los proveedores de IA generativa querrían evitar un escenario similar, dijo Dillon en una entrevista con ENBLE, al margen de Dreamforce 2023 celebrado en San Francisco esta semana. Jugadores del mercado como Salesforce y Microsoft han hecho esfuerzos para cerrar la brecha de confianza, lo cual consideró un paso positivo hacia adelante. 

Además de abordar problemas de confianza, las organizaciones que planean adoptar IA generativa también deben considerar la implementación de la gestión del cambio, señaló Phil Hassey, CEO y fundador de la firma de investigación CapioIT.

Esta es un área que a menudo se pasa por alto en la discusión, dijo Hassey a ENBLE. Las organizaciones deben averiguar el costo involucrado y las habilidades que necesitan adquirir y los roles que deben ser reentrenados como resultado de implementar IA generativa. 

Una estrategia adecuada de gestión del cambio es clave para garantizar una transición sin problemas y retener el talento, dijo. 

Con sede en Singapur, Eileen Yu informó para ENBLE desde Dreamforce 2023 en San Francisco, a invitación de Salesforce.com.