![](https://quanam.com/wp-content/uploads/2024/06/Jose-Nordman-Cinco-consejos-para-el-exito-de-sus-iniciativas-IA-IAg.png)
Cinco consejos para el éxito de sus iniciativas IA-IAG
De verdad lo ayudamos a realizar su proyecto innovador
Todo está relacionado
Hace décadas inicié mi especialización en bancos y servicios financieros, trabajando inicialmente en IBM y en Bull, hoy Atos, y más recientemente en forma simultánea en Quanam y en Epsilon Risk. En los últimos años me especialicé en el combate a fraudes y otros crímenes financieros empleando un amplio abanico de motores de prevención/detección basados en Inteligencia Artificial con Machine Learning y numerosos Modelos Estadísticos de Análisis Predictivo. Inevitablemente tuve que ampliar el campo de las plataformas antifraude en tiempo real y de las soluciones de investigación profunda por análisis gráfico de vínculos, incorporando otras áreas de la Ciencia de Datos, como GAI (Generative Artificial Intelligence), NLP (Natural Language Processing) y Deep Learning.
Quanam trabaja hace décadas con tecnologías emergentes como BPM (Business Process Management), RPA (Robot Process Automation), AI & ML (Artificial Intelligence & Machine Learning), y en los últimos dos años ha acelerado, desarrollando una estrategia sobre el uso de IA/IAG, con planes e iniciativas concretos que involucran al conjunto de la organización en la creación de casos de uso internos y para clientes, invirtiendo fuertemente en capacitación y participación de todos sus talentos.
Ejemplos de ello son la reciente Innovathon, desafío que estimula y premia la creación colaborativa de casos de uso y prototipos por parte de equipos que atraviesan transversalmente todas las unidades de negocio, así como la cantidad de iniciativas y proyectos reales con clientes, que colocan a Quanam a la vanguardia de Uruguay y América Latina en prácticas de IA, IAG, NLP, Deep Learning y otras tecnologías avanzadas.
Es imposible ignorar el impacto sin precedentes que la IA/IAG está teniendo en todos los aspectos de la economía y la sociedad a nivel mundial. Veamos algunos números:
- La adopción de IA se multiplicó 2,5 veces desde 2017 (Gartner).
- 80% de las organizaciones habrán incorporado IA a sus procesos en 2026 (PWC).
- La IA es la mayor oportunidad económica de la historia, esperándose que contribuya con USD 16 trillones al PIB mundial hacia 2030 (McKinsey).
- La IA produce aumentos de productividad superiores al 45% (McKinsey).
En ese contexto, en los últimos meses he tenido el gusto de ser parte de los equipos de Quanam que han transformado en realidad numerosos proyectos innovadores de clientes de los más variados segmentos verticales (industrias), siendo parte de numerosos aprendizajes que comparto en este artículo con aquellos que están pensando en la forma más segura y asertiva de aprovechar en sus procesos de negocios el potencial de la Inteligencia Artificial Generativa.
Asociación Consultoría – Usuario
Según la mayoría de los analistas de mercado existen tres actores principales (stakeholders) en toda iniciativa de IA/IAG:
- Fabricantes: quienes desarrollan plataformas, herramientas y modelos (LLM – Large Language Models, y, más recientemente, SLM – Smal Language Models), como Amazon, Google y Microsoft & OpenAI por citar algunos de los más relevantes.
- Consultores: quienes aportan el conocimiento técnico de las herramientas y arquitecturas a diseñar, implantar y sustentar, la capacidad de ayudar a identificar las necesidades/oportunidades o casos de uso del cliente, y el conocimiento metodológico y de mejores prácticas.
- Usuarios: clientes de los Consultores y Fabricantes, usuarios finales de las iniciativas, que son quienes conocen mejor que nadie sus necesidades, las amenazas y oportunidades que se les presentan, sus requerimientos y su situación.
Este concepto de usuario se refiere a la empresa o institución que contrata el desarrollo e implantación de una solución basada en IA/IAG, no a los seres humanos que finalmente utilizarán dicha solución, sean empleados de dicha organización o sus clientes (en el más amplio sentido).
El primero de los consejos para el éxito de sus iniciativas de IA-IAG radica en el efectivo trabajo en equipo de los dos últimos actores, la Consultoría y la Organización usuaria en la que se desarrollarán e implementarán los casos de uso, puesto que de ese trabajo armónico y colaborativo depende la posibilidad de identificar áreas y oportunidades de uso que realmente agreguen valor a la organización, sirviendo para aumentar la productividad, automatizar procesos repetitivos sin o con escasa intervención humana y/o apoyar las actividades de creación intelectual, profesional y artística.
Los primeros experimentos de IA generativa se refirieron a casos de uso de bajo riesgo no asociados al core-business. Pero las organizaciones pueden recibir más valor centrándose en
áreas del negocio más estrechamente relacionadas con sus ventajas competitivas, y las mayores ganancias pueden provenir de incursionar en nuevas áreas. Durante los próximos tres años, más de la mitad de los ejecutivos espera que la IAG permita tipos de trabajo que no eran posibles antes de su existencia.
En general en la mayoría de los casos reales de proyectos innovadores de IA-IAG en los que Quanam viene colaborando con empresas e instituciones públicas, constatamos al menos tres ingredientes: considerable aumento de la productividad del personal interno que usa el producto, sensible reducción de costos, por asignación de personal que no necesita tanta calificación, y mejora de la calidad de los servicios entregados a los clientes, es decir, mejora de la Experiencia del Cliente (CX – Customer Experience).
Casos de uso
Nuestro segundo consejo para el éxito de las iniciativas de IA-IAG consiste en evaluar cuidadosamente las áreas de necesidad y oportunidad, seleccionando casos de uso a implantar en su organización en forma gradual y progresiva. Recomendamos apoyarse en la Consultoría elegida, involucrando transversalmente a todas las áreas de su organización, realizando si fuera posible, uno o más talleres de “Descubrimiento” (Discovery) para estimular la innovación, basándose en métodos ágiles de ingeniería y diseño y combinándolos con ideas de las artes, las ciencias sociales y el mundo de los negocios, en estrecha alineación con la Estrategia Global de su organización y con su Estrategia de Datos.
Las principales áreas en las que se identifican verdaderas oportunidades de desarrollar casos de uso exitosos son las de atención al cliente/ciudadano, ventas (cross selling & up selling), aumento de productividad, finanzas, gestión de recursos humanos, operaciones, tecnología de la información, aprovisionamiento y logística.
El Informe de IA publicado recientemente por la Universidad de Stanford muestra un aumento sostenido en el uso de IA: 55% de las organizaciones dijeron estar usando IA en 2023, mientras que en 2022 lo declaraba el 50% y en 2017 el 20%. Según el informe, las áreas de aplicación y los casos de uso más frecuentemente adoptados son los siguientes:
- Contact Center: 26%
- Personalización: 23%
- Adquisición de clientes: 22%
- Mejora de productos/servicios basados en AI: 22%
- Creación de productos/servicios basados en AI: 19%
Los segmentos de actividad (industrias) son numerosos, incluyendo los servicios financieros, la salud y ciencias de la vida, la educación, la administración pública (gobierno), el transporte y la logística, las telecomunicaciones, la energía y todo tipo de servicios.Según McKinsey & Company, la investigación y desarrollo de productos, las ventas, el marketing, las operaciones con clientes y la ingeniería de software, para desarrollo de productos y para desarrollo de servicios corporativos internos, son las funciones de IAG con mayor impacto, representando el 75% del total de dicho impacto económico anual.
Completar la trilogía con el Fabricante
El tercer consejo de la fórmula para el éxito de su proyecto innovador usando IAG es la recomendación de elegir adecuadamente el Fabricante mejor adaptado a las particularidades de cada iniciativa. Para ello sugerimos apoyarse en su Consultoría de confianza, evaluando aspectos técnicos, económicos y logísticos entre las opciones disponibles.
El Informe de IA de la Universidad de Stanford confirmó el dominio de los modelos de base de Fabricantes líderes de la industria de TI, que los precios se disparan y, que, en el escenario mundial, Estados Unidos eclipsa a China, a la Unión Europea y al Reino Unido. Veamos algunos de los hallazgos:
- En 2023 se liberaron 149 modelos fundacionales (más del doble que en 2022), de los cuales 98 (65,7%) fueron de código abierto (open source), confirmando una tendencia creciente: en 2022 los modelos fundacionales de código abierto representaron 44,4% del total y en 2021 el 33,3%.
- Sin embargo, los modelos propietarios continúan presentando mejor performance que los de código abierto. En 10 benchmarks obtuvieron en promedio 24,2% mejores resultados, abarcando desde una modesta ventaja de 4,0% en tareas matemáticas, hasta una considerable superioridad de 317,7% en tareas vinculadas a agentes de atención/soporte.
- Los grandes actores de la industria de TI dominaron el mercado mundial, liberando la aplastante mayoría de los nuevos modelos fundacionales. Google encabeza la lista con 18, seguido de cerca por Microsoft y OpenAI, quienes combinados liberaron 16. En el tercer lugar está Meta con 7 modelos fundacionales, mientras que la academia se encuentra al final de la cola: UC Berkeley liberó 3 modelos fundacionales y Stanford 2.
- Estados Unidos domina el escenario por países. En 2023 USA liberó 61 modelos notables de machine learning, China 15, Francia 8, Alemania 5 y Canadá 4. Desde 2019 USA ha liderado en esta área, seguido por China y el Reino Unido. La inversión privada por área geográfica también confirma este liderazgo: en 2023 USA invirtió USD 67.22 billones, casi el triple que los USD 22,94 billones resultantes de sumar las inversiones de China, Reino Unido, Alemania, Suecia, Francia, Canadá, Israel, Corea del Sur e India.
- A pesar de que la inversión privada en IA disminuyó después del pico de USD 132,36 billones en 2021, pasando a USD 95,99 billones en 2023, la parte de dicha inversión correspondiente a IAG creció enormemente, pasando de USD 4,17 billones en 2021 a USD 25,23 billones en 2023, es decir, más de seis veces el valor de 2021, en lo que se conoce como el “efecto ChatGPT”.
Hasta mediados del año 2023 Microsoft poseía a nivel mundial tres “AI Co-Innovation Labs”, localizados en Estados Unidos, Alemania y China. El 21/06/2023 tuve el gusto de participar en el campus del LATU (Laboratorio Tecnológico del Uruguay) de Montevideo, de la inauguración del cuarto “AI Co-Innovation Lab”. Único de su clase en la región, este nuevo Laboratorio se suma a los otros tres, poniendo a disposición de las instituciones y empresas de América Latina un equipo local y una red global de expertos que las ayudarán a cocrear sus soluciones usando tecnologías de vanguardia e impulsando la innovación efectiva.
Se espera que el Laboratorio de Montevideo logre desarrollar al menos 300 proyectos en tres años para organizaciones de todas las escalas y sectores. Para ello, Microsoft filtra las solicitudes de proyectos que le son sometidas, seleccionando los casos de uso más innovadores, con mayor impacto y con verdadera factibilidad de evolucionar de las etapas de POC y MVP a un Producto o Solución efectivamente utilizado en producción. Sobre este último criterio de evaluación, Microsoft acostumbra a puntuar más alto las solicitudes que incluyan tanto un Usuario Final como una Consultoría, que, como Quanam conozca profundamente las plataformas y herramientas tecnológicas, incluyendo la nube Microsoft Azure y las herramientas de IA/IAG en general y de OpenAI en particular.
Recientemente tuve la oportunidad de ser parte del equipo que ofreció a una prestigiosa institución pública uruguaya acompañarlos con el equipo de Especialistas en IA/IAG de Quanam a presentar un innovador proyecto ante el “AI Co-Innovation Lab” de Microsoft en Montevideo. Dicho proyecto fue aprobado y pasó en febrero de 2024 por cuatro sprints consecutivos, con participación de los tres actores antes citados: el Cliente, Quanam y Microsoft, y, tras esa fase en la que confirmamos una Prueba de Concepto (POC) y un prototipo maduro, continuaremos hasta finales de setiembre, cuando habremos pasado las etapas de una POC refinada, un MVP (Minimal Viable Product) y dos versiones sucesivas del Producto: versión beta (de uso interno) y versión final, liberada tanto internamente en la organización, como externamente para prestar un servicio de mejor calidad y asertividad a los ciudadanos. Los resultados que se vienen obteniendo en las fases de POC refinada y MVP son alentadores en cuanto a la calidad del servicio, generando expectativas que el Cliente y Quanam continuarán evaluando, con relación al aporte de valor, mejora de productividad y calidad del servicio posibles con esta innovadora solución. Como es habitual, esperamos que esta primera experiencia práctica contribuya a “abrir las compuertas” de la creatividad del Cliente y de Quanam para imaginar otros casos de uso igualmente valiosos en otras áreas y procesos.
Nuestra proximidad geográfica con el “AI Co-Innovation Lab” de Microsoft en Montevideo, sumado a nuestro profundo conocimiento de las herramientas (OpenAI) y ambiente cloud (Microsoft Azure) nos ponen en una situación ideal para que todas las organizaciones latinoamericanas que lo deseen nos contacten, para que juntos identifiquemos la viabilidad de someter al Laboratorio del LATU un proyecto que implemente un caso de uso innovador. Para ello pueden escribirme, o a cualquier persona de Quanam que conozcan, y, con mucho gusto y sin ningún compromiso analizaremos juntos la mejor manera de apoyarlos en sus iniciativas de IAG en las mejores condiciones posibles para asegurar su éxito. Contáctennos; se sorprenderán de lo fácil y accesible que es el proceso si trabajamos juntos y alineados como los tres actores citados anteriormente.
Pero dado nuestro carácter de empresa “agnóstica a marcas y productos”, no podemos dejar de mencionar que Quanam trabaja con otros Fabricantes de tecnología IA/IAG, como Gemini de Google AI, Amazon Bedrock, o, en el terreno de open source, LlAMA de Meta AI, o Falcon LLM del Instituto de Innovación Tecnológica del Gobierno de Abu Dhabi, por citar algunos de los principales. Quanam siempre prioriza la selección de las tecnologías más adecuadas, en función de las circunstancias del Cliente, considerando siempre productos técnicamente probados, capaces de producir los resultados necesarios para el caso de uso del Cliente. A veces, entre varios productos que cumplen con los requerimientos, optamos por un producto que el Cliente ya posee, para preservar y rentabilizar sus inversiones. En otras ocasiones recomendamos el uso de determinados productos porque notoriamente sus funcionalidades se adecuan más y mejor a los requerimientos del caso, independientemente de los productos similares que el Cliente ya posea. El caso de proyectos de IA/IAG no es diferente, por lo que, sin perjuicio de nuestra proximidad y experiencia con el “AI Co-Innovation Lab” de Microsoft en Montevideo, que nos permitiría utilizar las herramientas de OpenAI y demás de Microsoft Azure en sus proyectos, también podemos evaluar juntos la conveniencia de emplear plataformas, productos y herramientas de otros Fabricantes.
Integrar tecnologías avanzadas
Nuestro cuarto consejo para el éxito de su proyecto innovador usando IAG consiste en integrar diferentes tecnologías, colaborando entre sí en una misma solución o caso de uso, es decir, no limitarse al uso de tecnología IA-IAG, considerando otras tecnologías avanzadas, como Modelos Estadísticos de Análisis Predictivo, BPM (Business Process Management) y RPA (Robot Process Automation) especialmente en casos de automatización de procesos inteligentes.
Citamos el caso de un proyecto implementado por Quanam con y para la Dirección Nacional de Industrias de Uruguay con el objetivo de revisar la viabilidad de incorporar inteligencia artificial en los procesos existentes. Se seleccionó el proceso de importación de autopartes provenientes de Brasil, en el marco del Acuerdo de Complementación Económica en vigor, teniendo en cuenta la cantidad de trámites realizados anualmente, en el entorno de las 3.000 instancias.
Los principales beneficios para el cliente son que la solución permite acelerar la validación de solicitudes y liberar recursos humanos. Para ello se integraron procesos de BPM aprovechando la herramienta APIA BPM que el cliente ya poseía, con un BOT desarrollado con la herramienta de RPA Microsoft Power Automate Desktop que el cliente también poseía, y funcionalidades de las herramientas Microsoft Power Automate Flow y Microsoft AI Builder de Power Platform.
El BOT implementado, accede al sistema APIA BPM donde sólo tiene acceso a las actividades que debe procesar, gracias a los cambios implementados en el BPM donde se agregó una actividad específica para ello. El BOT es el orquestador de la ejecución de esta actividad. Utilizando la lista de tareas de APIA BPM accede a los formularios del trámite, desde donde toma la información cargada allí para luego compararla con la información que extrae de los archivos de las facturas y del certificado de origen digital (COD, archivo XML) subido por el usuario.
Para extraer la información de las facturas el BOT instancia el proceso implementado en la nube a través de la herramienta Microsoft Power Automate Flow, pasándole la ruta al archivo de la factura que previamente se subió a OneDrive. Este proceso accede al archivo de la factura y se lo pasa al componente de inteligencia artificial Microsoft AI Builder, el cual extrae la información utilizando un modelo pre entrenado específicamente para ello. Esta información queda disponible en un objeto, al cual se accede para serializar la misma en un archivo JSON que se devuelve al BOT.
Una vez que dispone de toda la información que debe comparar el BOT realiza las verificaciones, escribiendo sus conclusiones en un formulario en el proceso implementado en APIA BPM. De esta forma, cuando el trámite llega al Técnico de la DNI, el BOT ya hizo las comparaciones de los montos y fechas registrados en los formularios y declarados en el COD, con la información que extrajo de las facturas, y también verificó que el resultado del total de cada factura sea correcto.
Durante la fase de piloto no se toman decisiones automáticas en el proceso en función de las verificaciones del BOT, sin embargo, a futuro la idea es que se tome el score de acierto que retorna Microsoft AI Builder con relación a cada factura, para generar un score total, que podrá ser tomado en cuenta por el BPM para decidir si continúa a la resolución automática del trámite o si debe pasárselo al Técnico para su revisión.
Considerar los riesgos
Finalmente, nuestro quinto consejo se refiere a adoptar un abordaje basado en riesgos en sus iniciativas innovadoras, evaluando y mitigando riesgos específicos asociados a los proyectos de IAG, como las violaciones de la privacidad de los datos, los sesgos de los modelos, sus alucinaciones e inexactitudes y la infracción de la propiedad intelectual.
Recomendamos incorporar a sus políticas, normas y orientaciones de compliance y ética los aspectos específicos vinculados al uso responsable de servicios y soluciones basadas en IA/IAG, e incorporar consultores asociados que también cuenten con este tipo de prácticas.
Pocos meses después del comienzo de la explosión publicitaria (hype) de la IAG, en marzo de 2023 1.187 ejecutivos del Valle del Silicio (incluidos el multimillonario Elon Musk, el cofundador de Apple Steve Wozniak y otros expertos) formalizaron una petición en una carta pública, pidiendo que los laboratorios de inteligencia artificial suspendieran por al menos seis meses el desarrollo de nuevos modelos superiores al GPT-4 lanzado por OpenAI a comienzos de ese mes.
En la carta se afirmaba que “sistemas de IA con inteligencia competitiva-humana pueden representar un profundo riesgo para la sociedad y humanidad, como fue mostrado por extensas investigaciones y reconocido por los mayores laboratorios de IA”, dado que podrían “generar profundos cambios en la historia de la vida en la Tierra y deberían ser planificados y gerenciados con cuidados y recursos proporcionales”.
Según el documento, estábamos en riesgo de perder el control de la civilización ante las nuevas tecnologías de inteligencia artificial, por lo que ellas deberían ser desarrolladas solamente cuando tuviéramos certeza de que sus efectos serían positivos y sus riesgos gestionables. La carta agregaba que lo ideal sería que los laboratorios y expertos independentes dedicasen su tiempo para “desarrollar e implementar un conjunto de protocolos de seguridad para para el diseño avanzado de inteligencia artificial y desarrollos rigurosamente auditados y fiscalizados por profesionales externos“.
El documento finalizaba afirmando: “Eso no significa pausar los desarrollos de IA en general, es simplemente apartarse de la peligrosa carrera para aumentar los modelos imprevisibles de caja negra con capacidades emergentes. Las investigaciones y los desarrollos de IA deben ser redireccionados para tornar los poderosos sistemas de hoy más precisos, seguros, interpretables, transparentes, robustos, alineados, confiables y leales. La sociedad ya pausó otras tecnologías que podrían potencialmente generar riesgos catastróficos a la civilización. Nosotros podemos hacer lo mismo aquí”.
Dejando de lado la visión apocalíptica del documento divulgado el 29/03/2023, es innegable que la alarma de estos casi 1.200 ejecutivos de la cuna de la Tecnología de la Información reflejaba una preocupación por riesgos y dilemas éticos que rápidamente fueron acogidos por los principales actores en la mayoría de los países del mundo.
Menos de un mes después de publicada la anterior carta, el Departamento de Seguridad Nacional de Estados Unidos anunció que establecería un nuevo grupo de trabajo para combatir las repercusiones negativas del advenimiento generalizado de la IAG. “La profunda evolución en el entorno de amenazas a la seguridad nacional, que cambia a un ritmo más rápido que nunca, ha requerido que nuestro Departamento de Seguridad Nacional evolucione junto con él”, manifestó el secretario de la institución, Alejandro Mayorkas, en un discurso sobre el estado de la seguridad nacional en el Consejo de Relaciones Exteriores en Washington.
En esa línea, afirmó que la tecnología “alterará drásticamente el panorama de amenazas” que enfrentará el país. “Nuestro departamento liderará el uso responsable de la IA para proteger el territorio nacional y defenderse contra el uso malicioso de esta tecnología transformadora“, declaró. Asimismo, el funcionario destacó que la IA todavía está en “una etapa incipiente” y que es demasiado pronto para decir si los posibles daños que podría provocar superarán los beneficios. “Su poder es extraordinario“, destacó.
Cada vez más agencias reguladoras estadounidenses están aprobando regulaciones para proteger a los ciudadanos y regular el uso de herramientas y datos de IA. Por ejemplo, la Oficina de Derechos de Autor y la Biblioteca del Congreso aprobaron una guía de registro de derechos de autor relativa a las obras que contenían material generado por IA, mientras que la Comisión de Bolsa y Valores desarrolló una estrategia de gestión de riesgos de ciberseguridad, gobernanza y plan de divulgación de incidentes. Las agencias que aprobaron la mayor cantidad de regulaciones fueron la Oficina Ejecutiva de la Presidencia y el Departamento de Comercio.
Europa no se quedó atrás. La Eurocámara aprobó en marzo de 2024 la Ley de Inteligencia Artificial, que garantiza la seguridad y el respeto de los derechos fundamentales al tiempo que impulsa la innovación. El Pleno del Parlamento Europeo aprobó esta ley histórica que regulará el desarrollo de la inteligencia artificial, con una contundente mayoría 523 votos favorables, 46 en contra y 49 abstenciones.
Su objetivo es proteger los derechos fundamentales, la democracia, el Estado de derecho y la sostenibilidad medioambiental frente a la IA que entraña un alto riesgo, impulsando al mismo tiempo la innovación y erigiendo a Europa en líder del sector. El Reglamento fija una serie de obligaciones para la IA en función de sus riesgos potenciales y su nivel de impacto. Se prohíben ciertas aplicaciones de inteligencia artificial que atentan contra los derechos de la ciudadanía, como los sistemas de categorización biométrica basados en características sensibles y la captura indiscriminada de imágenes faciales de internet o grabaciones de cámaras de vigilancia para crear bases de datos de reconocimiento facial. También se prohiben el reconocimiento de emociones en el lugar de trabajo y en las escuelas, los sistemas de puntuación ciudadana, la actuación policial predictiva (cuando se base únicamente en el perfil de una persona o en la evaluación de sus características) y la IA que manipule el comportamiento humano o explote las vulnerabilidades de las personas.
También se prevén obligaciones claras para otros sistemas de IA de alto riesgo debido a que pueden ser muy perjudiciales para la salud, la seguridad, los derechos fundamentales, el medio ambiente, la democracia y el Estado de derecho. Algunos ejemplos de usos de alto riesgo de la IA son las infraestructuras críticas, la educación y la formación profesional, el empleo, los servicios públicos y privados esenciales (por ejemplo, la sanidad o la banca), determinados sistemas de las fuerzas de seguridad, la migración y la gestión aduanera, la justicia y los procesos democráticos (como influir en las elecciones). Estos sistemas deben evaluar y reducir los riesgos, mantener registros de uso, ser transparentes y precisos y contar con supervisión humana. Los ciudadanos tendrán derecho a presentar reclamaciones sobre los sistemas de IA y a recibir explicaciones sobre las decisiones basadas en ellos que afecten a sus derechos.
Los sistemas de IA de uso general y los modelos en los que se basan deben cumplir ciertos requisitos de transparencia, respetar la legislación de la UE sobre derechos de autor y publicar resúmenes detallados del contenido usado para entrenar sus modelos. Los modelos más potentes que podrían plantear riesgos sistémicos deberán cumplir requisitos adicionales, como realizar evaluaciones de los modelos, analizar y mitigar los riesgos sistémicos e informar sobre los incidentes. Además, las imágenes, contenidos de audio o de vídeo artificiales o manipulados (“ultra falsificaciones”) deberán etiquetarse claramente como tales.
En abril de 2023 Gartner realizó una encuesta preguntando a 1.079 ejecutivos: “¿Cree que los beneficios de la IAG sobrepasan sus riesgos?”. 68% respondieron afirmativamente, 5% negativamente y 27% declararon no saberlo.
En 2023 Gartner también señalaba los siguientes riesgos de respuestas no confiables de ChatGPT:
- Inexactitudes fácticas: Resultados parcialmente verdaderos pero equivocados en detalles importantes.
- Alucinaciones: Resultados completamente “fabricados”. Ninguna “comprensión” real del contenido; simplemente se predice el texto.
- Información desactualizada: El “conocimiento” de los modelos es hasta su fecha de entrenamiento (en ese entonces, setiembre de 2021 para ChatGPT).
- Sesgos: Puede producirse sesgos en los resultados, producto de un entrenamiento con datos sesgados.
- Violaciones de derechos de autor: Las respuestas/salidas pueden parecerse obras protegidas por derechos de autor.
Deseamos finalizar estas reflexiones y recomendaciones citando nuestra sugerencia hacia nosotros mismos y hacia las consultorías colegas de gestionar de manera cuidadosa y responsable las expectativas de los Usuarios, abarcando en ellos a los Clientes que nos contratan, a sus funcionarios y a sus clientes y usuarios, dado que uno de los riesgos menos citados por los analistas es justamente el de no cumplir las expectativas, infladas por un potente “bombo mediático” que transmite a los menos informados la incorrecta sensación de que “todo se soluciona con IA”.
José C. Nordmann
SME en Fraudes Digitales en tiempo real
Miembro del Consejo Mundial para un Planeta más Seguro
Miembro de ACFE (Association of Certified Fraud Examiners)
Miembro del i2 Group Worldwide Advisory Board