Blog

Los dilemas éticos de la IAG

Las preocupaciones éticas alrededor de la Inteligencia Artificial Generativa (IAG) son numerosas y complejas, ya que esta tecnología, al igual que cualquier herramienta puede utilizarse de acuerdo con “buenas prácticas” y normas de conducta ética o no, pero en su caso, la IAG  tiene un elevado potencial de influir profundamente en cómo se generan, interpretan y comunican datos e información, produciendo impactos significativos en la vida de las personas, de las organizaciones y de la sociedad.

De esa manera el posible “mal uso” de la IAG genera, entre otros, las siguientes preocupaciones:

• Sesgo en los datos y resultados discriminatorios: Los modelos de IAG suelen entrenarse en grandes cantidades de datos que pueden reflejar sesgos históricos, culturales o sociales. Esto puede llevar a que los modelos reproduzcan o amplifiquen estos sesgos, resultando en respuestas o resultados discriminatorios. Por ejemplo, un modelo entrenado en textos históricos podría replicar prejuicios de género, raza o religión, afectando las recomendaciones, decisiones o respuestas generadas.
• Desinformación y generación de contenido falso: La capacidad de la IAG para crear textos, imágenes, videos o audios indistinguibles de los originales plantea preocupaciones sobre el uso indebido de esta tecnología para crear desinformación o “deepfakes“. Estas aplicaciones pueden ser perjudiciales para el público, minar la confianza en las fuentes de información y afectar la credibilidad de las instituciones.
• Privacidad y uso indebido de datos personales: Algunos modelos de IAG pueden inadvertidamente revelar información sensible o personal de los datos en los que fueron entrenados, lo cual es un riesgo importante en sectores regulados como la salud o los servicios financieros. Además, el entrenamiento de estos modelos en datos que contienen información personal plantea dudas sobre el consentimiento y el uso ético de esos datos, especialmente cuando el alcance y propósito del modelo no están completamente claros para los individuos afectados.
• Reducción de puestos de trabajo y desigualdad laboral: A medida que la IAG se utiliza para automatizar tareas que antes realizaban personas, existe la preocupación de que esta tecnología pueda desplazar a trabajadores, especialmente en sectores donde las tareas repetitivas o basadas en patrones son comunes. Esto podría aumentar la desigualdad laboral, dejando a algunos trabajadores con menos oportunidades de empleo o en necesidad de reentrenamiento sin una alternativa clara.
• Falta de transparencia y opacidad de los modelos: Los modelos generativos, especialmente los más complejos, pueden actuar como “cajas negras”, donde es difícil para los usuarios entender cómo se generan los resultados. Esta falta de transparencia plantea preocupaciones sobre la responsabilidad, ya que puede ser difícil atribuir errores o sesgos a elementos específicos del modelo, generando barreras para la corrección y la supervisión.
• Impacto en la autonomía y la manipulación de decisiones: Las aplicaciones de IAG que generan contenido adaptado a cada usuario tienen el potencial de influir en sus decisiones y comportamientos de maneras sutiles. Esto plantea cuestiones éticas sobre la autonomía individual, ya que los usuarios pueden ser influenciados sin darse cuenta, en aspectos tan variados como la compra de productos, el consumo de noticias o incluso decisiones políticas.
• Dependencia excesiva en la tecnología: La confianza ciega en la IAG puede llevar a que personas y organizaciones tomen decisiones basadas en resultados generados automáticamente, sin cuestionar su validez o contexto. Esto podría resultar en la delegación de decisiones complejas a modelos generativos sin suficiente supervisión humana, aumentando el riesgo de errores y consecuencias no deseadas.
• Riesgos para la creatividad y originalidad humana: En contextos creativos, la IAG puede reemplazar tareas que antes requerían la intervención humana, lo cual plantea preocupaciones sobre el papel de la creatividad y la originalidad. La generación automática de contenido puede llevar a una saturación de “material derivado” que impacte la diversidad y riqueza de la producción cultural y creativa.
• Seguridad y uso malintencionado: Además del riesgo de desinformación, la IAG puede ser empleada en actividades ilícitas, como la creación de malware, estafas o ataques de ingeniería social, debido a su capacidad para generar mensajes personalizados o replicar patrones humanos. Este tipo de uso malintencionado representa una amenaza para la seguridad pública y empresarial.

Para abordar estas preocupaciones éticas, es necesario establecer lineamientos de uso y supervisión de la IAG, con un enfoque en transparencia, responsabilidad y equidad. También es importante que las organizaciones promuevan un enfoque de IA centrado en el ser humano, priorizando el bienestar social y la sostenibilidad en el desarrollo y la implementación de modelos generativos. Esto permitirá minimizar los riesgos asociados y maximizar el impacto positivo de la IAG en la sociedad.

La Unión Europea lidera la legislación para evitar estos efectos indeseados de la Inteligencia Artificial con su Ley de Inteligencia Artificial de mediados de 2024, que la mayoría de los países del mundo están analizando para producir legislación y regulación en la materia.

Las empresas de consultoría y servicios profesionales más avanzadas también cuentan con iniciativas específicas sobre ética en la inteligencia artificial, y, como es el caso de Quanam en Uruguay, están incorporando disposiciones al respecto en las nuevas versiones de su Programa de Compliance y en su Código de Ética y de Conducta Profesional.

Pero lo ocurrido este semestre en el mundo académico español parece haber traspasado límites que a la mayoría de los ciudadanos nos parecían de alguna manera “sagrados”.

El fraude de un Rector

La Universidad de Salamanca es una universidad pública española con sede en la ciudad de Salamanca, en cuyo municipio se ubican la mayoría de sus centros, aunque también posee centros en las ciudades de Zamora, Ávila, Béjar y en la localidad de Villamayor. Es la universidad más antigua en operación de España y del mundo hispánico y la cuarta más antigua de Europa. Muchos de los lectores habrán oído la cita “lo que natura non da, Salamanca non presta” haciendo referencia a que las universidades “no cortan orejas”, pero en todo caso, la historia de más de ocho siglos de esta venerable casa de estudios genera una sensación unánime de respeto por tan larga trayectoria al servicio de las ciencias y del conocimiento.

A finales de setiembre de 2024 el diario El País de España publicó un artículo titulado “El fraude de un rector”, reproducido en octubre por la WCA (World Compliance Association) en su Newsletter semanal del viernes 25/10/2024.

Un informe elaborado para el Comité Español de Ética de la Investigación sobre el caso del rector de la Universidad de Salamanca, Juan Manuel Corchado, es hasta ahora el último episodio de un sangrante fraude científico. Las investigaciones publicadas por el periódico El País en torno a las prácticas del rector dispararon hace meses la alarma sobre la credibilidad de lo que su página web recogía con triunfalismo delator.

En teoría, Corchado era uno de los científicos informáticos más citados del mundo por sus trabajos académicos. La realidad es que gran parte de esas menciones responden a una práctica reprobable: la creación de una suerte de cartel de citas, es decir, un sistema concertado para que los profesores conjurados se citen a sí mismos y aumentar así la apariencia de relevancia e impacto de sus trabajos. Se trata de otra variante de una práctica clásica que la universidad española haría bien en desterrar: el nefasto “hoy por ti, mañana por mí”.

El informe para el Comité de Ética no sólo concluye de forma rotunda la “manipulación sistemática” del currículum del rector, sino que deja en mal lugar el informe exculpatorio que la misma Universidad de Salamanca encargó a un docente colega del propio rector, aunque de otra universidad. En sus 17 páginas omite información sustancial y orilla las prácticas fraudulentas de un catedrático que ha usado sus conocimientos de Inteligencia Artificial para engordar sus presuntos méritos de forma, en efecto, artificial. También la Confederación de Sociedades Científicas de España emitió en junio un comunicado de condena que incluía la sugerencia de nuevas elecciones en la USAL para reparar el daño reputacional, tal como demandó también la mitad de los profesores de esa universidad.

Ser experto en Inteligencia Artificial permitió a Corchado acumular referencias en repositorios científicos, inventar perfiles falsos para seguir citándose a sí mismo y pactar con otros las propias citas. No es el primer caso de currículum inflado con métodos ilícitos, pero lo llamativo de este puede servir para mejorar el funcionamiento de los rankings de citas, base a menudo muy insuficiente para determinar el destino de la financiación pública.

La carrera obsesiva por las referencias —casi siempre sin leer los trabajos evaluados— tiene en España este episodio como síntoma de un problema mayor: la necesidad de garantizar la solvencia de los sistemas de evaluación de la investigación académica. Tal obsesión puede acabar llevando al descrédito no sólo al líder de un equipo sino también a sus colaboradores. El bochorno del caso Corchado, que afecta a la máxima autoridad de una universidad pública, obliga a replantear el funcionamiento de los rankings para que los méritos que se examinan no se basen en la cantidad de las citas sino en la calidad de lo citado.

El caso del responsable de la Universidad de Salamanca debe servir para replantear los sistemas de evaluación de los méritos académicos, y es un nuevo ejemplo, impensado al principio del boom e la Inteligencia Artificial, de los riesgos éticos y de fraudes derivados del mal uso de tan poderosa herramienta.

José C. Nordmann

SME en Transformación Digital
Miembro de la AUC (Asociación Uruguaya de Compliance)
Miembro Asociado de la WCA (World Compliance Association)
Miembro Asociado de CUGO (Círculo Uruguayo para la mejor Gobernanza de las Organizaciones)
Miembro del Consejo Mundial para un Planeta más Seguro
Miembro de ACFE (Association of Certified Fraud Examiners)
Miembro del i2 Group Worldwide Advisory Board