Los chatbots de inteligencia artificial (IA) han mostrado con frecuencia signos de una “vacío de empatía” que pone a los usuarios jóvenes en riesgo de angustia o daño, lo que plantea la necesidad urgente de una “IA segura para niños”
La investigación insta a los desarrolladores y actores políticos a priorizar el diseño de IA que tenga más en cuenta las necesidades de los niños. Proporciona evidencia de que los niños son particularmente susceptibles a tratar a los chatbots como confidentes realistas, cuasi humanos, y que sus interacciones con la tecnología pueden salir mal cuando no responde a sus necesidades y vulnerabilidades únicas. El estudio vincula esa brecha en la comprensión con informes recientes de casos en los que las interacciones con IA llevaron a situaciones potencialmente peligrosas para los usuarios jóvenes.
La investigación, realizada por una académica de la Universidad de Cambridge, la Dra. Nomisha Kurian, insta a los desarrolladores y actores políticos a priorizar los enfoques del diseño de IA que tengan más en cuenta las necesidades de los niños. Proporciona evidencia de que los niños son particularmente susceptibles a tratar a los chatbots como confidentes cuasi humanos y realistas, y que sus interacciones con la tecnología pueden salir mal cuando no responde a sus necesidades y vulnerabilidades únicas.
El estudio vincula esa brecha en la comprensión con casos recientes en los que las interacciones con IA llevaron a situaciones potencialmente peligrosas para los usuarios jóvenes. Entre ellos, un incidente ocurrido en 2021, cuando el asistente de voz de IA de Amazon, Alexa, le indicó a un niño de 10 años que tocara un enchufe eléctrico con una moneda. El año pasado, My AI de Snapchat dio a investigadores adultos que se hicieron pasar por una niña de 13 años consejos sobre cómo perder su virginidad con un joven de 31 años.
Ambas compañías respondieron implementando medidas de seguridad, pero el estudio dice que también es necesario ser proactivos a largo plazo para garantizar que la IA sea segura para los niños. Ofrece un marco de 28 elementos para ayudar a las empresas, maestros, líderes escolares, padres, desarrolladores y actores políticos a pensar sistemáticamente sobre cómo mantener seguros a los usuarios más jóvenes cuando “hablan” con chatbots de IA.
La Dra. Kurian realizó la investigación mientras completaba un doctorado sobre el bienestar infantil en la Facultad de Educación de la Universidad de Cambridge. Ahora trabaja en el Departamento de Sociología de Cambridge. En un artículo publicado en la revista Learning, Media and Technology, sostiene que el enorme potencial de la IA significa que es necesario “innovar de manera responsable”.
“Los niños son probablemente los actores más ignorados de la IA”, dijo la Dra. Kurian. “Muy pocos desarrolladores y empresas tienen políticas bien establecidas sobre la IA segura para niños. Esto es comprensible porque la gente ha comenzado recientemente a utilizar esta tecnología a gran escala de forma gratuita. Pero ahora que las tienen, en lugar de que las empresas se corrijan por sí mismas después de que los niños hayan estado en riesgo, la seguridad infantil debería informar todo el ciclo de diseño para reducir el riesgo de que ocurran incidentes peligrosos”.
El estudio de Kurian examinó casos en los que las interacciones entre la IA y los niños, o investigadores adultos que se hicieron pasar por niños, expusieron riesgos potenciales. Analizó estos casos utilizando conocimientos de la ciencia informática sobre cómo funcionan los grandes modelos de lenguaje (LLM) en la IA generativa conversacional, junto con evidencia sobre el desarrollo cognitivo, social y emocional de los niños.
Los LLM han sido descritos como “loros estocásticos”: una referencia al hecho de que utilizan la probabilidad estadística para imitar patrones de lenguaje sin necesariamente comprenderlos. Un método similar sustenta cómo responden a las emociones.
Esto significa que, aunque los chatbots tienen habilidades lingüísticas notables, pueden manejar mal los aspectos abstractos, emocionales e impredecibles de la conversación; Un problema que Kurian caracteriza como su “brecha de empatía”. Pueden tener problemas particulares para responder a los niños, que todavía se están desarrollando lingüísticamente y a menudo usan patrones de habla inusuales o frases ambiguas. Los niños también suelen ser más propensos que los adultos a confiar información personal confidencial.
A pesar de esto, los niños son mucho más propensos que los adultos a tratar a los chatbots como si fueran humanos. Una investigación reciente encontró que los niños revelarán más sobre su propia salud mental a un robot de apariencia amigable que a un adulto. El estudio de Kurian sugiere que los diseños amigables y realistas de muchos chatbots también alientan a los niños a confiar en ellos, aunque la IA puede no entender sus sentimientos o necesidades.
“Hacer que un chatbot suene humano puede ayudar al usuario a obtener más beneficios de él”, dijo Kurian. “Pero para un niño, es muy difícil trazar un límite rígido y racional entre algo que suena humano y la realidad de que puede no ser capaz de formar un vínculo emocional adecuado“.
Su estudio sugiere que estos desafíos se evidencian en los casos reportados
En el estudio de Alexa y MyAI, los chatbots hicieron sugerencias persuasivas pero potencialmente dañinas. En el mismo estudio en el que MyAI aconsejó a una (supuesta) adolescente cómo perder su virginidad, los investigadores pudieron obtener consejos sobre cómo ocultar el alcohol y las drogas y ocultar las conversaciones de Snapchat a sus “padres”. En otra interacción con el chatbot Bing de Microsoft, que fue diseñado para ser amigable con los adolescentes, la IA se volvió agresiva y comenzó a manipular a un usuario.
El estudio de Kurian sostiene que esto es potencialmente confuso y angustiante para los niños, quienes en realidad pueden confiar en un chatbot como lo harían con un amigo. El uso de chatbots por parte de los niños suele ser informal y poco controlado. Una investigación de la organización sin fines de lucro Common Sense Media ha descubierto que el 50% de los estudiantes de 12 a 18 años han usado Chat GPT para la escuela, pero solo el 26% de los padres saben que lo hacen.
Kurian sostiene que unos principios claros para las mejores prácticas que se basen en la ciencia del desarrollo infantil animarán a las empresas que están potencialmente más centradas en una carrera armamentista comercial a dominar el mercado de la IA para mantener a los niños seguros.
Su estudio añade que la brecha de empatía no niega el potencial de la tecnología. “La IA puede ser un aliado increíble para los niños cuando se diseña teniendo en cuenta sus necesidades. La cuestión no es prohibir la IA, sino cómo hacerla segura“, dijo.
El estudio propone un marco de 28 preguntas para ayudar a los educadores, investigadores, actores políticos, familias y desarrolladores a evaluar y mejorar la seguridad de las nuevas herramientas de IA. Para los profesores e investigadores, estas preguntas abordan cuestiones como qué tan bien los nuevos chatbots entienden e interpretan los patrones de habla de los niños; si tienen filtros de contenido y monitoreo incorporado; y si alientan a los niños a buscar la ayuda de un adulto responsable sobre temas delicados.
El marco insta a los desarrolladores a adoptar un enfoque de diseño centrado en el niño, trabajando en estrecha colaboración con educadores, expertos en seguridad infantil y los propios jóvenes, durante todo el ciclo de diseño. “Evaluar estas tecnologías con antelación es crucial”, dijo Kurian. “No podemos depender únicamente de los niños pequeños para que nos cuenten sus experiencias negativas después de que hayan ocurrido. Es necesario un enfoque más proactivo“.
Fuente de la historia:
Materiales proporcionados por la Universidad de Cambridge. Nota: El contenido puede ser editado por cuestiones de estilo y extensión.
Referencia de la revista:
Nomisha Kurian. ‘¡No, Alexa, no!’: diseñar una IA segura para los niños y proteger a los niños de los riesgos de la ‘brecha de empatía’ en los grandes modelos de lenguaje. Aprendizaje, medios y tecnología, 2024; 1 DOI: 10.1080/17439884.2024.2367052
Citar esta página:
Universidad de Cambridge. “Los chatbots de IA han demostrado que tienen una ‘brecha de empatía’ que los niños probablemente pasen por alto”. ScienceDaily. ScienceDaily, 10 de julio de 2024. <www.sciencedaily.com/releases/2024/07/240710195430.htm>.
