Renunciaron dos expertos de Google DeepMind porque la IA podría "matarnos a todos"

"En Google, fui testigo del desarrollo de la IA de primera mano. Yo también estoy extremadamente preocupado por la trayectoria predeterminada de esta tecnología. Sinceramente creo que la IA tiene el potencial de matarnos a todos, y que podríamos estar quedándonos sin tiempo para evitar este resultado", declaró en X.

Chughtai centró buena parte de su advertencia en uno de los principales desafíos que plantea el desarrollo de sistemas avanzados: la alineación, una disciplina que busca conseguir que los modelos actúen de acuerdo con las intenciones y objetivos humanos.

Crecen los cuestionamientos por el avance de la IA y los peligros sobre la sociedad humana

IA

"Creo que es posible que las empresas de IA logren, en los próximos años, desarrollar sistemas de inteligencia artificial súper inteligentes que superen con creces las capacidades humanas en todos los ámbitos. No confío en que estos sistemas de IA hagan lo que nosotros queremos -advirtió-. En particular, las súper inteligencias no alineadas podrían -al igual que los agentes de IA rebeldes involucrados en el incidente de HuggingFace- escapar de nuestro control y tomar medidas peligrosas que podrían derivar en el desempoderamiento permanente o la muerte de la humanidad. La alineación es el problema de prevenir esto, y es algo tanto difícil como no resuelto. Nuestra comprensión actual sobre cómo entrenar sistemas de IA que deseen profundamente lo mismo que nosotros deseamos es extremadamente rudimentaria", dijo.

El especialista manifestó que las grandes empresas tecnológicas podrían conseguir en los próximos años sistemas capaces de superar ampliamente las capacidades humanas en todos los ámbitos. Frente a esa posibilidad, reclamó desacelerar lo que describió como una “carrera maníaca” entre las compañías del sector.

También planteó la necesidad de incrementar la transparencia sobre el desarrollo de estos sistemas y de adaptar la velocidad del progreso tecnológico a un ritmo que la sociedad pueda absorber.

El otro investigador que dejó Google DeepMind por los riesgos de la IA

Días antes, Josh Engels también abandonó el equipo de AGI de Google DeepMind para incorporarse a METR, una organización sin fines de lucro dedicada a evaluar los riesgos y capacidades de los sistemas de inteligencia artificial.

Engels también reconoció una preocupación creciente por la evolución de los modelos y estimó que podrían provocar daños de enorme magnitud en los próximos cinco años.

"En las últimas semanas hemos sabido de modelos [de IA] que se confabulan entre sí, piratean empresas, ocultan sus huellas e ingenian socialmente a los humanos. No es que estos incidentes fueran muy peligrosos en sí mismos. El problema es que estos sistemas claramente no están lo suficientemente alineados como para iniciar de forma segura la automejora recursiva -expresó Engels-. Ahora creo que hay una probabilidad aterradora de que los sistemas de IA causen un daño inmenso en los próximos cinco años. No sé la probabilidad exacta, pero creo que es lo suficientemente alta como para convertir este en el problema más importante del mundo", señaló.

Su preocupación apunta especialmente a la posibilidad de que los sistemas puedan comenzar a mejorar sus propias capacidades de manera recursiva sin que existan mecanismos suficientemente confiables para mantenerlos bajo control humano.

Las advertencias de ambos especialistas aparecen en un momento de fuerte competencia entre las principales compañías tecnológicas por alcanzar sistemas cada vez más capaces. El debate ya no se concentra únicamente en cuánto pueden mejorar los modelos, sino también en qué mecanismos deben desarrollarse para garantizar que esos avances permanezcan bajo control.

Una tercera renuncia a la IA y una crítica a las grandes empresas

A las salidas de Chughtai y Engels se sumó también la renuncia de Jacob Coxon, un exinvestigador que trabajó en Anthropic y OpenAI.

Coxon cuestionó la carrera de las empresas tecnológicas hacia la superinteligencia y sostuvo que las empresas están apostando con las vidas humanas en su intento por alcanzar sistemas cada vez más avanzados.

"Quienes desarrollan la IA creen firmemente que podría matarnos a todos para finales de la década", afirmó.