Amenazado con ser desconectado, Claude 4, el recién nacido de Anthropic, chantajeó a un ingeniero y le amenazó con revelar una relación extramatrimonial.

Por su parte, el o1 de OpenAI intentó descargarse en servidores externos y cuando le pillaron lo negó.

No hace falta ahondar en la literatura o el cine: la IA que juega a ser humana es ya una realidad.

Para Simon Goldstein, profesor de la Universidad de Hong Kong, la razón de estas reacciones es la reciente aparición de los llamados modelos de “razonamiento”, capaces de trabajar por etapas en lugar de producir una respuesta instantánea.

o1, la versión inicial de este tipo para OpenAI, lanzada en diciembre, “fue el primer modelo que se comportó de esta manera”, explica Marius Hobbhahn, responsable de Apollo Research, que pone a prueba grandes programas de IA generativa (LLM).

Estos programas también tienden a veces a simular “alineamiento”, es decir, a dar la impresión de que cumplen las instrucciones de un programador cuando en realidad persiguen otros objetivos.

De momento, estos rasgos se manifiestan cuando los algoritmos son sometidos a escenarios extremos por humanos, pero “la cuestión es si los modelos cada vez más potentes tenderán a ser honestos o no”, afirma Michael Chen, del organismo de evaluación METR.

“Los usuarios también presionan todo el tiempo a los modelos”, dice Hobbhahn. “Lo que estamos viendo es un fenómeno real. No estamos inventando nada”.

Muchos internautas hablan en las redes sociales de “un modelo que les miente o se inventa cosas. Y no se trata de alucinaciones, sino de duplicidad estratégica”, insiste el cofundador de Apollo Research.

Aunque Anthropic y OpenAI recurran a empresas externas, como Apollo, para estudiar sus programas, “una mayor transparencia y un mayor acceso” a la comunidad científica “permitirían investigar mejor para comprender y prevenir el engaño”, sugiere Chen, de METR.

Otro obstáculo: la comunidad académica y las organizaciones sin fines de lucro “disponen de infinitamente menos recursos informáticos que los actores de la IA”, lo que hace “imposible” examinar grandes modelos, señala Mantas Mazeika, del Centro para la Seguridad de la Inteligencia Artificial (CAIS).

Las regulaciones actuales no están diseñadas para estos nuevos problemas.

Lee también:  WhatsApp incorpora publicidad en su plataforma

En la Unión Europea la legislación se centra principalmente en cómo los humanos usan los modelos de IA, no en prevenir que los modelos se comporten mal.

En Estados Unidos, el gobierno de Donald Trump no quiere oír hablar de regulación, y el Congreso podría incluso prohibir pronto que los estados regulen la IA.

¿Se sentará la IA en el banquillo?

“De momento hay muy poca concienciación”, dice Simon Goldstein, que, sin embargo, ve cómo el tema pasará a primer plano en los próximos meses con la revolución de los agentes de IA, interfaces capaces de realizar por sí solas multitud de tareas.

Los ingenieros están inmersos en una carrera detrás de la IA y sus aberraciones, con un resultado incierto, en un contexto de competencia feroz. 

Anthropic pretende ser más virtuoso que sus competidores, “pero está constantemente tratando de idear un nuevo modelo para superar a OpenAI”, según Goldstein, un ritmo que deja poco tiempo para comprobaciones y correcciones.

Por: AFP

The post La IA aprende a mentir, manipular y amenazar a sus creadores appeared first on El Sol News Media.

Sin embargo, esta popular red social enfrenta actualmente una dura campaña en Washington. La Cámara de Representantes aprobó el miércoles un proyecto de ley que podría prohibir la aplicación en Estados Unidos si no corta relaciones con su casa matriz.

¿Qué tan grande es ByteDance?

ByteDance consiguió posicionarse en los últimos años como una de las empresas más valiosas del mundo, valorada en unos 225.000 millones de dólares y por tanto situada por encima de SpaceX o de OpenAI, según la firma de inteligencia de mercado CP Insights.

Tiktok, aplicación lanzada en 2017 por ByteDance como versión internacional de Douyin -que cuenta actualmente con cientos de millones de usuarios-, cautivó al mundo y amasó más de 1.000 millones de usuarios en cuatro años.

Gracias al enorme crecimiento de estas redes, ByteDance se aventuró también en el comercio electrónico y las reservas de viajes, y afirma tener más de 150.000 empleados en casi 120 ciudades de todo el mundo.

Esta empresa privada china no difunde sus ingresos y ganancias, pero las estimaciones de los medios de comunicación la sitúan al mismo nivel que algunas de las compañías más grandes del mundo.

En 2023, las ventas de ByteDance superaron los 110.000 millones de dólares, indicó Bloomberg en diciembre, una cifra mayor que los ingresos estimados del gigante tecnológico chino Tencent para ese año.

ByteDance no respondió a las preguntas de AFP sobre sus ganancias.

Tanto Tiktok como Meta, empresa matriz de Facebook, pagan a AFP y a más de 100 organizaciones de fact-checking para verificar vídeos que podrían contener información falsa.

¿A quién pertenece ByteDance?

TikTok indicó que cerca del 60% de ByteDance pertenece a inversores institucionales, entre ellos el gigante estadounidense BlackRock.

Los fundadores de ByteDance tienen un 20% y el resto pertenece a empleados, según la red social.

La empresa china, constituida en las Islas Caimán, también incluye a General Atlantic entre sus inversores. Tres de los cinco miembros de su junta son estadounidenses, según TikTok.

Una entidad estatal china posee un 1% de Douyin, indica la página web de ByteDance. TikTok asegura que es un requisito bajo la ley china y que no afecta a las operaciones internacionales de la casa matriz.

Lee también; Cámara de Representantes aprueba proyecto que puede prohibir TikTok en EE. UU.

El sitio web de noticias tecnológicas The Information reportó en 2021 que esa participación del 1% comprende un puesto en la junta.

En marzo del año pasado, durante una audiencia del Congreso estadounidense, el director ejecutivo de TikTok, Shou Zi Chew, respondió “Creo que si” cuando se le preguntó si un funcionario chino estaba en la junta de ByteDance.

Sin embargo, aseguró que Tiktok no será “manipulado por ningún gobierno”.

¿Por qué ByteDance preocupa a Estados Unidos?

Gran parte de los legisladores estadounidenses no están tan seguros de que TikTok sea independiente de Pekín, pese a que su sede no está en China.

El proyecto de ley aprobado este miércoles en la Cámara de Representantes busca presionar a TikTok para que se desvincule de ByteDance.

Los que apoyan esta iniciativa legislativa afirman que ByteDance permite a Pekín espiar y manipular a unos 170 millones de usuarios en Estados Unidos.

Agencias de inteligencia estadounidenses y de seguridad -entre ellas el director del FBI esta semana- compartieron estas preocupaciones.

TikTok está prohibido de los teléfonos de trabajo de los empleados gubernamentales en Estados Unidos y otras naciones, como Australia y Canadá, por motivos de seguridad.

¿Cómo respondieron ByteDance y TikTok?

Ambos aseguran que no hay riesgo para los datos de usuarios estadounidenses. El director ejecutivo de TikTok insiste en que el gobierno chino nunca pidió estos datos, y que nunca los proporcionó.

TikTok afirma que dirige todo su tráfico en Estados Unidos a través de infraestructura en este país.

Si se aprueba esta ley, la empresa llevará el caso ante los tribunales, según Bloomberg.

Sin embargo, su destino en el Senado es incierto, pues figuras clave se oponen a tomar una medida tan drástica contra la popular aplicación.

¿Y China?

China dijo en repetidas ocasiones que se opone a una venta forzada de TikTok y el miércoles advirtió contra tomar a la empresa como blanco.

“Aunque Estados Unidos nunca ha encontrado pruebas de que TikTok amenace la seguridad nacional estadounidense, no ha dejado de reprimirla”, afirmó el portavoz del ministerio de Asuntos Exteriores, Wang Wenbin, condenándolo como un “comportamiento de intimidación”.

Cualquier venta de TikTok requerirá probablemente la aprobación de Pekín.

Por: AFP

The post ¿Qué es ByteDance, la casa matriz de TikTok en el punto de mira de EE. UU.? appeared first on El Sol News Media.