El jefe de Anthropic pide frenar el ritmo de la IA, y sus competidores le dan la razón

Esta semana ha pasado algo raro. El consejero delegado de una de las empresas que fabrican estos modelos publicó un ensayo pidiendo que la industria vaya más despacio. En cuestión de horas, sus competidores directos le dieron la razón en público.

Quien fabrica la IA pide frenarla, y sus competidores le dan la razón

El sábado 12 de septiembre, Dario Amodei publicó en su web personal un ensayo titulado "We Must Pace the Frontier". Amodei es el consejero delegado de Anthropic, la empresa que hace Claude. Su tesis es que la industria debería reducir a propósito la velocidad a la que mejora la capacidad de los modelos, para que el trabajo de seguridad y verificación pueda seguirle el ritmo.

Conviene precisar qué pide y qué no. Él mismo escribe que marcar el paso no significa detener el entrenamiento ni el progreso técnico. Lo que propone son tres pasos. Que cada empresa puntera dé acceso continuado, equiparable al de un empleado, a un equipo de evaluadores externos metidos dentro de la casa. Que las empresas de países democráticos acuerden estándares comunes de seguridad y límites al avance sin supervisión. Y que los gobiernos democráticos intenten coordinarse con los autoritarios.

Anthropic se compromete al primero por su cuenta, sin esperar a nadie. Amodei también apunta que, por razones de competencia, sería útil que el gobierno estadounidense medie en esas conversaciones.

Lo llamativo vino después. En cuestión de horas, Sam Altman (OpenAI), Elon Musk (xAI) y Demis Hassabis (Google DeepMind) respaldaron el argumento en público. Dos días más tarde se supo que OpenAI, Anthropic y Google llevaban semanas hablando de crear un organismo común de seguridad.

¿Qué significa esto para ti? Llevas meses oyendo que la IA va a transformar la sanidad. Ahora quien la fabrica dice por escrito que avanza más rápido de lo que él mismo puede verificar. No es un motivo para apartarte, es el motivo por el que tu criterio clínico sigue teniendo la última palabra. Ninguna de estas herramientas está en condiciones de firmar una decisión por ti, y quien las construye acaba de reconocerlo.

El ensayo completo de Amodei y la cobertura de Axios.

---

Radar de la semana

Hay personas leyendo conversaciones reales de ChatGPT, y ven más de lo que parece. OpenAI tiene en marcha un programa interno llamado Project Lily. Cientos de personas contratadas leen conversaciones reales de usuarios para ayudar a mejorar el modelo. El medio 404 Media accedió a los materiales internos del programa, las instrucciones que reciben los revisores, mensajes de Slack y el sistema de puntuación.

El trabajo funciona así. El revisor lee la conversación entera, no un mensaje suelto. Resume qué intentaba conseguir la persona y después puntúa del 1 al 7 cuatro respuestas posibles del modelo. Lo que le piden vigilar es el tono, la adulación, los intentos de sonar humano y los emojis fuera de lugar.

Ahora la parte incómoda, que es la que importa. Los revisores no ven tu nombre de usuario y las conversaciones pasan antes por un filtro automático de privacidad. Pero el panel que tienen delante incluye a menudo un resumen de las memorias del usuario, es decir, de lo que ChatGPT ha ido guardando de tus conversaciones anteriores. Ese resumen puede dejar a la vista tu zona geográfica, tu profesión y tu contexto personal. OpenAI reconoció a 404 Media que el filtrado puede dejar pasar datos personales, sobre todo en conversaciones cortas. Todo esto ocurre sobre una base de más de 900 millones de usuarios activos semanales, la mayoría sin saber que existe.

No hace falta escribir el nombre de un paciente para que una conversación acabe siendo identificable. Un caso con edad, patología poco frecuente y cuatro detalles de contexto, leído junto a un resumen que dice tu profesión y tu zona, identifica bastante más de lo que parece. Hay algo concreto que puedes hacer hoy. En los ajustes de ChatGPT, la opción de mejorar el modelo para todos saca tus conversaciones futuras de ese circuito. No borra lo anterior, solo afecta a lo que venga. Y la regla de siempre, ahora con una razón documentada detrás, los datos de pacientes no entran en el chat. 404 Media y TechRepublic.

Un año gratis de Google AI Plus si estás estudiando. El 19 de agosto Google abrió un año sin coste de su plan de pago para estudiantes universitarios. Fuera de Estados Unidos el plan que toca es Google AI Plus, e incluye acceso a Gemini Omni, el doble de límites de uso, 400 GB de almacenamiento y las herramientas de estudio (cuadernos, visualizaciones y Deep Research) sin límite de subidas.

Está en más de 140 mercados, España entre ellos, y quedan fuera Bolivia, Albania, Canadá, Macao, Hong Kong y Túnez. Piden ser estudiante universitario mayor de 18 años y registrar un método de pago. El plazo para activarlo acaba el 31 de diciembre, al cumplirse el año renueva a 4,99 euros al mes si no lo cancelas, y hay que volver a verificar la condición de estudiante cada año para mantenerlo. El anuncio de Google.

---

La reflexión de la semana

Me he quedado pensando en de dónde viene el aviso. No lo firma un crítico de la IA ni un regulador con ganas de ruido. Lo firma quien vive de vender estos modelos, y sus competidores salen a darle la razón el mismo día.

Cuando quien construye la herramienta te dice que corre más de lo que puede comprobar, tu criterio deja de ser un complemento y pasa a ser la pieza que sostiene todo lo demás. Eso se aprende. Y por eso seguimos insistiendo tanto.