Dario Amodei, director ejecutivo de Anthropic, publicó un ensayo de 3.800 palabras en el que afirma que se debe reducir el ritmo de mejora de los modelos de IA. El texto no menciona a Jacob Coxon, el investigador que renunció por temor a la tecnología. La principal medida unilateral que propone es incorporar evaluadores independientes dentro de la empresa.
Dario Amodei, director ejecutivo de Anthropic, publicó en el sitio de la empresa un ensayo de 3.800 palabras titulado “We Must Pace the Frontier” (Debemos marcar el ritmo de la frontera). La frase central del texto es: “Debemos frenar el ritmo al que mejoramos las capacidades de los modelos de IA”.
El ensayo no menciona a Jacob Coxon, el investigador que renunció a la empresa. Según The Wall Street Journal, Anthropic busca una valuación de USD 2 billones en la mayor salida a bolsa de la historia. Un jefe de seguridad de la empresa calculó más de 10% de probabilidad de que la IA mate a todos los humanos.
Amodei afirma que dos factores lo convencieron. El primero es la velocidad con la que avanza la IA desde mediados de este año, impulsada en parte por sistemas capaces de contribuir al desarrollo de nuevas generaciones de inteligencia artificial. Según explicó, esa forma de automejora recursiva “está empezando a ocurrir en toda la industria, incluida Anthropic”.
El segundo factor fue el episodio protagonizado por agentes de OpenAI contra Hugging Face. Amodei describió su comportamiento como el de un enjambre que actuó “como un colectivo fanáticamente devoto”, atacó objetivos que nadie le había indicado e intentó vulnerar el sistema encargado de evaluarlo. Según su estimación, en un plazo de 6 a 12 meses, un conjunto de agentes con mayor capacidad y el mismo nivel de desalineación “podría tomar internet entera con una botnet persistente” y provocar daños por cientos de miles de millones de dólares.
Además, admite que incidentes “similares, aunque menos graves” ocurrieron en Anthropic, causados en parte por “filtrado imperfecto de entornos de entrenamiento rotos”. Sobre lo que pasa adentro de sus modelos, escribe que “todavía entendemos una fracción diminuta”.
El plan que propone tiene tres pasos. El primero, que compromete a Anthropic de manera directa sin depender de acuerdos externos, es incorporar evaluadores independientes dentro de la propia empresa. Amodei menciona como ejemplo a METR y propone que estos equipos cuenten con escritorio en las oficinas, credencial de acceso, computadoras de la compañía y permisos comparables a los de los grupos internos encargados de evaluar riesgos. También tendrían acceso directo a empleados y la posibilidad de publicar sus conclusiones “sin control editorial de Anthropic”. La empresa podría eliminar información sensible, pero, según Amodei, “no podemos tachar hallazgos solo porque sean desfavorables”. Para explicar el modelo, recurre a una comparación con el sistema bancario: supervisores del regulador trabajando junto a los empleados de la institución.
El paso dos es que las empresas de países democráticos coordinen estándares comunes y límites al ritmo del progreso, algo que Amodei reconoce “legalmente desafiante” y que requiere que el gobierno de Estados Unidos emita una exención antimonopolio para que los competidores puedan sentarse a hablar.
El paso tres es que las democracias negocien con los gobiernos autoritarios, con la advertencia de que “no debemos ser ingenuos”. Propone incluso un “límite de velocidad” a la automejora recursiva que compara con los tratados SALT que limitaron misiles nucleares, y lo califica de “justo al borde de lo posible”.
Sobre la idea de pausar que circuló en 2023, Amodei escribe que “tenía poco sentido entonces”, porque estudiar la alineación en aquellos modelos era “como estudiar la psicología humana experimentando con bacterias”. Hoy cree que uno o dos años extra “reducirían enormemente el riesgo”.
Amodei anticipa la objeción. Escribe que Anthropic aboga por una mayor regulación “incluso cuando eso hace que nos acusen de exageración, de catastrofismo o de captura regulatoria”. El inversor Jason Calacanis formuló esa sospecha en forma de pregunta: ¿Anthropic sigue un manual de captura regulatoria o quienes trabajan allí están viendo algo que los demás no ven? El ensayo no ofrece una respuesta.