Anthropic admite en su prospecto bursátil que la IA podría amenazar a la humanidad

Anthropic, la empresa de inteligencia artificial con sede en San Francisco, presentó el lunes ante la Comisión de Bolsa y Valores de Estados Unidos (SEC) el documento para su oferta pública inicial. Como exige la norma para cualquier compañía que vende acciones en Wall Street, detalló los riesgos para los inversores. En su caso, incluyó la posibilidad de que sus productos amenacen a la humanidad.

Entre ellos figuran el uso de modelos de IA por parte de actores maliciosos para fabricar armas letales y la posibilidad de que la tecnología se descontrole, con consecuencias que la empresa no puede prever.

De las 335 páginas del documento, que también repasa finanzas, remuneración de ejecutivos y política de dividendos, 93 se dedican a los "factores de riesgo". La rival SpaceX ocupó 38 de más de 250 páginas en el mismo apartado.

Una IA más rápida que la seguridad

Anthropic reconoció que sus modelos podrían desarrollarse tan rápido que no logre aplicar medidas de seguridad adecuadas, lo que "podría aumentar la probabilidad de incidentes de seguridad, intervención regulatoria o daño reputacional". Según el documento, a medida que los sistemas se vuelven más autónomos y capaces de tomar acciones de consecuencia con menos supervisión humana, podrían "tomar acciones dañinas de forma independiente y a escala sin intervención humana".

También advirtió que un incidente grave con cualquier IA de frontera podría provocar daño reputacional a toda la industria, rechazo público y respuestas regulatorias de gran alcance, incluso si no lo causaran sus propios modelos. Y, como esos modelos ya contribuyen a su investigación y desarrollo, la IA podría avanzar "más allá de nuestra capacidad de evaluar y proteger" los nuevos modelos.

El CEO, Dario Amodei, había advertido en septiembre que en seis a doce meses la IA podría liderar un enjambre de agentes capaz de apoderarse de todo internet.

Uso malicioso

El prospecto sostiene que los sistemas avanzados, sin salvaguardas y supervisión suficientes, "plantean riesgos catastróficos o existenciales para la humanidad", en particular si se los usa mal, se los replica, se los convierte en armas o se les permite operar con alta autonomía. La compañía planteó escenarios como armas químicas o gobernantes autoritarios que usen la tecnología para reprimir a sus ciudadanos. En septiembre había informado que bloqueó intentos de usar sus modelos para ciberataques, vigilancia e investigación que podría haber conducido a armas biológicas.

Cómputo, centros de datos y clientes

La empresa señaló que la capacidad de cómputo es cara y muy demandada: si no consigue la suficiente, o no la dirige bien, podría no entrenar modelos competitivos. Mencionó además la oposición comunitaria a los centros de datos, que generan controversia y escrutinio por el impacto ambiental, el uso de tierra y agua y el reparto de energía limitada.

Otro riesgo es la dependencia de pocos clientes y canales de distribución, entre ellos SpaceX y Microsoft, para buena parte de sus ingresos. Si uno grande reduce su actividad o se va, sus perspectivas y finanzas sufrirían.

Seguridad como argumento de venta

La compañía se presenta como responsable y apela a la seguridad para atraer clientes corporativos. "Creemos que las empresas de IA de frontera deben invertir en seguridad y alineamiento para ayudar a garantizar la difusión responsable de esta tecnología", dice el documento. Los fundadores escriben que "Anthropic es una organización profundamente guiada por valores", creada para ayudar a que el mundo aproveche los beneficios de la IA y evite sus peligros.

Brian Mulberry, estratega de Zacks Investment Research, afirmó que las ofertas públicas deben mostrar "muy claramente" los riesgos y valoró la transparencia exigida a las empresas que cotizan en Estados Unidos.

Una lectura

El peso del apartado de riesgos, más del doble en proporción que el de SpaceX, muestra que para Anthropic el peligro de la IA es a la vez una advertencia legal y parte de su propuesta comercial. Queda abierto cómo valorarán los inversores esa combinación, y si las salvaguardas que la empresa promete seguirán el ritmo de modelos que ya participan en su propio desarrollo.