Por qué la IA no es negociable
El destino puede ser bueno. El camino que elijamos decide quién llega.
📚 Material de enseñanza
Los seres humanos no cambian únicamente a través de la biología. También cambiamos mediante las herramientas que construimos.
El fuego extendió el día. La agricultura liberó a las personas de la búsqueda constante de alimento. La imprenta difundió el conocimiento. La máquina de vapor multiplicó la fuerza muscular. El equipo informático multiplicó el cálculo.
Ninguna de estas tecnologías siguió siendo opcional. Las sociedades que las dominaron ganaron poder y prosperidad. Las sociedades que se resistieron a ellas fueron a menudo superadas por las que no lo hicieron.
La IA es el siguiente giro de esa rueda. También puede ser el más importante. Las herramientas anteriores aumentaron el cuerpo o automatizaron el cálculo rutinario. La IA aumenta la cognición misma: nuestra capacidad de razonar, combinar información, crear y decidir.
Eso hace que la IA sea poderosa. También hace que sea peligrosa. La opinión pública se ha dividido entre quienes temen a la IA y quienes la ven como un camino hacia la prosperidad.
Los temores son reales. Merecen respuestas serias. Pero no son una razón para quedarse inmóviles.
El camino, no el destino
El historiador Yuval Noah Harari aporta la idea central de este capítulo.
El problema de una herramienta nueva y poderosa rara vez consiste únicamente en adónde conduce. El camino hacia ese futuro importa tanto como el destino.
La Revolución Industrial terminó creando mucha más prosperidad que la economía agraria a la que sustituyó. Incluso los trabajadores comunes de hoy viven mejor que sus antepasados de hace dos siglos. Pero el camino fue brutal. Nadie sabía cómo construir una sociedad industrial cuando llegaron las nuevas máquinas. Las primeras potencias industriales cometieron errores enormes y después pasaron un siglo conquistando y explotando a los países que se industrializaron más tarde.
La IA podría repetir ese patrón. Podría ampliar la desigualdad dentro de los países y crear una desigualdad aún mayor entre ellos.
Harari advierte que unos pocos países podrían controlar la IA. Eso podría dejar «riqueza en California o Shenzhen, pero muy pocos empleos en cualquier otro lugar».
Por lo tanto, la pregunta clave no es si la IA puede conducir a un buen destino. Puede hacerlo. La pregunta clave es si podemos construir un camino que beneficie a todos, no solo a unas pocas personas en unos pocos países.
Harari usa Shenzhen como símbolo de la riqueza tecnológica de China. El símbolo funciona, pero la geografía merece precisión.
Shenzhen es la capital china del hardware. Es sede de Huawei, Tencent, DJI y una vasta cadena de suministro manufacturera.
La capital china de la IA es Beijing. Alberga Zhongguancun, las universidades Tsinghua y Peking, la Beijing Academy of AI y laboratorios como Baidu, Zhipu AI y Moonshot.
Hangzhou, sede de DeepSeek y del equipo Qwen de Alibaba, es el segundo centro emergente.
Los chips se ensamblan en Shenzhen. Los modelos de frontera se construyen principalmente en Beijing y Hangzhou.
La Revolución Industrial demostró que el destino puede ser bueno mientras el camino es brutal. El camino hacia el futuro de la IA todavía se está construyendo y se bifurca.
Lee las nueve objeciones siguientes bajo esa perspectiva. Cada una identifica un peligro real. Ninguna exige abandonar el viaje. Cada una exige construir el camino deliberadamente.
Las nueve objeciones
Estas preocupaciones no son ideas marginales. Aparecen en consejos de administración, audiencias legislativas, laboratorios de investigación y debates públicos.
El argumento escéptico puede expresarse en una sola frase: los riesgos son obvios y nadie ha explicado el beneficio.
-
Desempleo masivo. La IA puede eliminar millones de empleos, comenzando por el trabajo de nivel inicial y avanzando después hacia el derecho, la contabilidad, la creación de contenido y otros campos profesionales. La disrupción puede llegar antes de que los trabajadores tengan tiempo o apoyo para adaptarse.
-
Ningún beneficio claro para la gente común. La industria dice que la IA «lo cambiará todo», pero a menudo no explica cómo mejorará la vida diaria. El temor es concreto. El beneficio para el consumidor parece vago.
-
Vigilancia y control autoritario. La IA proporciona a gobiernos y empresas herramientas poderosas para el reconocimiento facial, la predicción del comportamiento y la censura automatizada. Sin límites, estas herramientas pueden convertir sistemas de productividad en sistemas de control.
-
Una carrera armamentista geopolítica. Si solo unas pocas naciones exportan inteligencia de IA, los demás países pueden depender de modelos extranjeros para servicios básicos, defensa, salud, educación y planificación económica.
-
La erosión de la realidad. El texto, las imágenes y el video generados por IA pueden dificultar la distinción entre verdad y ficción. La desinformación es un problema. La pérdida de control sobre sistemas cada vez más capaces es el temor más profundo.
-
Riesgo existencial. Investigadores serios, incluidos Stuart Russell, Yoshua Bengio y Geoffrey Hinton, han advertido que sistemas muy capaces podrían perseguir objetivos incompatibles con los valores humanos. Un sistema desalineado suficientemente potente podría causar daños irreversibles.
-
Costo ambiental. Entrenar y ejecutar sistemas de frontera requiere grandes cantidades de electricidad y agua. Los críticos temen que la IA agrave las crisis climática y energética antes de que se demuestren sus beneficios.
-
Sesgo y discriminación a escala. La IA puede aprender los sesgos de los datos históricos y aplicarlos después con rapidez y amplitud. Ya existen fallas documentadas en contratación, crédito y salud.
-
Concentración de riqueza sin precedentes. Entrenar modelos de frontera cuesta miles de millones y requiere decenas de miles de GPU costosas. Actualmente, solo un pequeño número de organizaciones estadounidenses y chinas puede competir a ese nivel. El resultado podría ser una enorme concentración de riqueza y poder.
Por qué nada de esto es razón para detenerse
Cada temor es válido. Ninguno es una razón para quedarse al margen. La respuesta es construir IA con mejores reglas, mejores incentivos, ingeniería sólida y un acceso más amplio.
El mapa de este capítulo: nueve peligros y nueve maneras de construir a través de ellos.
1. Desempleo masivo: los empleos cambian y la capacidad se amplía
La IA no trata un empleo como una unidad indivisible. Lo descompone en tareas.
Algunas tareas se automatizarán. Otras se combinarán en nuevos roles. El desarrollador no desaparece sin más. Puede producir más.
La era SaaS creó empleos que pocas personas predijeron, como arquitecto cloud, growth hacker, ingeniero DevOps e investigador de UX. La era de la IA ya está creando roles como diseñador de agentes, arquitecto de resultados, especialista en verificación y experto de dominio que enseña a las máquinas qué significa «correcto».
Los datos de LinkedIn de 2024 mostraron que las ofertas que exigían habilidades de IA crecieron 3,5 veces más rápido que el mercado laboral general. Este crecimiento no se limitó a la tecnología. También apareció en salud, logística, educación y finanzas.
Existe una oportunidad aún mayor.
En el pasado, las nuevas herramientas mejoraban el costo de servir. Ayudaban a un profesional a prestar el mismo servicio a menor costo.
La IA también puede mejorar la capacidad de servir. Puede ayudar a un profesional a llegar a personas que antes no recibían ningún servicio.
Ocho mil millones de personas necesitan atención médica, educación, asesoría legal y planificación financiera. Nunca ha habido suficientes profesionales para atenderlas a todas.
En la India rural, herramientas de IA detectan retinopatía diabética en aldeas que nunca han tenido un oftalmólogo. Khanmigo, el tutor de IA de Khan Academy, ofrece algo cercano a la enseñanza individual en lugares donde las aulas pueden tener sesenta estudiantes.
La IA no tiene que sustituir al médico o al docente. Puede ayudar a que cada aldea tenga acceso a uno.
Las tecnologías anteriores redujeron principalmente el costo. La IA también puede ampliar el servicio a quienes nunca lo recibieron.
La IA seguirá presionando el trabajo rutinario. Un radiólogo que solo lee exploraciones estándar puede sentir esa presión. Un radiólogo que combina el juicio clínico con la detección de patrones asistida por IA será más valioso.
La línea divisoria no separa el trabajo manual del trabajo intelectual. Separa a quienes dejan de aprender de quienes siguen creciendo.
El mayor riesgo personal no es solo que la IA cambie tu empleo. Es negarte a aprender las herramientas que lo están cambiando.
2. Ningún beneficio claro para la gente común: haz visible el dividendo
Esto es, en parte, una falla de comunicación. Los beneficios son reales, pero la industria a menudo los ha descrito mal.
Comienza con la vida cotidiana.
- Una madre soltera en Ohio usa un asistente de IA para redactar una carta sobre una disputa de alquiler. De otro modo, un abogado podría cobrarle 400 dólares.
- Un comerciante en Karachi usa traducción con IA para negociar directamente con un proveedor chino, sin intermediario ni sobreprecio.
- Un estudiante en una zona rural de México usa un tutor de IA para prepararse para los exámenes de ingreso universitario porque no hay un centro de preparación cercano.
Los beneficios también aparecen en sistemas más grandes.
Duolingo informó que la IA le ayudó a crear contenido nuevo de cursos por una fracción del costo anterior. El descubrimiento de fármacos asistido por IA redujo algunos plazos iniciales de años a meses. Insilico Medicine llevó un fármaco candidato desde el descubrimiento del objetivo hasta los ensayos de fase I en menos de 30 meses, frente al proceso tradicional de cuatro a seis años.
Waymo y Nuro han informado sobre pilotos logísticos que podrían reducir los costos de entrega de última milla en un 40 % o más. Los modelos de IA también están mejorando la detección del cáncer de mama, los nódulos pulmonares y el riesgo cardíaco.
El problema no es que la IA no produzca beneficios. El problema es que la industria pasó años vendiendo exageración sobre la AGI a los inversores en lugar de explicar el valor práctico a la ciudadanía.
La corrección consiste en medir lo que las personas pueden ver:
- pacientes diagnosticados,
- estudiantes que recibieron tutoría,
- servicios que se volvieron asequibles,
- tiempo ahorrado,
- y resultados verificados.
Cuando la IA se construye alrededor de especificaciones claras, comprobaciones continuas y resultados medibles, el dividendo para el consumidor deja de ser una promesa. Se convierte en un recibo.
3. Vigilancia y control: crea controles sobre el poder
Esta objeción es seria porque el abuso no es hipotético.
Ya hemos visto el riesgo. Algunos ejemplos son los experimentos de crédito social de China, el uso indebido del reconocimiento facial por la policía en Estados Unidos y el Reino Unido y el escándalo del spyware Pegasus.
La respuesta no es dejar de construir. Es construir bajo límites exigibles.
San Francisco y otras ciudades han prohibido o restringido el reconocimiento facial en tiempo real por parte de las fuerzas del orden. La Ley de IA de la UE clasifica muchos usos de vigilancia como de alto riesgo y exige transparencia y auditorías.
Estos marcos todavía son jóvenes. Las reglas sobre el papel no garantizan su aplicación. Pero una regulación imperfecta es mejor que no tener ningún marco.
El diseño técnico también importa. Los modelos de código abierto, la infraestructura descentralizada, el aprendizaje federado y la privacidad diferencial pueden reducir la necesidad de centralizar los datos y el poder. No garantizan que no haya abusos, pero pueden cambiar el equilibrio.
Toda herramienta poderosa puede convertirse en un arma. La imprenta permitió tanto la democracia como la propaganda. El cifrado protege la privacidad y también protege a delincuentes.
La respuesta duradera nunca ha sido una simple prohibición. Han sido los controles sobre el poder: la ley, la transparencia, las salvaguardas técnicas, la revisión independiente y la supervisión democrática.
4. Carrera armamentista geopolítica: crea soberanía, no dependencia
Dentro de una década, los países pueden dividirse en tres grupos:
- países que exportan inteligencia de IA,
- socios que conservan su propia capacidad de IA,
- y Estados dependientes que confían en sistemas extranjeros para trabajos críticos.
Por eso retirarse es peligroso.
Si las sociedades libres hacen una pausa mientras actores menos responsables continúan, la frontera no desaparece. Se traslada a grupos con menos compromisos de seguridad y menos supervisión pública.
Esta preocupación no se limita a las superpotencias. Los países del Sur Global, incluidos Pakistán, Brasil y Nigeria, enfrentan una elección básica: desarrollar capacidad nacional o convertirse en consumidores permanentes de la inteligencia de otro.
La IA soberana significa modelos y sistemas que entienden los idiomas locales, sirven a las industrias locales y operan bajo reglas locales.
Las bases de código abierto hacen que esto sea más alcanzable. Una universidad en Lahore o Lagos ya puede adaptar un modelo de clase frontera a las necesidades locales. Eso era difícil de imaginar hace apenas unos años.
La verdadera carrera no enfrenta simplemente a los países que construyen IA con los que no lo hacen. Enfrenta a los países que desarrollan talento y sistemas sólidos con aquellos que permiten que ambos se pierdan.
5. Erosión de la realidad: usa IA para verificar la IA
La pérdida de una realidad compartida es un peligro auténtico. Pero se entiende mejor como un problema de verificación.
La imprenta también difundió desinformación mediante panfletos, propaganda y textos conspirativos. La sociedad respondió construyendo el periodismo, la revisión por pares, el método científico y las leyes contra la difamación.
Los medios generados por IA requerirán una versión más rápida de la misma respuesta institucional.
La IA es parte del problema, pero también es parte de la solución. Los sistemas que generan medios sintéticos también pueden ayudar a detectarlos. La IA puede identificar imágenes manipuladas, señalar documentos financieros sospechosos y detectar fraude a una escala que ningún equipo humano podría igualar.
La IA confiable necesita los mismos controles básicos que cualquier sistema sólido:
- especificaciones claras,
- comprobaciones antes del lanzamiento,
- evidencia que pueda rastrearse,
- y juicio humano cuando hay mucho en juego.
La respuesta a una IA poco confiable no es menos diseño. Es mejor diseño, con humanos que supervisan el sistema en lugar de limitarse a operarlo.
6. Riesgo existencial: acelera la seguridad, no la imprudencia
Esta es la objeción que merece mayor cautela.
El problema de alineación es real y no está resuelto. Todavía no sabemos cómo garantizar que sistemas cada vez más capaces sigan persiguiendo objetivos compatibles con el bienestar humano.
Un constructor imprudente descarta esta preocupación. Un constructor serio la trata como un problema central de diseño.
Sin embargo, una pausa global sería difícil de hacer cumplir. El desarrollo de la IA está distribuido entre gobiernos, empresas, universidades, comunidades de código abierto e investigadores independientes. Una pausa de los grupos comprometidos con la seguridad no necesariamente detendría la frontera. Podría trasladarla a actores con menos transparencia y menos salvaguardas.
La mejor respuesta es la clase correcta de aceleración: más trabajo sobre alineación, comprensión de modelos, evaluación y control, junto con el trabajo en modelos más potentes.
Anthropic, DeepMind e investigadores universitarios trabajan en este problema. Estudian el comportamiento de los modelos, formas más claras de expresar los valores humanos y métodos para mantener bajo control sistemas más potentes.
Este trabajo está en una etapa inicial. No es suficiente. Pero solo pueden realizarlo quienes entienden los sistemas de frontera desde dentro.
La humanidad ha gestionado otras herramientas peligrosas, incluidos los sistemas nucleares, los patógenos diseñados y los sistemas industriales que afectan al clima. El historial es imperfecto, pero el patrón es claro. La gobernanza requiere experiencia. Las sociedades que se alejan de una herramienta peligrosa pierden el conocimiento necesario para gobernarla.
El riesgo existencial no es una razón para ignorar la IA. Es una razón para asegurar que los constructores más capaces también estén profundamente comprometidos con la seguridad, la transparencia y la rendición pública de cuentas.
7. Costo ambiental: corrige el sistema energético
La IA utiliza cantidades considerables de energía y agua. Ese costo no debe minimizarse.
Goldman Sachs estimó que la demanda eléctrica de los centros de datos podría aumentar un 160 % para 2030. Este es un desafío técnico y político serio.
El contexto sigue importando. La industria global de centros de datos, que incluye IA, computación cloud, streaming y comercio electrónico, utiliza actualmente alrededor del 1 % al 2 % de la electricidad mundial. Solo el aire acondicionado residencial usa más electricidad que todos los centros de datos juntos. La industria de la moda también genera una proporción significativa de las emisiones globales de carbono.
No respondemos prohibiendo la ropa, la refrigeración o los servicios digitales. Mejoramos la forma en que se producen.
La industria de la IA ya está invirtiendo en energía renovable y energía nuclear de nueva generación. Técnicas de modelos como mixture-of-experts, destilación y cuantización reducen el cómputo necesario para un nivel determinado de rendimiento. El hardware nuevo también produce más cómputo por vatio.
La IA también puede ayudar a reducir el daño ambiental. El sistema de refrigeración de DeepMind redujo en un 40 % la energía de refrigeración de los centros de datos de Google. La IA apoya la gestión de redes eléctricas, la agricultura de precisión, los modelos climáticos, la investigación de baterías, los materiales solares y la optimización de la captura de carbono.
La pregunta correcta no es si la IA usa energía. Todo sistema humano usa energía. La pregunta es si podemos lograr que los beneficios justifiquen el costo y llevar los sistemas eléctricos que sostienen la IA hacia la energía limpia.
Pausar la IA no resuelve la crisis energética. Construir IA sobre sistemas eléctricos más limpios puede ayudar a abordar ambos problemas.
8. Sesgo y discriminación: haz que el sesgo sea visible y auditable
Los sistemas de IA han reproducido patrones dañinos presentes en sus datos de entrenamiento.
Amazon abandonó una herramienta interna de contratación después de descubrir que rebajaba los currículums de mujeres. Un algoritmo de salud ampliamente utilizado dirigía menos recursos a pacientes negros porque usaba el gasto sanitario como sustituto de la necesidad médica. Ese gasto ya reflejaba un acceso desigual a la atención.
Estas son fallas estructurales. Requieren respuestas estructurales.
El punto importante es que el sesgo subyacente no comenzó con la IA. Los sistemas humanos de contratación, crédito y medicina ya estaban sesgados. Las decisiones humanas solían ser difíciles de observar, repetir o auditar.
Una decisión de IA puede registrarse y medirse. Eso hace posible la corrección, aunque nunca automática.
Un sistema de alto riesgo debe probarse en distintos grupos demográficos. Sus datos de entrenamiento deben documentarse. Sus decisiones deben estar abiertas a revisión independiente. Los reguladores deben poder exigir evidencia de rendimiento y equidad.
La Ley de IA de la UE, la Algorithmic Justice League y el Marco de Gestión de Riesgos de IA del NIST apuntan hacia este tipo de rendición de cuentas.
Sin control, la IA puede escalar la discriminación más rápido que cualquier institución humana. La respuesta no es fingir que el problema se resolverá solo. Es exigir auditorías, evaluaciones de impacto, documentación transparente y ciclos de corrección.
El objetivo no es un sistema de IA tan sesgado como un ser humano. Es un sistema con un sesgo mensurablemente menor y que mejora con cada auditoría.
9. Concentración de riqueza: democratiza quién puede construir
El problema de concentración es real.
Las ejecuciones de entrenamiento de frontera cuestan miles de millones. Los laboratorios necesitan decenas de miles de GPU de gama alta, cada una con un precio aproximado de 25.000 a 40.000 dólares. Construir los sistemas necesarios cuesta decenas de miles de millones de dólares.
Eso otorga un poder enorme a un pequeño grupo de empresas. En febrero de 2026, la valoración de Anthropic de 380.000 millones de dólares superó la capitalización bursátil combinada de las cinco mayores empresas de servicios de TI de India. Esas empresas se construyeron durante cuatro décadas y emplean a millones de personas.
Por lo tanto, el camino predeterminado podría producir abundancia mientras concentra la mayor parte del valor en California y Beijing.
Dario Amodei, CEO de Anthropic, advirtió que la IA podría crear trillonarios y provocar una reacción pública severa si las ganancias permanecen concentradas en la cima. Ha sostenido que la IA debe tratarse como un desafío civilizatorio, no solo como una oportunidad de negocio. También ha pedido nuevas reglas fiscales adecuadas para una era de enorme creación de riqueza.
Su advertencia reformula la cuestión. La pregunta no es si la IA crea valor. Lo hace. La pregunta es si los gobiernos y los mercados pueden distribuir ese valor con suficiente amplitud para mantener la confianza pública y la estabilidad social.
La respuesta no es limitar todo progreso. Es democratizar quién puede construir y quién se beneficia. Eso requiere:
- modelos de pesos abiertos,
- herramientas accesibles,
- alfabetización pública en IA,
- capacidad de cómputo soberana,
- políticas progresivas,
- y una propiedad más amplia de sistemas de IA útiles.
Una universidad en Lahore o Lagos ya puede adaptar modelos abiertos sólidos a las necesidades locales. Los programas de IA soberana en la UE, India y los Estados del Golfo buscan reducir la dependencia de unos pocos proveedores extranjeros.
Las revoluciones tecnológicas anteriores terminaron distribuyendo sus beneficios de manera más amplia. La IA no lo hará automáticamente porque el costo de entrada es inusualmente alto. Debe hacerse democrática por diseño.
La conclusión
Los miedos son legítimos. Cada uno merece una consideración seria.
Pero cada miedo también es un argumento para construir IA mejor, no para abandonar el campo en manos de otra persona.
Este libro llama a su marco la Agent Factory. Es un proceso guiado por especificaciones y supervisado por humanos. Las especificaciones definen la intención. Los bucles de verificación detectan errores. Los humanos conservan la autoridad sobre las decisiones de alto riesgo. El modelo económico recompensa los resultados en lugar de la opacidad.
No estamos eligiendo entre seguridad y progreso. Estamos eligiendo entre dar forma a la IA mientras continúa desarrollándose y permitir que alguien más le dé forma por nosotros.
Un comerciante en Karachi necesita una herramienta útil. Un estudiante en una zona rural de México necesita un tutor. Un paciente en una aldea sin médico necesita acceso a atención. No necesitan un debate abstracto sobre si la IA debería existir. Necesitan sistemas que funcionen para ellos.
La IA no es negociable. Cómo la construimos es la decisión que queda.