La IA empieza a preocupar a quienes la están construyendo

Durante décadas vimos Terminator como lo que era: ciencia ficción. Una máquina creada por el ser humano que aprende, evoluciona, adquiere autonomía y finalmente deja de necesitarnos. Skynet representaba uno de nuestros temores más antiguos: crear algo tan poderoso que terminara escapando de nuestro control.

No creo que estemos construyendo Skynet. Tampoco creo que debamos caer en el alarmismo cada vez que aparece una nueva capacidad de inteligencia artificial. He defendido justamente lo contrario: la IA representa una extraordinaria oportunidad para transformar organizaciones, eliminar trabajo que no genera valor y, sobre todo, potenciar las capacidades de las personas.

Pero sería irresponsable defender su potencial sin atrevernos también a hablar de sus riesgos.

Algo está cambiando cuando algunas de las mismas personas que están construyendo los sistemas de inteligencia artificial más avanzados comienzan a preguntarse si estamos avanzando demasiado rápido.

Jacob Coxon trabajó en investigación de preentrenamiento tanto en OpenAI como en Anthropic. Al anunciar su salida de Anthropic fue particularmente contundente: sostuvo que ninguna de las dos compañías estaba actuando responsablemente y advirtió sobre una carrera hacia sistemas de superinteligencia capaces de mejorarse a sí mismos.

Su preocupación puede parecer extrema. Quizá lo sea. Pero lo verdaderamente importante no es determinar hoy si sus predicciones terminarán siendo correctas. Lo importante es de dónde viene la advertencia.

No estamos hablando solamente de académicos observando el fenómeno desde afuera, de reguladores intentando entenderlo o de personas temerosas ante una tecnología que desconocen. Estamos comenzando a escuchar cuestionamientos provenientes de quienes conocen profundamente cómo se construyen estos sistemas.

Y la preocupación ya no parece limitarse a una voz aislada. Algunos de los principales líderes de las compañías que están impulsando esta carrera tecnológica han comenzado también a hablar públicamente sobre la necesidad de avanzar con mayor cautela.

Eso cambia el significado de la conversación.

Durante mucho tiempo las advertencias sobre los riesgos de la inteligencia artificial parecían venir principalmente desde afuera: investigadores, reguladores, filósofos o críticos de la tecnología.

Ahora algunas de esas preguntas comienzan a escucharse desde dentro de las organizaciones que están construyendo los modelos más avanzados.

No necesariamente coinciden en la magnitud del riesgo, en las soluciones o siquiera en qué significa exactamente “bajar el ritmo”. Pero que quienes compiten por desarrollar sistemas cada vez más capaces comiencen a hablar también de límites, seguridad y velocidad debería llamarnos la atención.

Hay una contradicción difícil de ignorar: quienes tienen más incentivos para acelerar empiezan también a preguntarse si estamos acelerando demasiado.

Y quizá esa sea una de las señales más importantes de este momento tecnológico. No porque signifique que una especie de Skynet esté cerca, sino porque estamos entrando en una etapa en la que incluso sus propios desarrolladores reconocen que la pregunta ya no puede ser solamente ¿qué más podemos hacer?

También tendremos que preguntarnos qué deberíamos hacer, a qué velocidad y bajo qué límites.

Tal vez eso sea una buena noticia. Tener conciencia del riesgo no significa tenerle miedo al futuro, significa comenzar a asumir responsabilidad sobre él.

Hay otra historia que, aunque mucho menos espectacular que una superinteligencia fuera de control, me parece extraordinariamente simbólica.

Para alimentar algunos modelos de inteligencia artificial se han utilizado enormes cantidades de libros físicos. Anthropic, por ejemplo, adquirió millones de libros usados para digitalizarlos mediante un proceso destructivo: retirar sus lomos, escanear sus páginas y convertirlas en información digital destinada al entrenamiento de modelos.

Hay algo profundamente paradójico en esa escena: la tecnología más avanzada que hemos construido necesita alimentarse del conocimiento que los seres humanos hemos acumulado durante siglos.

Libros escritos, pensados, investigados, corregidos, publicados, leídos y conservados por personas terminan convertidos en datos para hacer más inteligentes a los modelos.

Y sí, me preocupa el destino de esos libros.

No solamente porque destruir un libro para alimentar una máquina tenga algo profundamente contradictorio, sino porque es imperante mantener claro de dónde viene el conocimiento. La inteligencia artificial no creó ese conocimiento. Lo recibió de generaciones de personas que investigaron, escribieron, cuestionaron, se equivocaron, corrigieron y volvieron a pensar.

Cuando un libro desaparece y su contenido termina convertido en millones de fragmentos dentro de un modelo, corremos el riesgo de perder algo más que papel: podemos perder la trazabilidad entre una respuesta y la persona, obra o pensamiento que originalmente la hizo posible.

Esto me parece especialmente importante conforme la propia IA comienza a generar una proporción creciente del contenido que consumimos. Si dejamos de distinguir entre conocimiento humano original, contenido generado por máquinas y contenido generado por máquinas que aprendieron de otras máquinas, podemos terminar construyendo una especie de círculo digital en el que cada vez resulte más difícil saber dónde comenzó una idea.

Por eso conservar las fuentes no es nostalgia. Es preservar la memoria y la procedencia del conocimiento.

La paradoja es enorme: estamos construyendo la tecnología más avanzada de nuestra historia alimentándola con siglos de conocimiento humano y, en algunos casos, destruyendo físicamente una parte de aquello que permitió construirla.

Esto hace todavía más inquietante nuestra voracidad por alimentar a la inteligencia artificial: más datos, más parámetros, más capacidad, más cómputo, más velocidad, más autonomía. Siempre más.

Quizá antes de preguntarnos cuánto más conocimiento podemos darle a una máquina deberíamos hacernos una pregunta mucho más humana: ¿estamos cuidando suficientemente bien el origen de aquello que le estamos entregando?

Las películas hicieron sencillo identificar al villano, era la máquina, en el mundo real probablemente sea bastante más complejo.

Una inteligencia artificial no tiene ambición corporativa. No necesita superar a su competidor en el siguiente trimestre. No teme perder participación de mercado. No necesita demostrar que su próximo modelo es superior al anterior.

Nosotros sí.

Por eso quizá uno de los mayores riesgos de la inteligencia artificial no esté solamente dentro de sus algoritmos, sino alrededor de ellos: la competencia, la velocidad, los incentivos económicos y nuestra propia obsesión por llegar primero.

Eso cambia considerablemente la conversación. La pregunta deja de ser solamente ¿cómo controlamos a la IA? y comienza a ser ¿cómo aprendemos nosotros a utilizar responsablemente algo cada vez más poderoso?

Y aquí es donde quiero alejarme de Skynet.

Mientras discutimos sobre superinteligencia, riesgos existenciales y sistemas autónomos, existe un riesgo mucho más cercano que está ocurriendo todos los días. Está en nuestras oficinas.

Un colaborador copia información de un cliente en un modelo público para redactar un correo, otro carga una hoja de cálculo para analizar ventas, alguien sube un contrato porque quiere resumirlo, un desarrollador comparte código para encontrar un error, un ejecutivo pega información financiera porque quiere preparar una presentación.

Ninguno pretende provocar un incidente de ciberseguridad, todos simplemente quieren trabajar mejor.

Y precisamente ahí está el problema.

La adopción de IA no llegó a las organizaciones siguiendo los procedimientos tradicionales de tecnología. Llegó a través de las personas.

Esto cambia por completo la forma en que debemos abordar su seguridad. Intentar resolver el problema simplemente bloqueando herramientas puede producir el efecto contrario: los usuarios buscarán alternativas, cuentas personales, aplicaciones no autorizadas o caminos que la organización ya no podrá observar.

El exceso de control puede terminar creando aquello que pretendía evitar: más IA fuera de nuestro radar y, paradójicamente, mayor riesgo de ciberseguridad.

Por eso cada vez me convence menos la idea de simplemente “gobernar” la inteligencia artificial y me parece más apropiado hablar de orquestarla.

Orquestar no significa permitirlo todo, tampoco significa renunciar al control. Significa crear un entorno donde capacidades diferentes puedan utilizarse de manera coordinada, segura y con un propósito común. La organización establece las reglas, proporciona instrumentos seguros, protege la información y mantiene visibilidad; las personas conservan la capacidad de experimentar, aprender y crear valor.

Y no necesitamos esperar a que gobiernos, laboratorios o grandes compañías resuelvan todos los riesgos de la inteligencia artificial. En nuestro trabajo cotidiano podemos comenzar con cinco prácticas bastante sencillas:

1. Piensa antes de compartir. Antes de pegar información en una IA, pregúntate algo elemental: ¿le entregaría esta información a una persona externa a mi organización? Datos personales, información financiera, estrategias, precios, contratos, código, contraseñas o información de clientes requieren un tratamiento distinto. La facilidad de copiar y pegar no elimina nuestra responsabilidad sobre la información.

2. Utiliza las herramientas autorizadas por tu organización. Una cuenta empresarial y una cuenta personal pueden parecer exactamente iguales en la pantalla, pero detrás pueden existir diferencias importantes en privacidad, retención de información, administración, identidad y trazabilidad. La seguridad empieza también por saber dónde estamos trabajando y qué ocurre con la información que entregamos.

3. Nunca confundas una respuesta convincente con una respuesta correcta. La IA puede equivocarse con extraordinaria seguridad. Una cifra, una interpretación legal, una decisión financiera, una recomendación técnica o incluso código generado deben verificarse cuando puedan afectar al negocio. La IA puede asistir al pensamiento; no debería sustituir nuestro criterio ni nuestra responsabilidad.

4. Dale a la IA solamente el acceso que necesita. Conforme pasamos de chatbots que responden preguntas a agentes capaces de consultar sistemas, leer correos, modificar información, enviar mensajes o ejecutar procesos, el principio de mínimo privilegio se vuelve fundamental. Un agente no necesita acceso a toda la organización para resolver una tarea específica. A mayor autonomía, mayor necesidad de límites claros.

5. Si algo sale mal, debemos poder saber qué ocurrió. Logs, identidad, permisos, consumo, aplicaciones utilizadas, fuentes consultadas y acciones ejecutadas dejan de ser asuntos exclusivamente técnicos. Necesitamos trazabilidad. No para vigilar a las personas, sino para aprender, corregir y reaccionar cuando algo inesperado suceda.

Curiosamente, después de hablar de superinteligencia, libros, seguridad y nuestro trabajo cotidiano, terminamos regresando al mismo principio: trazabilidad.

Necesitamos saber de dónde vino el conocimiento de la misma manera que necesitamos saber de dónde vino un dato, quién permitió un acceso, qué modelo produjo una respuesta, qué información utilizó y qué acción terminó ejecutando un agente.

Una inteligencia sin memoria de dónde provino su conocimiento puede ser muy poderosa, pero también profundamente peligrosa.

Y una organización que utiliza inteligencia artificial sin poder reconstruir lo que ocurrió enfrenta, en otra escala, exactamente el mismo problema.

Ninguna de estas medidas eliminará todos los riesgos. Pero juntas construyen algo mucho más importante: una cultura de responsabilidad digital.

Tengo una visión profundamente optimista sobre lo que la inteligencia artificial puede hacer por las personas y las organizaciones. Precisamente por eso creo que debemos evitar los dos extremos: tenerle miedo y detenernos, o enamorarnos tanto de sus posibilidades que dejemos de hacer preguntas.

Pensar Digitalmente nunca ha significado utilizar toda la tecnología disponible. Significa comprenderla suficientemente bien para decidir cuándo utilizarla, dónde utilizarla y, también, cuándo no hacerlo.

Quizá por eso aquellas viejas películas de ciencia ficción todavía tienen algo que enseñarnos.

El problema nunca fue únicamente que las máquinas pudieran llegar a ser demasiado inteligentes. El verdadero problema sería que nosotros dejáramos de serlo mientras las construimos.

Quizá el futuro no dependa de qué tan inteligente logremos hacer a la inteligencia artificial, sino de qué tan inteligentes seamos nosotros para decidir hasta dónde queremos llevarla.