MAGNIFICA HUMANITAS: CRÍTICA AL TERMINO INTELIGENCIA ARTIFICIAL.
León XIV está en la Argentina. Para quienes trabajamos con palabras, hay una sola manera de darle la bienvenida: poner el oficio al servicio de lo que dice. Este trabajo nació de la lectura de su primera encíclica, Magnifica Humanitas -la que toma del Magníficat su nombre, porque magnifica es la humanidad que engrandece, no la que domina-, y no pretende otra cosa que ser una bienvenida hecha con las herramientas de quien escribe.
No es un gesto decorativo. Un texto que discute cómo se llaman las cosas no puede sustraerse a la pregunta que la encíclica pone en el centro: qué nombres usamos, quién los impone y qué se pierde cuando se acepta el nombre del otro. Desarmar la IA, dice el Papa, es ante todo una operación sobre el lenguaje. Y de eso se ocupa este trabajo.
RESUMEN
Este trabajo sostiene que nombrar a la ia como inteligencia artificial, no describe el objeto. Y, al llamarla así, la intención es constituirlo como tal. Ese nombre trae en si un antropomorfismo de fábrica y es el obstáculo principal para pensarlo.
Aquí, se examina el desplazamiento que Turing operó en 1950 al reemplazar la pregunta por el pensamiento por la pregunta por la conducta, y se muestra que la objeción que él descartó -el texto producido por la caída casual de símbolos- reaparece íntegra en la crítica contemporánea a los grandes modelos de lenguaje.
Se revisa el estado actual del debate sobre la comprensión (Bender et al., 2021; Mitchell y Krakauer, 2023) y se sostiene, con Lacan y Kristeva, que la conciencia es capacidad simbólica encarnada y no procesamiento.
El eje argumental se toma de Simondon (1958): el objeto técnico posee un modo de existencia propio y tratarlo mágicamente -nombrarlo como persona- es eso que impide conocerlo.
Como conclusión, damos lugar al tema Sistemas de Respuesta Lingüística Automatizada (SRLA) y de esta forma, nombrar la herramienta, no el mito.
Palabras clave:
Categorías en Academia:
sUMARIO
1. El nombre como acto
2. Qué se dice cuando se dice conciencia
3. El objeto técnico y su génesis
4. SRLA: la propuesta
5. Cierre
1. EL NOMBRE COMO ACTO
1.1. UNA PREGUNTA QUE SE CAMBIA POR OTRA
En 1950, A. M. Turing abre su artículo con una frase que se volvió el emblema de toda la discusión posterior:
Propongo considerar la pregunta ¿Pueden pensar las máquinas? (Turing, 1950, Apdo. 1).
Sin embargo, a lo largo del texto hace algo más decisivo que preguntar: la reemplaza. La pregunta por el pensamiento de la máquina se sustituye por otra, y Turing lo dice sin disimulo:
Se sugirió tentativamente que la pregunta ¿Pueden pensar las máquinas? debería ser reemplazada por ¿Hay computadoras digitales imaginables que se desempeñarían bien en el juego de la imitación? (Turing, 1950, Apdo. 6; traducción propia).
El desplazamiento es una operación de método. Como tal tiene una elegancia que conviene reconocerle: vuelve comprobable lo que de otro modo sería una discusión sobre estados internos inaccesibles. Ya no se trata de averiguar si hay algo del otro lado de la conducta, sino de observar la conducta misma. El juego de la imitación no mide conciencia: mide indistinguibilidad.
Lo que importa para este trabajo no es si el desplazamiento fue acertado, sino que Turing sabía que era un desplazamiento y que no podía sostenerse del todo. En la misma sección escribe:
No podemos abandonar por completo la forma original del problema, porque las opiniones diferirán sobre la pertinencia de la sustitución y debemos al menos escuchar lo que haya que decir al respecto (Turing, 1950, Apdo. 6; traducción propia).
Ahí está el punto de partida de este artículo. La sustitución se hizo, se volvió estándar, y con el tiempo dejó de registrarse como sustitución.
Hoy la pregunta por la comprensión de las máquinas se formula casi siempre en los términos del reemplazo -desempeño, resultados, conducta lingüística- y rara vez en los términos de la pregunta original. El nombre inteligencia artificial hereda ese movimiento: nombra como pensamiento porque así se definió, aunque no haya sido examinado como tal.
1.2. EL PRECIO DEL DESPLAZAMIENTO: LA OBJECIÓN QUE QUEDÓ AFUERA
Turing dedica la sección 6 a recorrer las objeciones que se le pueden hacer. La cuarta, que él llama The Argument from Consciousness, la formula citando a Geoffrey Jefferson:
Hasta que una máquina no pueda escribir un soneto o componer un concierto a causa de pensamientos y emociones sentidos, y no por la caída casual de símbolos, no podríamos convenir en que la máquina iguala al cerebro -esto es, no sólo escribirlo sino saber que lo ha escrito (Jefferson, Lister Oration, 1949, citado en Turing, 1950, Apdo. 6; traducción propia).
La objeción de Jefferson no es una nostalgia romántica: es un criterio. Dice que hay una diferencia entre producir la forma de un texto y producir un texto porque se siente algo, y que esa diferencia es la que importa.
Turing la descarta con un argumento fuerte y económico: quien exige sentir lo que siente la máquina para saber si piensa, exige algo que tampoco podemos verificar en otro ser humano. Es, dice,
...el punto de vista solipsista; y agrega que puede ser el punto de vista más lógico de sostener, pero dificulta la comunicación de ideas (Turing, 1950, Apdo. 6).
El argumento es impecable en su forma, y sin embargo deja un saldo: Turing tuvo que declarar inobservable el criterio que distinguía la conducta del pensamiento.
El resultado es una asimetría que todavía nos rige: podemos medir desempeño, no podemos medir comprensión, y en lugar de decir no podemos medirla decimos no hace falta, y de ahí a decir es lo mismo hay un paso que se dio sin que nadie lo discutiera.
Nótese, además, la frase de Jefferson: la máquina produce
...por la caída casual de símbolos (by the chance fall of symbols).
Setenta años después, la crítica contemporánea a los grandes modelos de lenguaje usa otra imagen para decir lo mismo.
1.3. EL LORO ESTOCÁSTICO: EL RETORNO DE LA CAÍDA DE SÍMBOLOS
En 2021, Emily M. Bender, Timnit Gebru, Angelina McMillan-Major y Shmargaret Shmitchell publican On the Dangers of Stochastic Parrots, un trabajo que no discute la potencia de los modelos de lenguaje sino el modo en que se interpreta. Su tesis sobre la comprensión es precisa y está anclada en una teoría de la comunicación:
El texto generado por un modelo de lenguaje no está anclado en una intención comunicativa, ni en ningún modelo del mundo, ni en ningún modelo del estado mental del lector (Bender et al., 2021, Apdo. 6.1; traducción propia).
La consecuencia que extraen es la que aquí interesa: si un lado de la comunicación no tiene significado, la comprensión del significado implícito es una ilusión que surge de nuestra singular comprensión humana del lenguaje (independiente del modelo).
Por eso titulan su apartado 6.1 Coherencia en el ojo del que mira: la coherencia que percibimos no es una propiedad del texto generado, sino efecto de nuestra competencia lectora, que interpreta como acto comunicativo cualquier secuencia que se le parezca.
La imagen que eligen -el loro estocástico- es exactamente la caída casual de símbolos de Jefferson, con una diferencia de escala: ya no es un accidente en el interior de un mecanismo, sino el principio de funcionamiento de un sistema entrenado sobre el lenguaje humano entero.
Lo que Jefferson formulaba como objeción metafísica hoy se puede formular como descripción técnica: el sistema optimiza la probabilidad de la siguiente unidad de texto, y nada en ese proceso requiere ni produce comprensión.
Detrás del nombre hay una definición, y conviene leerla tal cual. En el habla común, el loro es el ave que repite sin entender lo que dice, y repetir como un loro ya nombra en castellano una elocuencia sin comprensión. El adjetivo estocástico agrega el régimen de esa repetición: viene del griego στόχος, la diana, y designa lo que se acierta por conjetura y probabilidad, no por cálculo seguro. Sin metáfora, un loro estocástico es, en palabras de las autoras:
Un sistema que cose a la ventura secuencias de formas lingüísticas que ha observado en sus vastos datos de entrenamiento, según información probabilística sobre cómo se combinan, pero sin ninguna referencia al significado (Bender et al., 2021, Apdo. 6.1; traducción propia).
Cada verbo de la definición es un argumento: cose dice que anuda piezas que ya existían; a la ventura, que lo hace sin plan ni propósito; según probabilidad, que su regla es la conjetura y no la intención; sin referencia al significado, que nada en el proceso responde a lo que las palabras quieren decir. El loro repite bien lo que ha visto combinar, y por eso su fluidez no es un defecto: es el efecto de haber aprendido a combinar mejor que a comprender.
Conviene subrayar el gesto metodológico de Bender y sus coautoras: no preguntan si la máquina tiene experiencia interna -saben que la pregunta es inverificable-, sino si el texto tiene las condiciones que hacen posible el significado.
Y la respuesta es que no las tiene, porque el significado no está en el texto sino en la relación entre quien habla, lo que quiere decir y quien escucha.
1.4. QUÉ SE DISCUTE CUANDO SE DISCUTE LA COMPRENSIÓN
En 2023, Melanie Mitchell y David Krakauer hacen el balance del debate y, antes de tomar partido, hacen algo más útil: muestran que el desacuerdo no es sobre los hechos sino sobre qué se entiende por entender. Abren su trabajo con la pregunta que Turing había desplazado:
¿Qué significa comprender algo? (Mitchell y Krakauer, 2023, p. 1).
Su reconstrucción delata la estructura del problema. Hasta hace poco, dicen, había acuerdo en la comunidad: los sistemas de IA se comportan de manera aparentemente inteligente en tareas específicas, pero no comprenden los datos que procesan como los humanos.
El indicador de esa falta de comprensión era la fragilidad: errores impredecibles y ausencia de generalización robusta (2023, p. 1). Lo que cambió con los grandes modelos de lenguaje no fue la capacidad de comprender, sino la fluidez: el texto se volvió tan bueno que la fragilidad dejó de verse a simple vista.
Y ahí se abre la grieta contemporánea, que los autores describen con precisión: quienes sostienen que los modelos no comprenden señalan que el asombro ante su fluidez delata nuestra falta de intuición sobre lo que las correlaciones estadísticas pueden producir; quienes sostienen lo contrario señalan que la comprensión no puede reducirse a una lista de facultades humanas, y que los modelos exhiben generalizaciones, analogías y razonamientos que no estaban programados explícitamente.
La conclusión de Mitchell y Krakauer no cierra el debate: propone una ciencia de la inteligencia lo bastante amplia como para distinguir modos de comprender, con sus alcances y sus límites.
Para este trabajo, el valor de ese balance es doble.
Primero, confirma que la pregunta por la comprensión sigue abierta y que el desacuerdo es legítimo.
Segundo -y esto es lo decisivo-, muestra que la pregunta se formula siempre después del nombre. Nadie discute si el sistema comprende sin haber aceptado antes que eso que tiene enfrente se llama inteligencia.
El nombre no describe el objeto al final de la investigación: lo constituye al principio, y decide qué cuenta como evidencia.
1.5. LO QUE QUEDA PLANTEADO
El recorrido de esta sección deja tres cosas establecidas.
Primera: el desplazamiento de la pregunta por el pensamiento a la pregunta por la conducta fue una decisión metodológica consciente, no un descubrimiento. Turing la tomó sabiendo que dejaba afuera algo, y lo dijo.
Segunda: lo que quedó afuera tiene nombre y tiene consecuencias. La objeción de Jefferson -que distingue el texto producido por sentimiento del producido por la caída casual de símbolos- es hoy la descripción técnica de un modelo de lenguaje.
La crítica contemporánea a los loros estocásticos no inventó nada: recuperó un criterio que el método había declarado inobservable.
Tercera: el debate actual sobre la comprensión es, en rigor, un debate sobre los criterios de comprensión, y ese debate se dirime con un vocabulario que ya viene cargado.
Llamar inteligencia a un sistema que produce lenguaje sin intención comunicativa no es una etiqueta inocente: es una hipótesis metafísica introducida de contrabando en el nombre.
De ahí que el paso siguiente sea examinar qué se dice cuando se dice conciencia. Porque si el nombre constituye el objeto, la única manera de discutir con fundamento qué puede y qué no puede un sistema de estas características es volver a la pregunta que el método había clausurado: qué es la conciencia, y por qué no es lo mismo que el procesamiento.
REFERENCIAS CITADAS EN ESTE APARTADO
- Bender, E. M., Gebru, T., McMillan-Major, A. y Shmitchell, S. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?. Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency (FAccT '21), 610-623. - Mitchell, M. y Krakauer, D. C. (2023). The debate over understanding in AI's large language models. PNAS, 120(13), e2215907120. - Turing, A. M. (1950). Computing Machinery and Intelligence. Mind, 59(236), 433-460.
2. QUÉ SE DICE CUANDO SE DICE CONCIENCIA
2.1. LA PREGUNTA Y SU DIFICULTAD
Si el nombre constituye al objeto, como sostiene el apartado anterior, entonces preguntar qué puede una máquina exige decir antes qué es lo que se le atribuye o se le niega. Y ahí aparece la dificultad: la palabra conciencia se usa como si designara un hecho observable, cuando en rigor nombra el lugar desde el cual alguien observa.
Este apartado sostiene una tesis simple y exigente:
...la conciencia no es un procesamiento más complejo, sino una capacidad simbólica encarnada.
No se la encuentra al final de una escala de complejidad; se constituye en el lenguaje y en el cuerpo. Si eso es cierto, comparar la máquina con la conciencia es comparar dos cosas que no pertenecen al mismo orden.
2.2. EL YO NO ES UN DATO: ES UNA IMAGEN ASUMIDA
La primera precisión viene de Lacan, y es la que ordena todo lo demás. El yo no es el punto de partida de la experiencia, sino el resultado de una identificación:
El estadio del espejo es una identificación en el sentido pleno que el análisis da a este término: la transformación producida en el sujeto cuando asume una imagen (Lacan, 1949; Escritos 1).
Esa imagen tiene una propiedad decisiva: es exterior.
El niño reconoce como propia una forma que ve afuera, y la asume con júbilo porque le anticipa una unidad que todavía no tiene. La imagen no refleja un yo previo: lo constituye. Y por eso Lacan puede decir que esa forma sitúa la instancia del yo, aun antes de su determinación social,
...en una línea de ficción, irreductible para siempre por el individuo solo (Lacan, 1949).
Conviene subrayar las dos consecuencias, porque son las que sirven contra las fantasías de transparencia.
Primera: la unidad del yo es anticipada, no dada.
El sujeto se adelanta a su propia maduración en un espejismo. Lo que llamamos identidad es la armadura de esa anticipación, y su rigidez es el precio de su eficacia.
Segunda: la conciencia de sí incluye un desconocimiento estructural.
Lacan lo formula sin concesiones: la ilusión de autonomía en que se confía está encadenada a los desconocimientos constitutivos del yo (Lacan, 1949). No se trata de un error que la lucidez pudiera corregir, sino de la condición misma del yo. No hay acceso directo a sí mismo: hay imágenes, y hay lenguaje.
2.3. EL LENGUAJE, QUE LLEGA DESPUÉS Y SIN EMBARGO ES PRIMERO
Hay un momento de esa descripción que suele pasarse por alto y que es el eje de este trabajo. La asimilación de la imagen ocurre, dice Lacan, antes de objetivarse en la dialéctica de la identificación con el otro y antes de que el lenguaje le restituya en lo universal su función de sujeto (Lacan, 1949).
De modo que hay dos registros y no uno.
El primero, el de la imagen, constituye al yo: es el registro de la identificación, la rivalidad y la completud imaginaria.
El segundo, el del lenguaje, constituye al sujeto: es el registro en el que alguien puede decir yo y responder por lo que dice.
El espejo da el yo; el lenguaje da el sujeto. Y el sujeto no es una versión mejorada del yo: es otra cosa, que se produce en otro orden.
Que el lenguaje sea primero, y no un instrumento posterior, es lo que Lacan sostiene en el texto sobre la función de la palabra:
El síntoma se resuelve por entero en un análisis del lenguaje, porque él mismo está estructurado como un lenguaje, porque es lenguaje cuya palabra debe ser librada (Lacan, 1953; Escritos 1).
Ahí está el punto. El inconsciente no es un depósito de contenidos oscuros: está estructurado como un lenguaje. Y la cura no opera por información sino por palabra: se trata de liberar una palabra retenida, de pasar de la palabra vacía, la que repite el discurso del otro, a la palabra plena, la que compromete al sujeto (Lacan, 1953).
Para este trabajo, la consecuencia es directa: si la conciencia se constituye en el lenguaje, no puede haber conciencia sin sujeto del lenguaje.
Un sistema que produce lenguaje sin sujeto no está en la vía de la conciencia; está en la vía de la forma.
2.4. EL EMERGENTISMO, TOMADO EN SERIO
La objeción más fuerte a esta posición no viene de la técnica sino de la filosofía de la mente. Daniel Dennett sostuvo que la conciencia es un proceso emergente de sistemas complejos, y que no hay un lugar privilegiado, un teatro interior donde todo se reúne. Su fuerza consiste en explicar la conciencia como proceso: como resultado de operaciones múltiples y distribuidas, sin sustancia ni alma.
Conviene tomarlo en serio y no como caricatura, porque en un punto tiene razón: la conciencia no es una cosa. Lo que su descripción deja afuera no es un misterio, es una condición: la intencionalidad, el hecho de que el pensamiento sea siempre pensamiento de algo, dirigido a un objeto, y el hecho de que el sujeto se comprometa en lo que dice.
Un sistema puede modelar la distribución de la información sin tener nada que decir.
La discusión, entonces, no es entre explicación procesual y explicación espiritual. Es entre dos preguntas distintas: cómo se produce un estado mental, y qué hace que ese estado sea de alguien.
2.5. EL LENGUAJE NO ES UN INSTRUMENTO
La pieza que cierra esta descripción viene de Kristeva, y su formulación vale por sí sola:
La materialidad enunciada, escrita o gesticulada produce y expresa, es decir, comunica, lo que llamamos un pensamiento. Lo cual significa que el lenguaje es la única forma de ser del pensamiento y, al mismo tiempo, su realidad y su realización (Kristeva, 1988, cap. 1).
Esa frase desarma la idea más difundida sobre el lenguaje: que sería un instrumento para expresar un pensamiento que ya existe antes y en otra parte. Si el lenguaje es la forma de ser del pensamiento, entonces no hay un pensamiento previo esperando ser vestido de palabras: hay lenguaje, y en él algo se piensa.
Kristeva agrega un segundo elemento que es igualmente decisivo para este trabajo. Al examinar lo que la teoría de la comunicación deja de lado, señala que su postura dominante correría el riesgo de ocultar toda problemática referida a la formación y la producción del sujeto hablante y de la significación (Kristeva, 1988, cap. 1). Es decir: hay en el lenguaje algo más que transmisión de mensajes entre un emisor y un receptor. Está la producción de significación, y está el sujeto que se produce en ella.
Con Lacan y con Kristeva, entonces, la conclusión del apartado se sostiene por dos vías distintas. Si la conciencia es el sujeto del lenguaje, no puede haber conciencia donde no hay sujeto que hable. Y un sistema que produce lenguaje sin sujeto no produce pensamiento: reproduce su forma.
LO QUE QUEDA ESTABLECIDO
La conciencia no es un dato inmediato: el yo se constituye por identificación con una imagen exterior, y su autonomía es una ilusión estructural (Lacan, 1949).
Hay dos registros: el imaginario, que da el yo, y el simbólico, que da el sujeto. La máquina puede operar en el primero; no accede al segundo.
El inconsciente está estructurado como un lenguaje, y la palabra es su vía de elaboración (Lacan, 1953).
El emergentismo explica el proceso, pero no la intencionalidad ni la responsabilidad del que dice.
Esto implica lo que el apartado siguiente desarrolla: que la conciencia no es lo que un sistema tiene en menor grado, sino lo que un sujeto es.
Y que la comparación entre ambos no es una cuestión de cantidad de inteligencia, sino de pertenencia a órdenes distintos.
3. EL OBJETO TÉCNICO Y SU GÉNESIS
1. LA CULTURA COMO DEFENSA
Simondon abre su libro con una escena de frontera. No hay allí todavía una teoría de las máquinas: hay un diagnóstico cultural.
La cultura se ha constituido en sistema de defensa contra las técnicas; ahora bien, esta defensa se presenta como una defensa del hombre, suponiendo que los objetos técnicos no contienen realidad humana (Simondon, 1958, Apdo. 1).
La cultura -la de las letras, la del sentido, la de los valores- se armó contra la técnica, y lo hizo en nombre del hombre.
Simondon señala el costo de esa operación: al excluir al objeto técnico, la cultura no se protege de la máquina; se mutila a sí misma, porque deja afuera una parte de la realidad humana. Y el gesto con el que la cultura rechaza la técnica tiene, para él, un nombre preciso:
La cultura se comporta con el objeto técnico como el hombre con el extranjero cuando se deja llevar por la xenofobia primitiva. […] la máquina es el extranjero; es el extranjero en el cual está encerrado lo humano, desconocido, materializado, vuelto servil, pero mientras sigue siendo, sin embargo, lo humano (Simondon, 1958, Apdo. 3).
2. LA ALIENACIÓN POR DESCONOCIMIENTO
De ese diagnóstico continúa la tesis que más nos importa, y que puede formularse casi como un aforismo de nuestra época:
La mayor causa de alienación en el mundo contemporáneo reside en este desconocimiento de la máquina, que no es una alienación causada por la máquina, sino por el no-conocimiento de su naturaleza y de su esencia, por su ausencia del mundo de las significaciones, y por su omisión en la tabla de valores y de conceptos que forman parte de la cultura (Simondon, 1958, Apdo. 3).
Nótese la dirección del argumento, porque es la contraria a la que suele atribuirse a la crítica de la técnica. No es la máquina la que aliena: es el desconocimiento de la máquina.
Y, no es la técnica la que deshumaniza: es una cultura que se ha vuelto parcial, que reconoce al objeto estético y niega al objeto técnico, la que produce esa deshumanización en el orden del saber.
Para este trabajo, esa frase tiene un valor inmediato. Si la alienación viene del desconocimiento, entonces el nombre que impide conocer no es una etiqueta inofensiva: es un dispositivo de alienación. Y un nombre que atribuye inteligencia, conciencia o intención a un objeto técnico hace exactamente eso: lo retira del orden del conocimiento y lo instala en el del mito.
3. EL OBJETO TÉCNICO NO ES UN UTENSILIO
La segunda operación de Simondon es metodológica, y su consecuencia es la que el título del libro anuncia:
Para operar esta toma de conciencia es preciso buscar definir el objeto técnico en sí mismo, a través del proceso de concretización y de sobredeterminación funcional que le da su consistencia al término de una evolución, probando que no podría ser considerado como un puro utensilio. Las modalidades de esta génesis permiten apresar los tres niveles del objeto técnico y su coordinación temporal no dialéctica: el elemento, el individuo, el conjunto (Simondon, 1958, Apdo. 10).
Tres cosas quedan establecidas ahí.
Primera: hay que definirlo por su génesis, no por su uso. Lo que un objeto técnico es, se entiende en el proceso que lo produjo y en la evolución que lo llevó a su forma actual. La apariencia -lo que hace para mí- no dice qué es.
Segunda: se define por la concretización. Un objeto técnico evoluciona de lo abstracto a lo concreto: al principio cada pieza cumple una función única y separable; en la madurez, las partes se vuelven interdependientes y una misma pieza cumple varias funciones a la vez. El objeto concreto es un sistema en el que cada elemento funciona como condición de los demás.
Tercera: hay tres niveles de realidad técnica. El elemento, el individuo y el conjunto. Y los tres se comportan de modo distinto: un elemento perfeccionado no amenaza hábitos; un individuo técnico nuevo se vuelve competidor del hombre; un conjunto técnico, integrado, es el nivel en el que la técnica puede volverse fundamento de cultura (Simondon, 1958, Apdo. 12-13).
4. LA MÁQUINA ABIERTA: EL AUTOMATISMO NO ES LA CIMA
Hay un pasaje que conviene leer con atención, porque va contra el sentido común de nuestra época:
Ahora bien, de hecho, el automatismo es un grado bastante bajo de perfección técnica. Para convertir a una máquina en automática, es preciso sacrificar muchas posibilidades de funcionamiento y muchos usos posibles. […] El verdadero perfeccionamiento de las máquinas, aquel del cual se puede decir que eleva el grado de tecnicidad, corresponde no a un acrecentamiento del automatismo, sino, por el contrario, al hecho de que el funcionamiento de una máquina preserve un cierto margen de indeterminación (Simondon, 1958, Apdo. 4).
Y de ahí pasa a una consecuencia sobre el lugar del hombre:
Lejos de ser el vigilante de una tropa de esclavos, el hombre es el organizador permanente (Simondon, 1958, Apdo. 4).
Esto desarma por anticipado una discusión mal planteada. Cuando se discute si una máquina es inteligente, se supone que el progreso técnico consiste en automatizar hasta que no haga falta nadie.
Simondon sostiene lo contrario: una máquina cerrada sobre sí misma sólo puede dar resultados sumarios, y la alta tecnicidad se alcanza en la apertura -la sensibilidad a la información que viene de afuera-, no en la clausura.
5. EL GESTO CRISTALIZADO
Y hay un último movimiento, que es el que nos obliga a precisar la tesis de este trabajo.
La presencia del hombre en las máquinas es una invención perpetuada. Lo que reside en las máquinas es la realidad humana, el gesto humano fijado y cristalizado en estructuras que funcionan (Simondon, 1958, Apdo. 5).
Leído con cuidado, esto no dice que la máquina sea un sujeto. Dice algo más fino y más exacto: en la máquina hay gesto humano cristalizado. Hay invención, trabajo, lenguaje, diseño: hay humanidad depositada y fijada en estructura. Lo que no hay es un sujeto que ejerza ese gesto. La máquina lo sostiene; no lo realiza.
Esa distinción permite formular con precisión lo que este trabajo sostiene sobre los sistemas de respuesta lingüística automatizada: en ellos hay lenguaje humano cristalizado -millones de textos, de voces, de gestos de escritura- y no hay nadie que ejerza el gesto de decir.
El sistema repite la forma del decir humano sin realizar el acto de decir. Produce respuestas; no responde.
6. LA CULTURA TÉCNICA
Simondon no se detiene en el diagnóstico: propone una reforma.
Para volver a dar a la cultura el carácter verdaderamente general que ha perdido, es preciso poder volver a introducir en ella la conciencia de la naturaleza de las máquinas, de sus relaciones mutuas, y de sus relaciones con el hombre […]. Los esquemas fundamentales de causalidad y de regulación que constituyen una axiomática de la tecnología deben ser enseñados de manera universal, como son enseñados los fundamentos de la cultura literaria (Simondon, 1958, Apdo. 9).
Dos cosas importan de ese programa.
No propone despreciar la técnica ni temerla: propone enseñarla. Una cultura técnica no es una cultura de usuarios expertos, es una cultura en la que los esquemas de funcionamiento se conocen como se conocen los de la gramática o la aritmética.
Y define qué es una cultura, en un pasaje que sirve directamente a nuestro argumento:
Base de significaciones, de medios de expresión, de justificaciones y de formas, una cultura establece entre aquellos que la poseen una comunicación reguladora (Simondon, 1958, Apdo. 9).
7. LO QUE SE SIGUE PARA ESTE TRABAJO
De esta lectura se desprenden cuatro consecuencias que el resto del paper utiliza.
1. El nombre inteligencia artificial es un caso del misoneísmo (del griego: miso, odio / neo, nuevo) que Simondon describe. No nombra una realidad conocida: nombra un extranjero al que se le atribuye un alma para no tener que conocerlo. Es la investidura que impide el conocimiento, formulada por un filósofo de la técnica.
2. La alienación no viene de la máquina, viene del desconocimiento. Esto implica que nombrar bien es una operación contra la alienación, no un purismo terminológico.
3. La distinción entre gesto cristalizado y gesto ejercido permite decir con precisión qué hay y qué no hay en un sistema de lenguaje: hay lenguaje humano fijado en estructura, no hay sujeto que diga. Esa es la tesis de este trabajo.
4. El programa de una cultura técnica es el modelo de lo que aquí se propone: no despreciar, no temer, no adorar. Conocer el objeto y, en el mismo movimiento, restituirlo a la cultura.
4. SRLA: LA PROPUESTA
4.1. EL NOMBRE COMO OPERACIÓN
Los apartados anteriores dejaron dos resultados.
Primero, que el nombre de un objeto técnico no es una etiqueta posterior al conocimiento sino su condición: lo que el nombre atribuye decide qué se puede investigar después (apartado 1).
Segundo, que llamar inteligencia a un sistema que produce lenguaje sin sujeto no describe una capacidad: introduce una hipótesis metafísica en la puerta de entrada (apartados 2 y 3).
De ahí se sigue la propuesta de este trabajo: Sistemas de Respuesta Lingüística Automatizada, SRLA. No es un nombre más técnico, ni una forma elegante de decir lo mismo. Es una definición operativa: cada una de sus cuatro palabras recorta un rasgo y excluye un equívoco.
4.2. LAS CUATRO PALABRAS
Sistemas. Conjuntos de reglas y de operaciones, no sujetos. La palabra no niega la complejidad del artefacto: niega que su funcionamiento requiera un centro, una conciencia o un yo. Un sistema puede ser enorme y seguir siendo un sistema.
Respuesta. Reaccionan a una entrada; no inician. Esta es la palabra más importante del término, y la que el apartado 3 dejó preparada: en ellas hay lenguaje humano cristalizado, y no hay nadie que ejerza el gesto de decir. Producen respuestas; no responden. Quien responde puede negarse, cansarse, temer, morir; quien produce respuestas, no.
Lingüística. Operan sobre cadenas de lenguaje, no sobre el mundo. No tienen acceso a las cosas, al cuerpo ni a la experiencia: tienen acceso a marcas, a las regularidades de sus combinaciones y a las estadísticas de su aparición. Que el lenguaje hable del mundo no significa que el sistema lo conozca.
Automatizada. Determinadas por el cálculo, no por el deseo. No eligen el sentido de lo que dicen porque no hay un sujeto que se comprometa en lo dicho. La automatización no es un grado de perfección: es el modo de producción.
4.3. LO QUE EL TÉRMINO GANA
Restituye el objeto a su orden. Con Simondon, la mayor causa de alienación contemporánea no es la máquina sino el desconocimiento de su naturaleza (apartado 3).
SRLA nombra la naturaleza: un sistema que produce lenguaje. Con eso el objeto vuelve a ser investigable, en lugar de ser adorado o temido.
Impide la investidura total. La investidura no se elimina: es la condición de la vida simbólica. Pero un nombre que no promete un alma deja el acto de investir a la vista, y eso es lo único que puede pedirse: no desinvestir, sino investir sabiendo.
Habilita un régimen de verificación. Llamar inteligencia a un sistema promete un ser que sabe y que nos conoce; frente a eso sólo cabe creer o desconfiar. Un nombre que designa un procedimiento permite auditarlo: mirar qué hace, con qué datos, con qué errores. La diferencia entre creer y comprobar no es epistemológica solamente: es política.
Distingue lo que las otras etiquetas confunden. El modelo de lenguaje nombra la arquitectura y el tamaño; el loro estocástico nombra el mecanismo de producción de la forma. SRLA nombra la función y, en la misma palabra, la ausencia de sujeto.
4.4. LO QUE EL TÉRMINO PIERDE, Y POR QUÉ NO IMPORTA
La objeción seria no es estética, aunque se disfrace de estética: SRLA es un nombre feo. Un nombre feo para una herramienta no es un problema. El problema sería tener un nombre hermoso para algo que no conocemos.
Hay dos objeciones más de fondo, y conviene responderlas.
La primera: que el término sea peyorativo. No lo es. SRLA no dice que el sistema sea inútil ni que sus efectos sean menores: dice qué es. Una herramienta mal nombrada no se vuelve inútil porque se la nombre bien. Y los efectos que estos sistemas producen son enormes, incluso cuando no hay sujeto que los produzca.
La segunda: que sea impronunciable en la conversación pública. Es la objeción verdadera. Las palabras que se imponen son cortas. Pero el término no necesita imponerse por decreto: necesita existir en el debate, con su definición al lado. Quien lo usa gana una precisión; quien no lo usa sigue teniendo derecho al atajo, siempre que sepa qué atajo toma.
4.5. LA PROPUESTA, EN UNA FRASE
Por eso el término se propone como lo que es: una operación conceptual y no un capricho semántico.
Nombrar SRLA a lo que llamamos inteligencia artificial no cambia lo que el sistema hace; cambia lo que podemos pensar sobre lo que hace, y quién puede responder por ello.
Y de ahí la consecuencia que el paper sostiene desde el comienzo: si el nombre constituye al objeto, nombrar la herramienta como herramienta no es una corrección de vocabulario. Es el primer acto de conocimiento.
5. CIERRE
5.1. LO QUE SE SOSTUVO
Este trabajo partió de una escena mínima y de una pregunta que parece de vocabulario. La escena: un sistema que produce lenguaje se nombra con una palabra que promete un sujeto. La pregunta: qué hace ese nombre al pensamiento que lo usa.
El recorrido permitió sostener cuatro afirmaciones, cada una apoyada en un tramo distinto.
Primera. El nombre de un objeto técnico no es una etiqueta posterior al conocimiento, sino la condición de posibilidad del conocimiento. Turing sustituyó la pregunta por el pensamiento por la pregunta por la conducta, y lo hizo sabiendo que sustituía algo; el gesto se olvidó, y con él su costo. La objeción que él descartó -el texto producido por la caída casual de símbolos- reaparece entera en la crítica contemporánea a los grandes modelos de lenguaje (apartado 1).
Segunda. La conciencia no es un procesamiento más complejo, sino una capacidad simbólica encarnada. El yo se constituye por identificación con una imagen exterior, y su autonomía es una ilusión estructural; el sujeto, en cambio, se produce en el lenguaje (apartado 2). Un sistema que produce lenguaje sin sujeto puede operar en el orden de la imagen; no accede al orden de la palabra.
Tercera. El objeto técnico tiene un modo de existencia propio, y la mayor causa de alienación contemporánea no es la máquina sino su desconocimiento. Tratar el objeto técnico como si tuviera un alma es la falla que impide conocerlo, y esa falla tiene un nombre en la tradición: investidura, magismo, fetichismo (apartado 3).
Cuarta. De ahí la propuesta: llamar a estos sistemas por lo que son. Sistemas de Respuesta Lingüística Automatizada no describe una capacidad menor: describe la función y la ausencia de sujeto en la misma palabra (apartado 4).
5.2. LO QUE SE JUEGA
La tentación, cuando se discute esto, es ponerse del lado del asombro o del lado del lamento. El asombro dice que estamos ante una nueva forma de inteligencia; el lamento, que estamos ante el fin de lo humano. Las dos posiciones comparten el mismo error: discuten sobre el nombre sin haber mirado el objeto, y en esa discusión el nombre hace su trabajo sin que nadie lo advierta.
Este trabajo sostuvo otra cosa. No se trata de decidir si el sistema piensa, sino de decidir qué palabra usamos para nombrarlo y qué hacemos con eso. Porque el nombre no decora: instituye. Un objeto que se nombra con la palabra de un sujeto queda dispensado de ser conocido; un objeto que se nombra como lo que es entra en el orden del conocimiento, del control y de la responsabilidad.
Y eso tiene una consecuencia práctica, que no es menor para quien escribe: si el nombre constituye al objeto, entonces nombrar bien es el primer acto de una política. No hay regulación posible de un objeto que se nombra como quien no es.
5.3. EL GESTO PEQUEÑO
León XIV, en la encíclica que da pie a este trabajo, propone una palabra que sirve de cierre: desarmar. Desarmar la IA significa, en sus términos, sustraerla a la lógica de la competencia armamentística que hoy es también económica y cognitiva; impedirle el dominio sobre lo humano, no renunciar a la técnica.
Este trabajo no tiene el alcance de una encíclica, pero sí un gesto del mismo orden, y más pequeño: desarmar el nombre. Quitarle a la herramienta la palabra que la vuelve un sujeto; devolverle la palabra que la vuelve conocible. Ese gesto no cambia lo que el sistema hace. Cambia lo que podemos pensar sobre lo que hace, y quién puede responder por ello.
Hay una escena que suele repetirse en las discusiones sobre el tema: alguien pregunta si la máquina es consciente, y la conversación se atasca. La propuesta de este trabajo es que el atasco no viene de la dificultad de la respuesta, sino de que la pregunta está formulada en la lengua del mito. En la lengua del conocimiento, la pregunta es más humilde y más productiva: qué hace este sistema, con qué lenguaje, para quién, y quién responde.
5.4. LO QUE QUEDA ABIERTO
Quedan abiertos dos problemas que aquí no se resuelven y que conviene nombrar.
El primero es el de la investidura. Un nombre correcto no desactiva el afecto, ni debería: la investidura es la condición de la vida simbólica. Lo único que se puede pedir es que el acto quede a la vista. Cómo se enseña eso, y quién lo enseña, es una pregunta pedagógica y política que excede a estas páginas.
El segundo es el del uso. Nombrar bien la herramienta no dice nada sobre cómo usarla, y usarla bien es un problema ético que se plantea caso por caso. Este trabajo sólo aporta una condición: para que pueda pensarse en el uso, el nombre no debe prometer un interlocutor que no existe.
Los libros de Ale Mendé
Nueve libros: novelas, ensayos y poesía. Tapas, primeras páginas y dónde conseguirlos.
Ver los librosCartas de Ale
Si esta nota te sirvió, te puedo escribir cada quince días: textos inéditos, lo que estoy leyendo y las preguntas que todavía no tienen respuesta.
Nada de spam. Te podés dar de baja cuando quieras.
