Pero, esta
diversión tiene sus peligros, tal como lo ha advertido recientemente el
filósofo Daniel Dennett en su libro Intuition
Pumps. Los experimentos mentales pueden servirnos de guía inicial para
aclarar nuestras posturas filosóficas, pero debemos estar atentos a sus
riesgos, pues un experimento mental puede también conducirnos a conclusiones
apresuradas, sobre todo si el experimento mental está mal planteado.
Dennett
dirige especialmente sus críticas contra el experimento mental de la “habitación
china”, formulado por el filósofo John Searle. Este filósofo postuló que, por
más que una máquina logre emular la mente humana, nunca tendrá conciencia.
Pues, ocurriría algo similar a este hipotético escenario: una persona que no
habla chino está dentro de una habitación con un manual para hablar chino (el
cual consiste en instrucciones sobre con cuáles frases se debe responder a cada
frase recibida); desde afuera, se le pasan papeles con frases en chino; la
persona consulta el manual y responde a las frases, también en chino. Desde
afuera, daría la impresión de que la persona que está dentro habla chino, pero
en realidad, se trata de una persona que sólo manipula caracteres y sigue los algoritmos
del manual, sin realmente comprender el idioma chino. Searle postula que lo
mismo ocurre con la inteligencia artificial: puede dar la impresión de manejar
el lenguaje humano, pero en realidad, la máquina seguiría sin conciencia, pues
sólo se limitaría a seguir algoritmos, sin realmente comprenderlos. En palabras
de Searle, la máquina dominaría la sintaxis, pero no la semántica.
Este
experimento mental de Searle siempre me ha fascinado. Pero, nunca me ha
convencido. ¿Bajo qué criterio podemos postular que un sistema que procesa
información tiene conciencia? Searle parece postular que sólo los cerebros
hechos de materia orgánica tienen conciencia. Pero, ¿qué propiedades tiene el
carbón, que no tenga el silicio, como para permitir la emergencia de la
conciencia? Si, supongamos, vienen extraterrestres inteligentes cuya
constitución corporal no es el carbón, ¿deberíamos asumir que ellos no tienen
conciencia?
Por estos motivos,
siempre me ha parecido que Searle peca de antropocentrista: sólo el hombre
tiene conciencia. Yo, en cambio, opto por la opinión mucho más parsimoniosa,
según la cual, todo aquel sistema que dé muestras de tener conciencia, tiene
conciencia. El argumento de Searle es ingenioso, pero al final, si lo aplicamos
con rigor, también podría aplicarse a los propios seres humanos, lo cual
terminaría por ser una reducción al absurdo: ¿cómo sé que otros seres humanos son
conscientes?, ¿no podría acaso ser que los otros seres humanos operan también
como la habitación china, y dan apariencia de tener conciencia cuando, en
realidad, no la tienen?
Desde
hace años he manejado estas críticas en mi mente, pero tras leer Intuition Pumps, de Dennett, añado otra,
que me parece muy relevante. Dennett denuncia que la mera forma en que Searle
presenta su experimento mental, es ya defectuosa. En la formulación de Searle,
la persona que está dentro de la habitación recibe los papeles desde afuera,
consulta el manual de lengua china, y devuelve el papel con la frase que el manual
le indica. En el escenario imaginado por Searle, todo esto es muy simple, lo suficiente
como para postular que, en realidad, dentro de la habitación china, no hay nada
que en realidad entienda la lengua china.
Pero,
Dennett astutamente señala que, para que un sistema como el que Searle postula realmente
funcione, tiene que ser muchísimo más complejo de lo que Searle presenta. Hay
trillones de combinaciones posibles en la lengua china, además del contexto en
que se usan las palabras (la pragmática). En un caso como éste, ya no se
trataría meramente de una persona que consulta un pequeño manual, sino un
sistema que opera sobre una gigantesca base de datos y que calcula combinaciones
casi infinitas.
De forma tal que,
si desde la habitación china, se emiten papeles que fluyen con la conversación
que se inicia desde afuera, eso sería suficiente como para postular que el
sistema (no necesariamente la persona que pasa los papeles, pero sí el sistema
integral; es decir, la persona más el manual) sí tiene conciencia.
Las limitaciones
del experimento mental de Searle deberían colocarnos en alerta, y tener
presente que, quizás, muchas otras situaciones imaginarias que se manejan en la
filosofía (por ejemplo, el estado de la naturaleza), también son proclives a
ser abusadas si se emplean defectuosamente. La intuición puede servirnos de
mucho, pero nunca debemos emplearla como la única guía de nuestras posturas
filosóficas.
Hola. Soy nuevo en la blogósfera y me gustaría que le echen una mirada a mi nuevo blog de filosofía. http://philosophica20.blogspot.com.ar/
ResponderEliminarDesde ya muchas gracias,
M. J. Glaeser
Esta entrada hace agua por todas partes.
ResponderEliminar1. Searle nunca ha dicho que una máquina no pueda ser consciente. Afirma que una máquina sintáctica no es consciente, pero una máquina que opere y aprenda como nuestro cerebro sí lo será. Así que no se trata de que la máquina sea de carbono o silicio sino de cómo funciona.
2. La objeción de la simplicidad del experimento tampoco arroja ninguna luz. No importa el tamaño de la base de datos o la potencia de cálculo para combinar millones de probabilidades de combinación de palabras y contextos reducidos a esquemas lógicos. Eso es lo que hacen programas como Watson. El cálculo de probabilidades no es comprensión semántica, ni del término, ni del contexto.
P.D. Si no se firman los artículos, no sabemos a quién estamos criticando.
Masgüel, gracias por recordarme firmar. Si tienes alguna crítica, exijo que seas más respetuoso, y no utilizar frases como "hacer agua".
Eliminar1. Acepto que Searle nunca ha dicho que una máquina no pueda pensar, y reconozco mi error. Pero, queda aún la cuestión de cómo saber si, cuando lleguen extraterrestres, si piensan o no. ¿Cómo saber si esas cosas son extraterrestres, o sencillamente robots? La guía más sencilla es observar su conducta, del mismo modo en que lo hacemos con el resto de las personas. Si llevamos el experimento de Searle hasta sus últimas consecuencias, entonces incurriríamos en una suerte de solipsismo, pues no estaríamos seguros de que existe en el universo una mente aparte de la nuestra. Esta caricatura, que firmó el propio Dennett, lo ilustra basante bien: https://www.google.com/search?q=daniel+dennett+%22chinese+room%22+cartoon&newwindow=1&source=lnms&tbm=isch&sa=X&ei=Ev6nVLDINcSmgwSm9YHICA&ved=0CAgQ_AUoAQ#facrc=_&imgdii=_&imgrc=zKQ7SZ8-x-6uPM%253A%3BbPcfnTYMNO9wiM%3Bhttp%253A%252F%252Fwww.visuallanguagelab.com%252Fchinese_room%252Fimages%252FChinese_Room_web_horizontal.png%3Bhttp%253A%252F%252Fwww.visuallanguagelab.com%252Fchinese_room%252Findex.html%3B1000%3B629
2. El hecho de que que el experimento sea simple SÍ arroja luz. El tamaño de los datos SÍ importa. No sé cuál es el programa de Watson al cual te refieres, pero presumo que, si un programa logra manejar una base de datos gigantesca acordemente, entonces podrá pasar satisfactoriamente la prueba de Turing, y en ese caso, podemos aceptar que el programa en cuestión es consciente. Ésa es precisamente la crítica de Dennett. La forma en que Searle plantea el experimento efectivamente hace pensar que la máquina no sería consciente. Pero, precisamente, el experimento de Searle NO es análogo a lo que una máquina realmente tendría que hacer para pasar la prueba de Turing.
Creo que en este experimento mental de Searle, que a mí también me ha interesado mucho, las consideraciones sobre la naturaleza orgánica del cerebro humano son irrelevantes. Tampoco me parece que Searle pretenda justificar ningún antropocentrismo, en modo alguno. La habitación china de Searle es un experimento diseñado en términos bastante formales. Y, en mi opinión, es una metáfora que en lo esencial presenta una afirmación cierta. La simple computación, entendida como procedimiento algorítmico, no presupone ningún tipo de conciencia (llamémosla "comprensión"), y el incremento de la complejidad del algoritmo no parece suficiente para que "surja" esta conciencia. Sobre la cuestión de la complejidad, yo recomiendo las reflexiones que sobre el experimento mental de Searle ofrece Roger Penrose en su libro "La nueva mente del emperador". Por cierto, los argumentos de Penrose en contra de la naturaleza algorítmica de la conciencia humana, basados en una singular reinterpretación del teorema de incompletitud de Gödel y del problema de la detención de la máquina de Turing, me parecen mucho más interesantes. Los expone sobre todo en "Sombras de la mente".
ResponderEliminarAunque, por supuesto, tanto los argumentos de Searle como los de Penrose son discutibles.
Un saludo.
Manuel, los críticos de Searle, como Dennett y Churchland, señalan que el incremento de la complejidad del algoritmo SÍ hace emerger la consciencia, y yo me inclino a estar de acuerdo con ellos.
EliminarEl experimento mental de la habitación china cae en la falacia "petición de principio". Supone que es posible responder en chino sin saber chino y solo usando unas instrucciones mecánicas para concluir que el saber chino no es algo mecanizable y de ahí que la consciencia no lo es. Cuando se muestre que se satisface la premisa sin la consecuencia, tendremos algo interesante. Es decir, cuando tengamos que alguien sabe chino tan bien como un chino y además sepamos que no es consciente. Mientras tanto, el experimento mental no dice absolutamente nada sobre nada.
ResponderEliminarLa debilidad de este experimento es proporcional a la del test de Turing. Parte del error de suponer que una máquina sintáctica sería capaz de pasar la prueba. Para que la atribución de consciencia sea creíble, la máquina ha de soportar el interrogatorio como cualquier persona: Distinguir la intención de su interlocutor, lo tácito de lo explícito, las alusiones metafóricas (gastadas o de nuevo cuño), el humor, etc. Es para aceptar que el cerebro es una máquina sintáctica (no una máquina de aprendizaje que simula una red de neuronas), que la consciencia es algorítmica, para lo que hace falta que una máquina de ese tipo nos convenza. A quien afirma, incumbe la prueba.
EliminarEl experimento mental de la habitación china no nos dice nada sobre qué es la comprensión. Nos avisa sobre lo que, probablemente, no es. Nos avisa sobre la pretensión de reducir el significado a sintaxis (y, como suele ser habitual en el tendido reduccionista, antes de tener la menor pista de cómo hacer tal cosa).
El test de Turing no parte de que una máquina sea capaz de pasar la prueba. Es solo acerca de qué interpretar si lo hace.
EliminarFíjate que el test de Turing se basa en algo observable: "una máquina que pasa la prueba", mientras que la habitación china se basa en algo no observable: "las instrucciones para contestar en chino no son saber chino conscientemente".
"El test de Turing no parte de que una máquina sea capaz de pasar la prueba. Es solo acerca de qué interpretar si lo hace."
EliminarClaro.
"Fíjate que el test de Turing se basa en algo observable: "una máquina que pasa la prueba""
Que yo sepa, hasta que no observemos a una máquina pasando la prueba, no será un observable. Cuando me manche los dedos con la sangre de la llaga. Todo apunta a que, si seres artificiales conscientes llegan a pasar el test, no serán máquinas sintácticas, sino organismos simulados, máquinas de aprendizaje evolutivo.
Claro que no será observable hasta que no pase la prueba. ¿Cuándo he dicho lo contrario y, más importante, en qué cambia mi argumento? Lo que importa es que cuando digamos que una máquina pasar el test de Turing será algo testable empíricamente, mientras que cuando digamos que una máquina sabe chino o actúa como si lo supiera y, además lo hace sin ser consciente, sobre esta última parte no tendremos nada testable empíricamente.
Eliminar"mientras que cuando digamos que una máquina sabe chino o actúa como si lo supiera y, además lo hace sin ser consciente, sobre esta última parte no tendremos nada testable empíricamente."
EliminarNo solo. Estaríamos buscando prueba empírica para una contradicción.
José Luis, no veo claro que haya una petición de principio. Más buen veo el experimento mental de Searle como una metáfora recursiva. La habitación china es una metáfora del funcionamiento de un microprocesador, un dispositivo material que recibe un conjunto de señales -un input- que debe ser traducido a un lenguaje de programación -las instrucciones de uso- para poder gestionar los contenidos del mensaje entrante y para gestionar tambièn la respuesta, previamente traducida por el lenguaje de programación. Lo que hace Searle es cuestionar si durante ese proceso hay algún tipo de "comprensión" por parte del microprocesador de lo que está haciendo.
ResponderEliminarSiguiendo con la metáfora, el hecho de suponer que el individuo que hay en la habitación es chino, y que por tanto "entiende" los mensajes ideográficos que le llegan desde fuera, no afecta al contenido esencial de lo que cuenta Searle, me parece. Pues, ¿qué diferencia hay en que el ocupante de la habitación sea chino y por tanto entienda los ideogramas entrantes o que sea español y sólo entienda el listado de instrucciones? En cualquier caso se da, inevitablemente, una comprensión de algún tipo por parte del sujeto encerrado en la habitación. Es decir, Searle trata de caracterizar metafóricamente lo que es y lo que no es la "comprensión" en términos de otros conceptos, pero no lo logra, porque en su ejemplo la comprensión funciona como un término primitivo que ya ha utilizado previamente. Por eso creo que la estructura de la metáfora de Searle es recursiva: haría falta introducir una submetáfora para decidir si el individuo de habla castellana que está leyendo las instrucciones en castellano realmente "comprende" lo que está leyendo. Y así, tenemos una regresio ad infinitum. No sé si Searle tuvo en cuenta esta posibilidad.
Y pese a todo creo que la metáfora de la habitación china ha tenudo ka virtud de suscitar discusiones muy interesantes sobre la naturaleza (no) computacional de los procesos mentales humanos. O al menos, de algunos. Pero sigo quedándome con las aportaciones de Roger Penrose.
Saludos cordiales.
Suscitar discusiones es, sin duda, un mérito, pero eso no da validez a la afirmación o a la historia que las suscita.
EliminarVayamos por partes:
(1) Pongamos que las preguntas son 1000 (¿cuál es la capital de Islandia?, ¿quién propuso el test de Turing?...) y 1000 son las respuestas. El código será muy sencillo: si los símbolos son tales y tales (descríbanse los símbolos de cada pregunta), escoja esta combinación de símbolos (descríbanse los de la respuesta). En vez de una descripción de los símbolos, el libro de instrucciones puede simplemente escribirlos. Dar estas respuestas no es saber chino.
(2) Pongamos que las preguntas pueden ser cualesquiera (¿qué es la filosofía? ¿te gusta el té verde?). El código no puede prever todas las preguntas posibles (¿o sí?) así que tendrá que hacer como hacen ahora las máquinas de búsqueda en Internet: detectar las palabras claves de la pregunta, ofrecer una respuesta a temas prefijados sobre esas palabras y esperar que la respuesta sea pertinente y de interés. Esto es muy difícil. Un libro de instrucciones (programa, código,…) que haga esto será un gran programa, pero es discutible si eso es saber chino.
(3) Pongamos que el input no son solo preguntas, sino que la “conversación” puede seguir cualquier formato, igual que siguen las conversaciones entre personas chinas o no chinas. Esto es saber chino, y el programa (o código o instrucciones o lo que sea) es el conocimiento del chino.
¿Cómo que el programa? ¿Qué pasa con la persona? Bueno, o bien el programa más la persona saben chino (así, entre los dos) o bien la manera en la que el programa consigue que la persona entienda todas las instrucciones es enseñándole chino. En cualquier caso, no hay otra cosa que conocimiento de chino.
Searle estaría cometiendo ahora una falacia de composición en su argumento. Como la respuesta en el supuesto (1) era “no” y como sólo había una complicación en las instrucciones, entonces la respuesta era un “no” también para el supuesto (2). Una segunda falacia ocurre cuando se entiende el supuesto (2) como el conocimiento de la lengua china. Si se consiguen conversaciones coherentes en el supuesto (3) con instrucciones cada vez más completas (y complejas), es porque justamente esta complicación, estas instrucciones, estos algoritmos, constituyen el conocimiento de la lengua china (la escrita, por ser fieles al ejemplo).
Mutatis mutandi, esta es la idea detrás del test de Turing. Si complicando una máquina conseguimos los mismos resultados que observamos con un cerebro, tendremos en la máquina las mismas cualidades que el cerebro, y serán estas complicaciones y complejidades las que constituyen esas cualidades.
Ni el test de Turing ni la habitación china dicen nada acerca de la posibilidad de que una máquina vaya nunca a pasar el test de Turing ni a saber chino, sólo nos hacen reflexionar sobre qué pasaría si llegara el caso que presentan ambas pruebas. La teoría computacional de la mente tampoco dice que tales máquinas lleguen a ser posibles, pero sí que cerebro y ordenadores comparten similaridades en la manera de procesar la información. Lo anterior no implica que la teoría prediga que algún día las máquinas alcancen el nivel de complejidad del cerebro humano, pero ofrece una clara línea de investigación para estudiar el cerebro y para avanzar en el diseño de máquinas cada vez más complejas.
"o bien el programa más la persona saben chino (así, entre los dos) o bien la manera en la que el programa consigue que la persona entienda todas las instrucciones es enseñándole chino. En cualquier caso, no hay otra cosa que conocimiento de chino."
Eliminar¿Pero sería conocimiento competente?. ¿Una persona con un diccionario y un manual de gramática sabe hablar chino?. Ha de pasar el test de Turing. Las reglas del chino no ofrecen el significado de una frase en chino. Son el andamiaje que ordena el significado. Pero es que además las reglas también tienen contenido semántico. Incluso las líneas de código en cualquier lenguaje de programación solo tienen significado para el programador. El procesador es un ábaco.
"Si se consiguen conversaciones coherentes en el supuesto (3) con instrucciones cada vez más completas (y complejas), es porque justamente esta complicación, estas instrucciones, estos algoritmos, constituyen el conocimiento de la lengua china (...) Si complicando una máquina conseguimos los mismos resultados que observamos con un cerebro, tendremos en la máquina las mismas cualidades que el cerebro, y serán estas complicaciones y complejidades las que constituyen esas cualidades."
La indefinición del tercer supuesto es lo que te permite afirmarlo. Porque no se trata de que las instrucciones sean cada vez más completas. La redacción de un algoritmo por un programador, un algoritmo evolutivo (que resulta de un proceso de aprendizaje introduciendo ruido y ensayando jugadas) y "lo que sea" son tres casos distintos. Solo el primero es una máquina sintáctica. No tengo ningún problema en admitir que el cerebro pueda ser lo segundo.
"La teoría computacional de la mente tampoco dice que tales máquinas lleguen a ser posibles, pero sí que cerebro y ordenadores comparten similaridades en la manera de procesar la información."
Eso es lo que dice la teoría, pero con decirlo no basta.
"Lo anterior no implica que la teoría prediga que algún día las máquinas alcancen el nivel de complejidad del cerebro humano, pero ofrece una clara línea de investigación para estudiar el cerebro y para avanzar en el diseño de máquinas cada vez más complejas."
Por intentarlo, que no quede. Pero me temo que solo resultará útil para lo segundo. Y además, que el diseño de máquinas cada vez más complejas pasará por imitar la complejidad no algorítmica del cerebro.
"haría falta introducir una submetáfora para decidir si el individuo de habla castellana que está leyendo las instrucciones en castellano realmente "comprende" lo que está leyendo. Y así, tenemos una regresio ad infinitum."
ResponderEliminarNo estoy de acuerdo. El hablante de castellano que opera con los símbolos en chino es, para los propósitos del experimento, un autómata. La habitación es el ámbito que transforma la interpretación en mecanismo. La debilidad del experimento es este supuesto de entrada previo. Es contradictorio proponer una máquina sintáctica que pasa el test de Turing y añadir a continuación que no sería consciente. La virtud del experimento es mostrarnos los motivos por los que Searle cree que una máquina de ese tipo no comprendería lo que dice y, en coherencia, tendría que concluir con una predicción contrastable: Una máquina sintáctica no pasará el test de Turing.
Hilary Putnam, en "Razón, Verdad e Historia" afirma y argumenta que una máquina no puede pasar lo que él llama el "Test de Turing para la Referencia" (una versión soft del clásico Test de Turing); es decir, en un test de este tipo las máquinas tipo Turing no pueden denotar objetos y realidades del mundo externo como sí pueden hacerlo los seres humanos. Esta argumentación forma parte del conjunto de hipótesis de Putnam sobre el llamado "problema de la referencia" y, aunque no aborda directamente el problema de la conciencia humana, resulta pertinente en esta discusión. Yo recomiendo la lectura de este autor y de esta obra en concreto.
ResponderEliminarEs uno de los pocos libros que conservo :)
EliminarLa metáfora no es realmente aclaratoria, en mi opinión, si no renuncia a la utilización explícita e implícita de cualquier hecho de comprensión en cualquier estadio del procedimiento. De lo contrario nos vemos abocados a un argumento fractal.¿Por qué es imoortante "demostrar" que el sujeto no comprende los ideogramas chinos pero no es importante preguntarse si el sujeto comprende o no las instrucciones en castellano? Si revertimos la metáfora, esto sería equivalente a preguntarse lo siguiente: ¿por qué es importante preguntarse si el microprocesador comprende o no los símbolos del lenguaje del input pero no es importante preguntarse si el microprocesador comprende o no los símbolos del lenguaje de programación? ¿Basta simplemente con estipular que el autómata no comprende el lenguaje del programa informático "por el bien de la argumentación"?
ResponderEliminarYo tengo mis dudas.
"La metáfora no es realmente aclaratoria, en mi opinión, si no renuncia a la utilización explícita e implícita de cualquier hecho de comprensión en cualquier estadio del procedimiento."
EliminarPara la habitación china, de acuerdo. El autómata no comprende nada. El procesador no comprende el lenguaje máquina. Porque de eso se trata. La habitación china no es una metáfora del cerebro de un hablante. Lo que pretende mostrar el experimento es que el cerebro no es una habitación china, no es una máquina sintáctica. Y comprende.
Si quieren pueden mirar mi refutación del dualismo de sustancias. También me interesa la filosofía de la mente. http://philosophica20.blogspot.com.ar/2015/01/la-refutacion-del-dualismo_4.html
ResponderEliminar