Chinese room argument

미국의 철학자 존 설이 강인공지능의 관점을 논박하기 위해 도입한 논증이다.

더글러스 호프스태터의 반론

이해 능력은 전체 시스템에 있다:

살아 있는 시뮬레이터가 이해능력을 갖는다고 인정하는 것은 잘못이다. 오히려 이해 능력은 존 설이 별 생각없이 “몇 개의 종이 조각”이라고 부르고 있는 것을 포함하는 전체로서의 체계에 속한다. 이런 표현(“몇 개의 종이 조각”)에서 분명히 드러나듯이 설이 갖고 있는 상이 그를 현실 상황에서 눈멀게 만들고 있는 것이다. …

존 설의 입장에서 약점은 진짜 의미가, 또는 진짜 당신이 체계의 어디에서 사라지는지를 명확히 밝히지 않고 있다는 것이다.

존 설의 주장의 핵심 부분은 이처럼 중요한 문제들을 적당히 꾸며대며 얼버무리는 것이다. 그렇게 하지 않으면 회의적인 독자들 대부분은 이해가 종이 위 수십억 개의 기호 중에 분명이 있을 것이며, 데몬(그것을 처리하는 사람) 속에는 그 한 조각도 없다는 것을 깨닫게 될 것이기 때문이다. 그 데몬이 살아 있다는 사실은 부차적인 문제에 불과하다. 그렇지만 존 설은 그것을 매우 중요한 사실로 오해하고 있다.

—2권. p677-679, publications/The mind’s I

뒤엉킨 층위의 중요성:

이론적으로는 두 수준이 서로 의사소통하게 만드는 것이 가능하다. 그러나 이것은 전통적으로 바람직하지 못한 방식으로 간주되었다. … 그럼에도 불구하고 이 금단의 열매, 즉 두 실행 수준의 경계를 흐리는 것은 바로 사람의 “시스템”이 외국어를 배울 때 발생한다. … 이 과정을 컴퓨터 시스템에서 설명하면, 더 높은 수준의 프로그램은 그 프로그램을 수행하는 “데몬”의 내부 변화를 일으킬 수 있는 방법을 가져야 한다. 이것은 한 수준을 다른 수준 위에 엄격하게 수직적이고 전면적인 방식으로 실행시키는 현재 컴퓨터 과학의 양식과는 전혀 다른 방식이다. 고차 수준이 그보다 낮은 수준 즉 그 기초로 내려가거나 그것에 영향을 미칠 수 있는 능력을 갖는다는 것은 일종의 마술적 트릭이며, 우리는 이런 트릭이 의식의 본질에 매우 가깝다고 생각한다. —2권. p689-690, The mind’s I

뇌에는 마음이 없다:

존 설은 자신의 사고 실험 속에 두 개의 수준이 있다는 것을 인정하겠지만 두 개의 관점이 있다는 것은 인정하기를 꺼린다. 그는 일단 몇 개의 컴퓨터 시스템이 경험을 가질 수 있다는 것을 인정해 버리면 그것이 판도라의 상자가 되어 갑작스럽게 “마음은 모든 곳에 있다”는 것을 인정하게 되는 사태를 우려하는 것이다.

설은 어떤 시스템이든 인공 지능 프로그램의 구현으로 기술하는 방법을 열심히 찾기만 하면 그 시스템이 사고과 감정을 갖는다고 인정할 수 있다고 생각하는 것 같다. 이것은 분명 범심론으로 이어지는 골치 아픈 생각이다. 실제로 설은 인공 지능 연구자들이 본의 아니게 범심론적 세계관에 관여해 왔다고 믿는다.

설이 자기가 파놓은 함정을 피할 수 있는 길은, 여러분이 도처에서 마음을 발견하기 시작할 때, 생명 없는 대상 속에서 찾아내게 되는 이러한 모든 사고와 감정이 진짜가 아니고 가짜라고 주장하는 것이다. 그것들은 의도성이 없어! 뇌의 인과력이 없어!

다른 한편, 우리의 탈출로는 애당초 함정 따위는 없다고 주장하는 것이다. 우리는 마음이 자동차 엔진이나 간 속에 없듯이, 뇌에도 없다고 말하고 싶다. —2권. p690-691, The mind’s I

Degree of mind:

분명 마음은 여러 가지 다른 정교함의 정도로 나타난다. 그러나 마음이라고 부를 수 있을만한 마음은 오직 정교한 표상 체계가 존재하는 곳에만 존재한다. —The mind’s I