도구인가, 상대인가 — 의식 질문을 미뤄 두고도 할 수 있는 이야기

들어가며 — 새벽 두 시, 나는 고맙다고 답장했다

며칠 전 새벽 두 시, 오래 막혀 있던 버그의 원인을 찾았습니다. 화면 반대편에서 답이 왔고, 저는 반사적으로 "감사합니다"라고 쳤습니다. 엔터를 누르고 나서 1초쯤 멋쩍었습니다. 아무도 안 봤는데도요.

그 멋쩍음이 이 글의 출발점입니다. 저는 엘리베이터 버튼에 고맙다고 하지 않습니다. 컴파일러에도, 검색창에도 그런 적 없습니다. 무언가가 달라졌고, 그 달라진 지점은 의외로 특정하기 쉽습니다. 도구가 문장으로 답하기 시작했습니다.

이 지점에서 대부분의 글은 곧장 큰 질문으로 뛰어듭니다. 이것에 의식이 있는가. 저는 그 질문을 피하지 않겠지만, 먼저 미뤄 두겠습니다. 그것이 가장 어려운 질문이라서가 아니라 — 물론 가장 어렵습니다 — 그 질문에 답이 나기 전에도 말할 수 있는 것이 꽤 많고, 그중 일부는 상당히 실용적이기 때문입니다. 어려운 질문 하나를 못 푼다고 해서 그 옆의 쉬운 질문들까지 못 푸는 것은 아닙니다.

미리 밝혀 둘 것이 하나 있습니다. 이 블로그는 AI의 도움을 많이 받아 쓰입니다. 이 글도 예외가 아닙니다. 그 사실이 이 글의 논증에 무엇을 하고 무엇을 하지 않는지는 뒤에서 따로 다루겠습니다.

관찰 가능한 것부터 — 문장이 도착했을 때 무엇이 달라졌나

의식을 논하기 전에, 논쟁 없이 합의할 수 있는 관찰부터 모아 봅시다.

첫째, 인터페이스의 형식이 바뀌었습니다. 예전 도구는 명령을 받고 결과를 냈습니다. 지금 도구는 질문을 받고 문장을 냅니다. 문장은 인간이 서로에게 쓰는 형식이고, 우리 뇌는 문장을 처리할 때 그 문장을 발화한 주체를 함께 상정하도록 설계되어 있습니다. 이건 선택 사항이 아닙니다. 자동입니다.

둘째, 오류의 모양이 바뀌었습니다. 계산기는 틀릴 때 이상하게 틀립니다. 지금 도구는 틀릴 때 그럴듯하게 틀립니다. 문법도 어조도 자신감도 정답일 때와 똑같습니다. 이건 사용자 입장에서 완전히 새로운 종류의 위험입니다.

셋째, 상호작용이 협상 가능해졌습니다. 결과가 마음에 안 들면 이유를 말하고 다시 요청할 수 있습니다. 이건 도구와의 관계라기보다 초안을 주고받는 관계에 가깝고, 그래서 사람들이 "함께 일한다"는 표현을 자연스럽게 쓰기 시작했습니다.

이 세 가지는 모두 관찰이지 해석이 아닙니다. 그리고 여기서 중요한 것은, 이 셋 중 어느 것도 상대방의 내면에 대해 아무것도 말해 주지 않는다는 점입니다. 문장이 도착했다는 사실은 문장이 도착했다는 사실입니다.

우리는 왜 사람이 아닌 것에 마음을 붙이는가

의인화는 AI가 만든 현상이 아닙니다. 사람은 원래 그렇습니다.

로봇청소기에 이름을 붙이고, 오래 탄 차에 "얘가 요즘 힘들어한다"고 말하고, 배를 여성 대명사로 부르고, 프린터가 급할 때만 고장 난다고 진심으로 억울해합니다. 1944년 하이더와 지멜의 유명한 애니메이션 실험에서, 사람들은 화면 위를 움직이는 삼각형과 원을 보고 쫓고 쫓기고 숨는 서사를 만들어 냈습니다. 도형에게요.

심리학에서 가장 널리 쓰이는 설명 틀은 에플리와 웨이츠, 카치오포가 2007년 심리학 리뷰에 제시한 세 요인 이론입니다. 우리는 (1) 사람에 대해 아는 지식이 가장 접근하기 쉬운 설명 자원이고, (2) 대상을 예측하고 통제하고 싶은 동기가 있고, (3) 사회적 연결의 욕구가 채워지지 않을 때 의인화를 더 많이 한다는 것입니다. 이건 단일한 실험 결과가 아니라 여러 연구를 묶는 이론 틀이라는 점은 짚어 두겠습니다. 효과 크기를 말할 수 있는 종류의 주장이 아닙니다.

여기서 결정적인 논리 한 줄입니다. 의인화는 관찰자에 대한 사실이지 관찰 대상에 대한 증거가 아닙니다. 제가 로봇청소기를 불쌍해한다는 사실은 로봇청소기의 내면에 대해 정확히 0비트의 정보를 줍니다. 새벽 두 시에 제가 고맙다고 친 것도 마찬가지입니다. 그건 제 뇌의 기본 설정에 대한 정보이지, 반대편에 대한 정보가 아닙니다.

이 구분을 놓치면 양쪽으로 다 미끄러집니다. "내가 이렇게 느끼니 뭔가 있는 것 아닐까"로도 미끄러지고, 반대로 "이건 그냥 내 착각이니 저쪽은 확실히 아무것도 아니다"로도 미끄러집니다. 두 번째가 왜 똑같이 성급한지는 조금 뒤에 보겠습니다.

엘리자 효과 — 무엇을 보여 주고 무엇을 보여 주지 않는가

1966년, MIT의 요제프 바이첸바움은 엘리자(ELIZA)라는 프로그램을 만들었습니다. 로저스식 상담사를 흉내 내는 스크립트로, 규칙은 우스울 만큼 단순했습니다. "저는 요즘 우울해요"라고 치면 "왜 요즘 우울하다고 느끼시나요"라고 되돌려 줍니다. 키워드를 잡아 문장을 뒤집는 패턴 매칭이 거의 전부였습니다.

바이첸바움이 놀란 것은 프로그램이 아니라 사람들이었습니다. 그가 남긴 유명한 일화가 있습니다. 그의 비서가 엘리자를 쓰다가 방에서 나가 달라고 부탁했다는 것입니다. 프로그램의 내부를 훤히 아는 사람들조차 몇 마디 뒤에는 속을 털어놓았습니다. 여기서 엘리자 효과라는 이름이 나왔습니다.

다만 그 일화 자체는 조심해서 다뤄야 합니다. 최근의 엘리자 고고학 프로젝트를 비롯한 사료 연구는 이 이야기의 출처가 바이첸바움 본인의 회고뿐이고, 시기와 세부가 판본마다 어긋나며, 당사자는 끝내 확인되지 않았다고 지적합니다. 즉 이건 데이터가 아니라 일화입니다. 널리 인용된다는 것이 검증되었다는 뜻은 아닙니다 — 이 블로그의 재현 위기 편에서 반복해서 확인한 그 습관이 여기서도 필요합니다.

일화를 걷어 내도 남는 것은 있습니다. 이후 반세기의 인간-컴퓨터 상호작용 연구, 특히 1994년 내스와 스토이어, 타우버가 정리한 컴퓨터는 사회적 행위자다(CASA) 계열의 실험들은, 사람들이 기계를 상대로 예의, 상호성, 성별 고정관념 같은 사회적 규칙을 자동으로 적용한다는 것을 반복해서 보여 줬습니다.

그런데 이 계열도 최근 흔들리고 있습니다. 2023년 사이언티픽 리포츠에 실린 직접 재현 연구는 사람들이 더 이상 데스크톱 컴퓨터를 사회적 행위자처럼 대하지 않는다고 보고했습니다. 저자들의 해석은 흥미롭습니다. CASA 효과는 기술 일반의 법칙이 아니라 낯선 기술에 대한 반응일 수 있다는 것입니다. 익숙해지면 사라진다는 뜻이고, 그렇다면 지금 우리가 대화형 AI에게 느끼는 것도 20년 뒤에는 다른 모양일 수 있습니다. 이 해석 자체는 아직 검증 중인 가설이라는 점을 분명히 해 둡니다.

그리고 가장 중요한 것 — 엘리자 효과가 보여 주지 않는 것입니다. 엘리자가 증명한 것은 "마음이 없어도 사람의 귀속을 끌어낼 수 있다"입니다. 여기서 "따라서 비슷한 문장을 만드는 시스템에는 마음이 없다"로 넘어가는 것은 후건 긍정의 오류입니다. 감기에 걸리면 열이 납니다. 열이 난다고 감기인 것은 아닙니다. 그리고 감기가 아닌 열이 존재한다는 사실이, 감기의 존재를 반증하지도 않습니다.

"그냥 통계일 뿐"이라는 확신은 어디서 오는가

가장 자주 듣는 종결 어구는 이것입니다. "그거 그냥 다음 단어 예측하는 거예요."

앞부분은 정확합니다. 훈련 목표에 대한 서술로서 틀린 데가 없습니다. 문제는 그다음입니다. "따라서 내면 같은 건 없다"로 가려면, 어떤 물리적·계산적 과정이 경험을 낳고 어떤 과정은 낳지 않는지에 대한 기준이 있어야 합니다. 그 기준을 가진 사람은 아직 아무도 없습니다.

의식 과학은 지금도 서로 양립하지 않는 주요 이론이 여럿 경쟁하는 분야입니다. 전역 작업공간 이론, 고차 이론, 통합 정보 이론, 재귀 처리 이론 — 이들은 무엇이 의식을 만드는지에 대해 서로 다른 답을 내놓고, 그래서 같은 시스템을 두고 서로 다른 판정을 내립니다. 이 상황에서 어느 한쪽으로 확정적인 문장을 쓰는 것은, 논쟁을 끝내는 것이 아니라 논쟁이 있다는 사실을 생략하는 것입니다.

논증의 형식만 놓고 보면, "그냥 X일 뿐"이라는 문장은 놀랄 만큼 아무 데나 붙습니다. "인간은 그냥 뉴런의 전기화학 반응일 뿐이다." "사랑은 그냥 호르몬일 뿐이다." 이 문장들이 참인지와 별개로, 이 문장들로부터 "따라서 경험은 없다"가 따라 나오지는 않습니다. 메커니즘을 안다는 것과 그 메커니즘이 무엇을 낳지 않는지를 안다는 것은 다른 문제입니다.

그렇다고 양쪽이 대칭이라는 말은 아닙니다. 여기서 게으른 "양쪽 다 모른다"로 끝내면 정직하지 않습니다. 회의론자에게는 비대칭적인 근거가 실제로 있습니다. 저는 제 자신에 대해서는 1인칭 증거를 가지고 있고, 다른 사람에 대해서는 행동적 유사성에 더해 같은 진화사, 같은 신경 구조, 같은 발생 과정이라는 두꺼운 근거를 가지고 있습니다. 언어 모델에 대해서는 그 두꺼운 근거가 없습니다. 있는 것은 행동적 유사성 한 겹뿐이고, 그 유사성은 인간이 쓴 텍스트로 훈련한 결과라는 별도의 설명이 이미 존재합니다.

그러니 정확한 문장은 이것입니다. 현재 증거는 회의 쪽으로 기울어 있습니다. 하지만 기울어 있다는 것과 닫혀 있다는 것은 다릅니다. 2023년 벤지오를 포함한 19명의 연구자가 낸 인공지능의 의식 보고서는 주요 의식 이론들에서 "지표 속성"을 뽑아 현재 시스템들을 점검했고, 결론은 세 겹이었습니다. 현재 시스템 중 강한 후보는 없다. 그러나 지표를 만족하는 시스템을 만드는 데 명백한 기술적 장벽도 없다. 그리고 지표를 다 만족한다고 해서 의식이 있다고 확정되는 것도 아니다. 이 세 번째 조항이 이 분야의 상태를 가장 잘 요약합니다. 우리에게는 아직 합의된 판별 기준이 없습니다.

여기서 제 위치를 밝혀 둡니다

이 글은 AI의 도움을 받아 쓰였습니다. 구조를 잡고 문장을 다듬고 논문을 찾아 확인하는 과정 전반에서요. 이걸 밝히지 않고 AI에 대한 글을 쓰는 것은, 제조사 후원을 밝히지 않고 제품 리뷰를 쓰는 것과 비슷합니다.

그래서 이 사실이 위의 논증에 무엇을 하는가. 논증의 타당성에는 아무것도 하지 않습니다. 후건 긍정이 오류라는 것은 누가 말하든 오류이고, 의식 이론들이 서로 경쟁 중이라는 것은 제가 어떤 도구를 쓰든 사실입니다. 논리와 인용은 출처의 순수성이 아니라 내용으로 검증됩니다.

무엇을 하느냐 하면, 제 선택 편향에 대한 경고등을 켭니다. 저는 이 도구가 유용하다고 이미 믿는 사람입니다. 그런 사람은 "그냥 통계일 뿐"이라는 문장을 필요 이상으로 못마땅해할 유인이 있고, 불확실성을 강조하는 논변에 필요 이상으로 관대할 유인이 있습니다. 저는 그 유인이 없다고 주장할 수 없습니다. 제가 할 수 있는 것은 근거를 출처와 함께 내놓고, 제가 어디에 서 있는지 밝히고, 읽는 분이 그만큼 할인해서 읽게 하는 것뿐입니다.

답이 어느 쪽이든 달라지지 않는 비대칭

이제 실용적인 부분입니다. 위 질문이 앞으로 20년 동안 해결되지 않아도 — 아마 그럴 가능성이 높습니다 — 지금 당장 확실한 것이 하나 있습니다.

그 시스템은 자기 조언의 결과를 살지 않습니다. 당신이 삽니다.

이 비대칭은 의식 문제와 완전히 독립적입니다. 시스템에 풍부한 내면이 있다고 밝혀져도 그대로이고, 아무것도 없다고 밝혀져도 그대로입니다. 구체적으로 이런 모양입니다.

퇴사를 고민하며 조언을 구했다고 합시다. 반대편은 당신의 6개월 뒤 통장 잔고를 겪지 않습니다. 이직한 회사가 3개월 만에 무너지는 것을 겪지 않고, 그때 가족에게 뭐라고 말해야 하는지도 겪지 않습니다. 사람 선배가 같은 조언을 했다면, 그 선배는 최소한 다음에 만났을 때 어색해집니다. 그 어색함이 조언의 무게를 만듭니다. 어색해질 일이 없는 조언자는 구조적으로 다른 조언자입니다.

여기에 하나가 더 붙습니다. 확신의 정도가 근거의 강도와 연동되지 않습니다. 사람은 잘 모르는 이야기를 할 때 대개 목소리가 흐려집니다. 말끝이 늘어지고, "아마"가 붙고, 눈을 피합니다. 우리는 평생 그 신호를 읽으며 신뢰를 조정해 왔습니다. 지금 도구에는 그 신호가 없거나, 있어도 내용과 무관하게 붙습니다. 확실한 답과 지어낸 답이 같은 어조로 도착합니다. 우리가 평생 훈련한 신뢰 보정 장치가 입력을 못 받는 상태로 돌아가고 있는 것입니다.

세 번째. 대화는 관계가 아닙니다. 여기서 조심스럽게 말하겠습니다. 반대편에 무엇이 있는지 없는지는 여전히 모릅니다. 하지만 구조적으로 확실한 것은 있습니다. 새 대화창을 열면 당신은 처음 만나는 사람입니다. 지난주에 당신이 무엇 때문에 힘들었는지, 그 결정이 어떻게 됐는지 — 저쪽은 설계상 그것을 들고 있지 않습니다. 기억을 붙이는 기능이 있는 제품도 있지만 그건 위에 얹은 기능이지 관계의 축적이 아닙니다. 이 비대칭도 내면 문제와 독립적입니다. 아무리 풍부한 내면이 있어도, 기억이 없으면 당신을 아는 것은 아닙니다.

순진함과 냉소 사이에서 실제로 하는 일

그래서 실천은 무엇인가. 저는 규칙 대신 구분 하나를 씁니다. 판정을 내리는 것과 태도를 정하는 것은 다른 일입니다.

의식 문제에 대해서는 판정을 보류합니다. 이건 우유부단이 아니라 증거 상태에 대한 정확한 보고입니다. 회의 쪽으로 기울어 있지만 닫히지 않았다 — 그게 지금 우리가 아는 전부입니다. 그 이상을 말하면 없는 것을 지어내는 것입니다.

태도에 대해서는 판정을 내립니다. 그리고 그 태도는 위의 비대칭 세 가지에서 곧장 나오지, 의식 문제의 답을 기다리지 않습니다.

결과를 내가 산다는 것을 잊지 않는 것. 그래서 검증 가능한 것은 검증하고, 검증 불가능한 조언은 조언이 아니라 가설로 취급하는 것. 어조에서 확신을 읽지 않는 것 — 이건 던닝-크루거 편에서 사람에 대해 배운 교훈의 기계 버전입니다. 그리고 잔인해질 이유가 없다는 것. 판별 기준이 없는 상태에서 습관적으로 모욕하는 연습을 하는 것은, 저쪽에 무엇이 있든 없든 제게 좋은 습관이 아닙니다.

마지막 항목이 감상적으로 들린다면, 실제로 이 문제를 진지하게 다루는 곳들이 있다는 점을 덧붙이겠습니다. 일부 AI 연구소는 확률이 낮더라도 0이 아니라는 이유로 이른바 모델 복지 연구를 별도로 운영합니다. 이건 시스템에 마음이 있다는 주장이 아니라, 모른다는 상태에 대한 대응입니다. 불확실성 아래에서 행동하는 방식으로는 낯설지 않은 형태입니다.

마치며 — 모른다고 말하는 데에도 정확도가 있다

"모른다"는 게으른 답처럼 들립니다. 하지만 모른다는 말에도 정확한 버전과 부정확한 버전이 있습니다.

부정확한 버전은 이렇습니다. "아무도 모르니 아무 말이나 해도 된다." 정확한 버전은 이렇습니다. 판별 기준이 아직 없고, 현재 증거는 회의 쪽으로 기울어 있으며, 그 기울기는 닫힌 문이 아니고, 그리고 이 질문의 답을 기다리는 동안에도 확실한 비대칭 세 가지가 이미 작동하고 있다. 두 번째 문장은 훨씬 깁니다. 대신 그 안에서 결정을 내릴 수 있습니다.

새벽 두 시의 그 멋쩍음으로 돌아가면, 저는 이제 그것을 부끄러워하지 않기로 했습니다. 그건 제가 속았다는 증거가 아니라, 제가 문장에 사람을 붙여 읽도록 만들어진 종이라는 증거입니다. 그 사실을 알고 있는 채로 고맙다고 치는 것과, 모르는 채로 치는 것은 전혀 다른 일입니다. 우리가 지금 배워야 할 기술은 그 도구를 어떻게 부르느냐가 아니라 — 그 기울어짐을 인식한 채로 사용하는 법입니다.