어떤 일을 남에게 시키는 상황을 생각해 보자.
우선 사람에게 시키는 경우가 있다. 이때 그 사람이 해내는 일의 평균 수준이 중요하다. 그것이 ‘기댓값‘이다. 우리는 기댓값에 기초해 사람을 쓴다. 이런저런 범위 내에서 그 사람이 일을 해낼 거라는 예상 말이다. 예상 범위를 벗어나는 일이 몇 번 반복되면 그 사람에게 일을 시키기를 단념할 수밖에 없다. 내가 수정해야 할 대목이 너무 많아지기 때문이다. 다행히도 사람은 일단 예상 범위 내에서 일을 처리한다는 점이 확인되면 대개는 그 범위를 벗어나지 않는다. 안정적으로 일을 수행한다는 뜻이다. 적당한 임금과 시간이 주어진다면 말이다.
기계에게 일을 시키는 경우는 좀 더 복잡하다. 결정론적으로 작동하는 기계(미시적으로 비결정론적이더라도 거시적으로 결정론적으로 제어할 수 있는 기계도 포함)라면 특별한 고장이 없는 한 안심하고 일을 맡길 수 있다. 계산기나 공장의 생산 장비가 그렇고, 워드프로세서도 내가 적는 글을 그대로 구현한다. 예상치 못한, 예상키 싫은, 버그가 발생하기도 하지만, 개인적으로 불행한 일이더라도 버그는 계속 수정되기 때문에 통계적으로 오류는 0으로 수렴한다(그렇지 않으면 소비자는 구매를 멈춘다).
문제는 요즘의 딥러닝 기반 인공지능 혹은 초거대 언어모델(LLM) 인공지능이다. 우리는 이 유형의 인공지능이 왜 특정한 결과를 내는지 문자 그대로 모른다. 블랙홀의 블랙이라는 의미에서 ‘블랙박스’가 내장되어 있다고들 표현한다. 이는 차량 블랙박스가 모든 경과를 기록하는 것과 정반대다. 편의상 이를 ‘블랙박스 인공지능‘이라고 부르겠다. 최근 몇 년 동안 가장 뜨거운 쟁점 중 하나가 블랙박스 인공지능의 내부를 ‘설명’하는 문제였다. 사고를 내거나 오작동을 할 때 어디서 문제가 되고 어디를 어떻게 수정해야 할지 ‘설명’이 필요하기 때문이다. 지금까지는 통째로 다시 학습하는 방법 말고 사고나 오작동을 고칠 방법이 없었다. 물론 그렇게 하더라도 언제 어디서 사고가 날 지는 여전히 알 수 없지만 말이다. 이 맥락에서 설명 가능한 인공지능(XAI)를 구축하는 것이 과제다(나는 이 문제를 근본적으로 풀 수 없다고 생각한다).
LLM 인공지능의 블랙박스 중 하나가 아무 말이나 내지르는 ‘환각(hallucination)’ 혹은 ‘개소리(bullshit)'(최신 논문에서 사용한 표현)이다. LLM 인공지능의 개소리 문제는 고르게 관찰되고 있으며, 영역에 따라 다르지만 10% 내외가 개소리라고 보고된다. 이 문제를 풀기 위한 공학자의 노력이 이어지지만, RAG이건 RLHF건 Human in/over the Loop건 손을 댈수록 덧난다는 보고가 있다. 아마 생성 인공지능을 사용해 본 누구라도 개소리의 문제에 속을 썩지 않은 사람은 없을 것이다(사실 이는 돈과 시간의 ‘비용’ 문제와도 연관된다).
그렇다면 LLM 인공지능에게 일을 시킨다는 건 어떤 뜻일까? 여기서 중요한 게 ‘신뢰‘와 ‘책임‘이라고 본다. 사람은 일정한 예상 범위의 기댓값을 안정적으로 만족시킨다. 그런 점에서 신뢰할 수 있다. 필경 사람은 책임 지는 존재이기 때문이다. LLM 인공지능에게 없는 것은 ‘신뢰’와 ‘책임’ 둘 다다. 결정론적 기계는 책임지진 못해도 신뢰할 순 있다. 지금까지 우리가 기계를 대했던 태도는 결정론적 기계를 사용했던 경험과 교훈에서 왔다. 이 태도를 블랙박스 인공지능에도 계속 견지하는 것이 옳은 일일까?
LLM 인공지능의 개소리를 놓고 사람도 종종 그렇지 않느냐는 반문이 제기되기도 한다. 아니다, 사람은 책임진다. 책임의 무게 때문에, 스스로 자신을 업그레이드하고 최후의 경우 일을 그만둔다. 사람은 일정한 예상 범위의 기댓값을 안정적으로 만족시키려고 노력한다. 이것이 그레고리 베이트슨(Gregory Bateson)이 말하는 ‘보정(calibration)‘이다. 내가 《인공지능의 시대, 인간을 다시 묻다》(2017)에서 썼던 글과 인용(베이트슨의 Mind and Nature, 1979에서, 푸른색으로 표기)을 아래에 적겠다.
베이트슨은 학습의 본질을 밝히기 위해 독일 생물학자 미텔슈태트 Horst Mittelstaedt (1923~2016)가 ‘적응 행위를 완성하기 위한 방법’을 두 종류로 구별한 데서 출발합니다. 이에 따르면, 논리 유형이 서로 다른 두 개의 자기 교정 방법이 있습니다. 예를 들어보죠. 새를 사냥하는 데 두 가지 방법, 앉아 있는 새를 소총으로 맞추는 경우와 날아 가는 새를 엽총이나 권총으로 맞추는 경우가 있습니다. 첫 번째 경우 사수는 새를 조준하게 되는데, 과녁과 총이 일직선이 될 때까지 상하좌우로 총을 교정하다가 조준이 맞았다고 생각하면 발사합니다. 이런 방법을 미텔슈태트는 ‘되먹임 feedback ’이라고 부릅니다. 되먹임에서는 자기 교정 행위가 한 번의 발사 행위 ‘안에서’ 일어난다는 점이 중요하다고 베이트슨은 평가합니다.
날아가는 새를 사냥하는 경우는 훨씬 복잡합니다. 감각기관들을 통해 새에 대한 정보를 모아 잘 계산한 다음, 그 대략적인 계산 결과에 맞춰 총을 발사해야 합니다. 이 경우에는 한 번의 발사 행위에서 오류를 교정할 가능성은 없어요. 발사하고 나면 끝이니까요. 뭔가 개선이 있으려면 두 번째 발사할 때 첫 번째 발사 경험을 참조해서 시도하고, 또 세 번째 발사할 때 첫 번째와 두 번째 경험을 참고해서 시도하고 하는 식으로 앞선 경험들을 종합해서 새롭게 시도해야만 합니다. 이런 방법은 ‘보정 calibration ’이라 불려요. 이에 대해 베이트슨은 이렇게 언급합니다.
오랜 연습에 의해, 사수는 신경들과 근육들의 설정 setting 을 조정해서 결정적 순간에 ‘자동적으로’ 최적의 수행을 하게 해야만 한다.
이 경우에 학습이 잘 이루어졌다는 건 어떻게 알 수 있을까요? 날던 새가 떨어지는 걸로 확인되겠죠. 그래야만 사수가 보정을 잘해낸 겁니다. 사수가 적합한 습관을 형성한 셈이지요.
첫 번째 경우는 아주 간단하게 이해될 수 있습니다. 사수는 총을 이리저리 움직여 목표물과 총의 방향 사이의 오차를 수정하기만 하면 됩니다. 사냥꾼이 자기 자신을 바꿀 필요가 없어요. 하지만 두번째 경우는 대단히 복잡하죠. 베이트슨은 이 구별을 학습의 맥락으로 가져갑니다.
사수에게 조준과 발사는 분리되지 않는다. 사수가 방아쇠를 당기기 전에 조준을 수정하는 일은 허용되지 않는다. 한데 묶여 있는 행위인 조준-발사는 그 성패가 다음 발사 행위에 대한 정보로 이양되어야 할 단일한 행위이다. 전체 활동 operation 이 개선되어야 하고, 따라서 정보를 통해 얻어야 할 내용은 전체 활동이다. 다음번 발사 행위에서, 사수는 ‘새로운 과녁의 위치 더하기 사이버네틱 회로의 먼젓번 라운드에서 그가 했던 것에 대한 정보 더하기 그 행동들의 결과에 대한 정보’를 바탕으로 그의 행동을 계산해야만 한다. 다른 과녁이 있는 회로의 제3라운드에서, 사수는 첫라운드에 일어난 일과 둘째 라운드에 일어난 일 사이의 차이에 대한 정보를 이용해야 이상적이다.
사수는 매 라운드마다 자신의 전체 활동을 바꾸어야 합니다. 새를 지각하고 신경과 근육 등 몸을 조정해서 총을 발사하는 일이 동시에 형성됩니다. 앞선 경험들이 누적적으로 정보를 주기 때문에 이게 가능한 거죠.
엽총 사격 학습의 꾸준한 업무는 필연적으로 불연속적이다. 자신에 대한 정보(즉, 보정을 위해 요구되는 정보)는 발사 순간 다음에야 수확될 수 있기 때문이다.
보정은 시간 차이를 전제합니다. 반복이지만 매번 차이 나는 그런 반복을 통해 능력이 향상됩니다. 새로운 습관을 들이는 거지요. 물론 세 살 버릇 여든까지 간다는 말도 있듯이, 습관을 바꾸는 건 쉬운 일이 아닙니다.
되먹임에도 당연히 훈련이 필요합니다. 하지만 보정 때와는 다른 훈련이겠지요. 내 생각에 가장 큰 차이는 사수의 몸이 바뀌느냐 아니냐에 있습니다. 되먹임 상황에서는 사수 자신이 바뀌지는 않습니다. 같은 사수가 매번 독립적인 사격을 하는 겁니다. 반면 보정 상황에서는 사수의 지각에서 운동에 이르는 시스템이 매번 새롭게 조정됩니다. 매번 다른 사수가 사격한다고 해도 좋습니다. 변화와 동일성이 함께 가는 역설이 발생한다고 할 정도죠. 그래서 베이트슨도 학습의 논리 유형이 다르다고 말한 겁니다. (331-333쪽)
인공지능에게 일을 시킨다는 문제는 단순하지 않다. 신뢰와 책임의 문제가 걸려 있기 때문이다. 책임은 오롯이 일을 시키는 인간의 몫으로 남는다. 블랙박스 인공지능의 의사결정에 따르는 일은 곧 인간의 책임일 수밖에 없다.
Comments