[인터뷰] AI에게 맡기지 마라, 세계가 퇴화할 것이니 (시사인, 2024.07.23)

GPT-4o에서는 할루시네이션(AI가 허구적인 정보를 사실처럼 답변하는 현상)이 많이 사라졌다. ‘검색’ 용도로 사용해도 괜찮지 않을까.

그렇지 않다. 대량언어모델(LLM)에 기반한 생성 AI들은 검색엔진이 될 수 없다. 그들의 임무는 ‘말이나 문장 생성’ 그 자체이지 ‘진실성의 보장’이 아니다. 할루시네이션 혹은 ‘아무 말 대잔치’는 일시적 결함 혹은 앞으로 해결될 문제로 보기 힘들다. 심지어 여러 개선 조치들이 할루시네이션을 더 악화시킨다는 보고도 있다. 나는 생성 AI를 ‘궁금한 것을 해소할 목적’으로는 사용하지 않으려 노력한다. 검색은 따로 해야 한다.

생성 AI들이 수학 문제를 너무 못 풀더라. 공식과 숫자를 길게 남발하지만 오답을 내고 만다. 풀 때마다 다른 답을 출력했다. 일종의 할루시네이션이라고 생각했다. 인수분해 공식에서 틀리는 경우도 있었다.

LLM 모델은 학습 자료로 (실제 세계의) 문자 텍스트들을 사용한다. 텍스트들을 토큰(LLM이 분석하는 최소 단위, 예컨대 단어)으로 쪼갠 뒤, 토큰들(‘나’ ‘너’ ‘사랑’ ‘구름’) 사이의 관계를 파악한다. 그 토큰들 간의 관계를 ‘매개변수’라고 부른다. 챗지피티가 출시 당시 기반한 LLM(GPT3)의 매개변수는 무려 1750억 개였다(이처럼 단어와 단어 사이의 관계를 조밀하게 계산한다면, 어떤 단어와 다른 단어가 한 문장 내에 있을 확률, 특정 단어 앞뒤에 나올 단어의 확률 등을 추정할 수 있다). 생성 AI는 이런 능력을 바탕으로 문장을 생성한다. 바꿔 말하자면, 외운 것을 적절히 변형해서 출력하는 것이다. 그런데 수학 문제를 푸는 데 필요한 수식이나 숫자 관련 데이터는 (다른 텍스트에 비해) 많지 않다. 데이터가 적으니, 외울 내용 자체가 부족하다. 그래서 수학에 서툰 것 같다.

수학 문제를 풀려면 해당 문제의 전체 구조를 종합적으로 이해하며 논리력을 발휘해야 한다. 토큰들 간의 관계 파악과 종합적 논리력은 좀 다른 영역인 것 같다.

그렇다. 데이터 기반 AI들이 할 일은 현실에 존재하는 수많은 데이터 가운데서 패턴을 찾아내는 것이다. 귀납적 방법(구체적 현상으로부터 일반적 원리, 예컨대 패턴을 추출함)이다. 그러나 수학은 연역적 학문이다. 어떤 원리로 시작해서 엄청나게 많은 구체적 현실로 확장해나간다.

생성 AI 기능들을 습득하기 위해 관련 도서들과 유튜브 동영상을 학습하다가 조금 놀랐다. 주제어만 넣어주면 AI 플랫폼이 ‘완전 자동’으로 글과 이미지를 생성하는 방식을 주로 설명하더라. 그렇게 가면 사람이 낄 영역이 없다. ‘우리 사회가 생성 AI란 기술을 잘못된 방향으로 사용하고 있는 것 아닌가’ 하는 생각이 들었다.

인간은 며칠 동안 생각하다가 나름대로 정리해서 글을 쓰고 PPT도 만든다. 지금은 ‘완전 자동’ 방식으로 AI에게 일을 시킬 수 있게 되었다. 그런데 AI가 예컨대 글쓰기를 대신 해주게 된다면 ‘나’의 ‘역량’은 정체되거나 심지어 퇴화할 것이다. 생성 AI가 인간의 역량을 축소하는 방향으로 작동하고 있는 것 같아서 걱정이다. 독일 슈프링어 출판사에서 진행하는 기술 철학 관련 기획에 참여하게 되었는데, 글의 제목을 ‘언어 모델 인공지능은 글쓰기 교육의 독’이라고 달았다.

살벌한 제목이다.

교육 측면에서 볼 때, AI가 학생들의 역량 개발 기회를 박탈할 가능성을 우려할 수밖에 없다. ‘시키는 쪽’이 ‘실행하는 쪽’보다 더 큰 역량을 지녀야 제대로 된 생산물이 나오는 법이다. 알고 시키는 것과 모르고 시키는 것은 다르다. AI 서비스를 활용하는 목적은 시간과 비용의 단축이어야 한다.

비슷한 경험을 했다. 원래 영문을 읽다가 이해되지 않으면 여러 번 다시 읽고, 문장을 쪼개고, 그 문장과 관련된 사건을 검색하는 등 몸부림을 쳤다. 그런데 요즘엔 이해되지 않는 부분을 번역기로 돌려버린다. 뭔가에 중독되는 기분이다.

자꾸 의탁하면 능력이 퇴화되기 마련이다. 계산도 그렇다. 초·중·고교에선 수학 문제를 풀 때 계산기를 사용하지 못하게 한다. 당연하다. 수학 문제를 푸는 것은, 풀이의 각 단계에 수없이 등장하는 사칙연산에 집중하는 동시에 풀이의 전체 흐름을 잊지 않고 진행하는 능력을 습득하는 과정이기 때문이다. 사회에 나가서 부닥치는 다양한 상황들 역시 그런 방식으로 해결하게 된다. ‘생각의 근육’은 사용하지 않으면 퇴화한다.

우스개 같지만, 실리콘밸리의 성공한 창업자나 엔지니어들이 자신이 개발한 제품을 자기 자녀에겐 금지한다는 소문이 있다. 지적인 양극화의 가능성도 배제할 수 없다고 본다.

빌 게이츠가 그런다지 않는가(웃음). 인구의 일부가 지식 전반과 관련된 테크놀로지를 장악하고 나머지는 지적 역량을 상실해가는 상황을 상상해볼 수 있다. 교육 차원에선 학생들이 지적 역량을 잃지 않도록 의식적으로 훈련시켜야 한다고 생각한다. 힘들고 어렵다고 “AI에게 시켜” 하는 건 아닌 것 같다.

학생들이 좋아할 말은 아니다.

싫어할 것이다. 그러나 개인은 물론 인류 전체를 위해서라도 인간의 역량이 강조되어야 한다. 더욱이 ‘생산물의 질(質)’ 측면에서 봐도, AI가 인간을 능가할 수 없는 영역이 굉장히 많다. 최근 어떤 영화감독을 만났는데, 그는 ‘텍스트 투 이미지(text to image:AI 플랫폼에 글을 써서 이미지를 만드는 것)’를 거부한다고 말했다. “글이나 말로 나타내지 못하는 것을 표현하는 장르가 예술”이기 때문이다. 이게 인공지능의 근본적 한계다. 실제로 어지간한 디자이너의 창작물도 인공지능이 만드는 이미지보다 낫다.

나는 실험 삼아 ‘컴퓨터 수리’란 주제어만 AI 플랫폼에 업로드하는 ‘완전 자동’ 방식으로 동영상을 만들었다. 컴퓨터 내부구조를 전혀 모르는 주제에 말이다. 결과물을 보다가 불현듯 ‘(질 낮은 수준의) 지식 생산물의 대량생산이 가능해졌다’는 생각이 들었다. 20세기 들어 이뤄진 ‘물질적 상품의 대량생산’은 세계를 바꿨다. ‘지식 생산물의 대량생산’은 가능할까? 세계를 바꿀까?

일단 ‘지식 생산물이 맞는가’부터 묻고 싶다. 예로부터 ‘지식’이란 실재하는 물질세계를 바꿀 수 있는 원천(전기의 원리를 알기 때문에 전등이나 휴대전화를 작동시킬 수 있다)을 의미했다. 그런 측면에서 지식은 힘이자 권력이었다. 이런 측면에서 자동생성된 ‘지식 생산물’은 지식을 참칭하는 일종의 허구로 볼 수밖에 없다.

그러나 ‘지식과 정보의 세계’에서 LLM의 비중이 점점 커지고 있는 것이 사실이다.

전반적인 지적 퇴보가 초래될 수 있다. 최근 〈스켑틱코리아〉에 소개된 우르스 가서와 빅토어 마이어쇤베르거의 논의를 소개하고 싶다. 그들의 주제는 ‘AI에게 의사결정 맡기기’다. 실제로 최근 자율주행 자동차(운전 경로, 운전할 때 피해야 할 대상 등과 관련된 의사결정을 인간 대신 수행), 의료, 재판, 가석방 심사, 직원 채용을 위한 서류 심사 등에서 거론되고 있는 문제다. 그런데 AI에게 의사결정을 맡기자는 논의가 나오는 이유가 뭔가? 인공지능이 과거(현재 시점 직전까지)의 모든 데이터를 분석해서 ‘최적의 해법’을 찾아낼 것이라는 믿음 때문이다.

AI가 재판을 맡아야 한다는 이야기도 나온다.

그러나 새로운 돌발 사태나 상황 변동에도 AI가 합리적 의사결정을 내릴 수 있을까? AI가 아는 것은 과거밖에 없다. 사람들이 마차를 몰던 시절, 누군가 증기기관 열차를 제안했다고 치자. 인공지능이라면 ‘말을 더 빨리 달리게 하는’ 방안을 제시하지, 증기기관을 채택하진 못할 것이다. 그 시점의 과거 데이터엔 증기기관이 없기 때문이다. 인간은 당대의 시점에선 불가능할 것으로 보이는 일들을 시도하며 세계를 바꿔왔다. 그러나 AI는 새로운 것에 대한 의사결정을 내릴 수 없다. AI에게 맡긴다면, 의사결정의 품질은 계속 떨어질 것이다. 한편 AI가 생성하는 데이터가 엄청난 속도로 늘어나고 있다. 즉, AI가 ‘AI 생성 데이터’를 학습해서 다시 데이터를 생성한다. 이런 현상이 심화될 때 AI가 출력하는 결과물의 품질은 진화할까, 퇴화할까? 퇴화할 수밖에 없다고 생각한다.

과거의 누적에 불과하기 때문에?

사람은 ‘지금대로 하진 않겠어’라며 행동한다. ‘현재’와 ‘일반’에 저항하고 반란을 일으킨다. 이를 통해 새로운 예술작품이나 기술, 제도를 창조한다. AI는 인간과 반대로 일반적인 것, ‘과거에 가장 많이 해온 것’으로 학습하고 그런 결과물을 낸다.

교육과정에도 AI를 도입한다고 한다.

교육부가 AI 부분을 크게 강화하려 하는 것은 분명하다. 그런데 정작 그것으로 무엇을 하겠다는 건지 잘 모르겠다. 당장 내년부터 ‘AI 디지털 교과서’를 도입한다는데, 불안하다.

불안할 것까지 있나. 교과서 내용이 디지털 화면으로 옮겨지고 이에 챗봇 등 다양한 AI 기능이 부가되면 학습 내용이 더 풍부해지지 않을까.

종이책과 이북(eBook)은, 둘 다 책(book)으로 불리지만, 사실은 완전히 다른 매체다. 관련 국내 논문들은 대체로 이북, 즉 디지털 책을 ‘종이책+알파’ 정도로 본다. 디지털 책이 종이책보다 뭔가 우수한 데다 부작용이 없다는 것이다. 그러나 해외 연구들은 인지과학적 접근을 바탕으로, 디지털 책이 집중도나 정보 습득 측면에서 종이책에 훨씬 못 미친다는 결과를 제시하고 있다.

화면으로 글을 볼 때 집중도가 낮아지는 느낌을 받긴 한다.

책의 내용을 떠올릴 때 그 책의 두께나 대충 어느 부분에 그 내용이 적혀 있다는 기억 등이 함께 연상되지 않는가. 인간의 인지구조가 그렇다. 해외 논문들에 따르면, 인간의 두뇌엔 위치와 공간을 파악하는 세포가 있다. 종이책을 읽는 것은, 어떤 문구가 공간적으로 어떤 부분에 있으며 다른 문구와 어떻게 붙고 떨어져 있는지 내용과 함께 인지하는 과정이다. 즉, 종이책 읽기는 3차원 공간의 경험이다. 이런 방식으로 종이책은 이해와 기억과 출력을 돕는다. 디지털 책으론 불가능한 인지 과정이다. 종이책 읽기가 디지털 책을 읽는 경험과 완전히 다르다는 것은 (글로벌 학계에서) 어느 정도 규명된 듯하다. 디지털 책의 장점이 있지만, 위험성도 있다면 유예하거나 재검토할 필요가 있다. 한 세대 전체의 인지능력 성장에 대한 문제이기 때문이다. 제대로 된 공청회도 없이 강행하는 이유를 모르겠다. 학부모들의 국회 청원이 5만명을 돌파했다.

학생들의 지적 역량이 AI 때문에 저해되는 사태를 경계하라고 말씀하셨다. 그러고 보니 챗지피티의 첫 출시 당시 많은 선생님들이 우려했던 일이 있다. 혹시 학생들이 리포트를 AI ‘완전 자동화’ 방식으로 만들어 제출하는 경우는 없나.

동료 선생님들의 말에 따르면 그런 일은 거의 없다. AI가 쓴 글이 인간의 글과 너무 다르기 때문이다. 특유의 문체와 표현 방식, 일반화된 내용 등이 그 특징이다. AI는 아직 (리포트에 필요한 참고 논문의) 요약도 제대로 하지 못한다. 선생님들이 단번에 알아본다(웃음).

AI 개발의 목표는 ‘사람처럼 생각하는 기계’다. ‘단번에 알아볼 정도’라면, 아직 갈 길이 멀다.

나는 AI가 ‘창조’할 수 없다고 주장했던 적이 있다. 업그레이드된 AI들을 볼수록 그 생각이 오히려 강해진다. 사람은 ‘절대 지금처럼 안 할 거야’라고 생각하는 존재이지만, 인공지능은 일반적 패턴 혹은 정규분포에 나타나는 종(鐘)의 꼭대기 부분(확률이 가장 높다)에 집착한다. 창조란, 인류 전체가 쌓아 올린 지적 축적에 새로운 것을 하나 더 놓는 행위다. 개인은 인류 전체의 업적과 맞서 싸우면서 창조한다. 이렇게 살아온 우리가 AI에 생각을 의탁한다면 인류사는 굉장히 위태로운 국면으로 들어가게 될 것이다.

교육에도 적용할 수 있는 말인 것 같다.

AI를 사용할 때, ‘나는 이 친구에게 일을 시키고 있다’라는 입장을 잊으면 안 된다. 이미 말했듯, 일을 ‘시키는 존재’는 ‘실행하는 존재’보다 그 일의 내용을 더 잘 알아야 한다. 그래야 시간과 비용을 절감하는 동시에 일의 목적을 달성할 수 있다. AI 시대의 교육에서 이런 관점이 유지되지 않는다면, 시키는 존재의 능력과 역량이 퇴화할 수 있다는 점을 기억해야 한다.

※2024 인공지능 콘퍼런스 – 생성형 AI의 새로운 차원 

참가 신청: https://saic.sisain.co.kr/