《스켑틱코리아》 최신호(38호, 2024)의 AGI 특집은 흥미로운 내용을 많이 포함하고 있다. 나는 특히 아래 소개할 글이 함축하는 파장을 더 깊게 고찰해야 한다고 본다. 저자들은 AI에게 의사결정을 맡길 경우 ‘네거티브 피드백'(이건 나의 표현임)이 작동해 의사결정의 품질이 점점 떨어질 것으로 예상한다. 이는 AI 생성물을 학습할 때 생성물의 품질이 열화되는 것과 비슷한 이치이다. 일독을 권한다.
우르스 가서(Urs Gasser), 빅토어 마이어쇤베르거(Viktor Mayer-Schönberger), ‘AI 의사결정의 결정적 문제들’, SKEPTIC Korea vol. 38, 2024, 124~133. (Guardrails: Guiding Human Decisions in the Age of AI, Princeton UP, 2024의 내용을 발췌 편집.)
오늘날의 데이터 기반 AI는 기존의 규칙 기반 AI에 비해 중요한 두 가지 이점을 제공한다. “첫째, 인간은 더 이상 명시적인 규칙을 만들어 시스템에 주입할 필요가 없다. 대신 AI 자체가 훈련 데이터에서 규칙을 도출한다.” 《드리븐Driven》의 저자 알렉스 데이비스Alex Davies는 이런 새로운 패러다임을 “컴퓨터는 법칙이 아니라 교훈을 얻는다”라고 간결하게 설명한다. “더 큰 두 번째 장점은 학습 데이터에서 규칙을 도출하기 때문에 규칙을 고정할 필요가 없다는 것이다. 대신 더 많은(그리고 더 새로운) 학습 데이터를 사용해 규칙을 조정할 수 있다. 이는 시간이 변함에 따라 다수의 결정적 가드레일의 효율이 감소하는 경직화를 막을 수 있다. 새로운 AI는 미래의 의사결정에 적용할 수 있는 규칙을 도출하기 위해 과거뿐만 아니라 현재의 패턴도 고려할 수 있다. 다시 말해 그들에게는 규칙을 업데이트할 수 있는 메커니즘이 내장돼 있다.”(126-127)
“그럼 우리의 의사결정이 점차 더 많은 기계에 의존하게 되는 세상을 상상해 보자. 더 많은 기계가 우리의 선택을 결정할수록 결국 그 결정은 머신러닝을 위한 학습 데이터의 유일한 원천이 될 것이다. 문제는 데이터 기반 머신러닝이 실험을 하지 않는다는 것이다. 데이터 기반 기계는 전의 결정들에 대한 데이터에서 추론한 최선의 사례를 기반으로 작동한다. 우리가 기계의 제안에 근거해 계속해서 판단을 내린다면 기계 그 자신의 보수적인 자체 솔루션을 증폭하는 결과로 이어질 것이다.”(128) 하지만 이는 치명적 결점을 초래할 수 있다. “학습 데이터에서 출현 가능한 새로운 의사결정의 선택지는 기존에 존재하는 선택보다 더 나은 결과를 가져올 때에만 채택될 가능성이 높다. 이는 유망한 새로운 생각들을 실험할 수 있는 기회를 차단한다.”(129)
“데이터 기반 머신러닝이 널리 활용된다면 최적이 아닌 초기 형태의 발명은 많은 경우 폐기될 것이다. 그 결과 장기적인 혁신의 가능성은 축소될 것이다. 기계는 이미 존재하는 것만을 학습할 수 있지만, 인간은 아직 존재하지 않는 가능성을 상상할 수 있다. 마차의 시대에 인간은 증기기관을 발명했지만, 데이터 기반 머신러닝은 마력을 더 효율적으로 사용할 수 있는 방법을 찾아냈을 것이다.”(130)
“[인간에게] 유일하게 지금도 작동하는 의사결정 지침은 위험을 감수하고 책임을 감내할 의향이 있다면 규칙을 따르지 말라는 제안뿐이다. 오랜 세월 동안 젊은이들은 부모와 교사에게 반항하고, 낡고 관습적이고 예측 가능한 것에 반발하며, 독창적이고 새로운 것뿐만 아니라 아직은 상상만 할 수 있는 것을 받아들여 왔다.”(131) 계속해서 새로운 꿈을 꾸고 있다는 말이다. 반면 기계는 새로운 길을 개척하려 하기보다 현재에 최적인 것을 유지한다. 그래서 “우리가 의사결정에 AI를 더 많이 사용할수록 AI는 데이터에서 의사결정의 다양성을 제거하고 진보를 위한 밑거름을 제거할 것이다. 이는 우리를 취약함, 경직성, 적응 및 진화 가능성의 퇴보로 이끌 것이다. 이런 의미에서 데이터 기반 머신러닝은 상상력에는 저주와도 같은 불변성에 대한 찬양이다.”(131) ” 데이터의 다양성을 높이려면 기계의 의사결정에 다양성이 필요하다. 이는 정의상 기계가 최적이 아닌 선택을 해야 한다는 의미다. 하지만 의사결정에 더 많은 AI를 활용해야 한다는 주장들은 언제 어디서든 AI가 일관되게 더 나은 선택을 제안할 거라고 가정한다.”(131)
Comments