인공지능을 활용한 글쓰기 (3) : 생성 AI를 학술적 글쓰기에 활용하는 법에 관한 전문가 제언

방금 던진 물음들을 곧장 다루기 전에, 생성 AI의 연구 활용 혹은 생성 AI를 통한 글쓰기에 관해 몇몇 전문가의 제언을 듣는 것은 도움이 될 것으로 보인다. 챗GPT가 처음 발표된 2022년 11월 30일 이후, 그리고 바드(제미니), 라마, 클로드 등 잇단 유사 경쟁 서비스가 출시된 2024년 8월 현재까지, 몇몇 연구자 혹은 연구 단체는 생성 AI라는 도구를 어떻게 활용해야 하는지 나름의 체험과 실험을 통해 제언을 발표했다. 아래에서는 주로 ‘학술적 글쓰기’에 관련된 내용을 중심으로 정리했다.

그 전에 ‘홍보’ 분야, 즉 ‘비학술적 글쓰기’ 업무에서 제언된 내용 하나를 보고 가겠다. 알스퀘어 대외협력실장 문지형은 “20년차 홍보인의 AI 도구로 스마트한 척 글쓰기”라는 기고문에서 자신이 LLM을 활용해서 글을 쓸 때 누리게 된 네 가지 장점을 언급한다. 첫째, 글쓰기 부담이 줄어든다. LLM을 활용하면 초안을 깔고 시작할 수 있다. 후배가 작성한 보도자료를 돌려 보면, 시간을 절약하고 잔소리도 아끼게 된다. 둘째, 퇴고 작업 효율화다. LLM은 같은 의미를 가진 문장으로 수정해주고, 자연스럽고 읽기 쉬운 문장을 만들어 준다. 셋째, 창의적인 아이디어 생성이 가능해진다. LLM은 여러 주제에 대한 인사이트를 제시해줌으로써 창의성과 신선함을 붇돋운다. 페르소나와 구체적인 설정을 제시하면, 독창적이고 흥미로운 콘텐츠가 생성된다. 넷째, 자료 조사와 풍성한 사례 제시다. 정보의 홍수 속에서 LLM은 필요한 자료만 요약 정리해 수초 내로 안겨준다. 영어로 답변을 받으면 더 풍성한 내용을 얻을 수 있다.

이 활용 사례는 ‘홍보’라는 영역에서는 유의미할 수 있다. 소재와 아이디어를 주면 초안을 얻을 수 있고, 시간 대비 효율적으로 퇴고를 진행하고, 인사이트와 필요한 자료를 단숨에 얻어낸다. 사실 홍보를 위해서는 정확한 사실이 꼭 필요한 건 아니다. 제품과 서비스가 먼저 있고, 그것을 널리 알리기 위한 ‘수사학’과 ‘전략’이 중요하다. 브레인스토밍 차원에서 인사이트를 얻기 쉽고 검색 엔진이 아니더라도 자료를 얻을 수 있다면, LLM은 중요한 수단으로 활용할 수 있다. 다만 이런 용도가 학술적 글쓰기에서 얼마나 유지될지는 조금 더 생각해 봐야 할 것이다.

 

3.1 생성 AI 연구 활용의 한계와 제언

한국에너지기술연구원의 책임연구원 이제현 박사는 “생성 AI 연구 활용 한계와 제언”(2024년 5월 24일)이라는 글에서 다음과 같이 언급한다. “연구에 활용할 수 있는 생성 AI 도구가 매우 많습니다. 다양한 논문 데이터베이스에 접근하거나 PDF 파일을 읽고, 내용과 인용 네트워크를 그려주는 등 번거로운 일을 자동화해줍니다. 그리고, 도구별로 특색이 있습니다.” 이제현이 소개한 자세한 AI 목록과 기능 및 특징은 원문을 참조하면 좋다.

이제현은 다음과 같이 덧붙인다. “이런 도구들을 사용하면 논문을 빨리 읽을 수 있고, 낯선 분야의 논문도 훨씬 수월하게 읽을 수 있습니다. 내용을 머리에 다져넣기보다 행정 문서 작성을 위해 빠르게 파악해야 할 때 진가가 발휘됩니다. 그러나 모든 도구가 그렇듯 근본적인 한계가 있습니다. 이를 알고 장점을 활용해야 큰 실수를 하지 않습니다.” 여기서 주목할 대목은 ‘내용을 머리에 다져넣는 일’, 즉 본격적인 의미의 학습에서보다 ‘행정 문서 작성을 위해 빠르게 파악하는 일’, 즉 자료를 일별해서 행정 문서의 얼개를 잡는 데 더 유용하다는 지적이다. 이 말은 ‘연구자’보다 ‘행정가’에게 더 유용하다는 뜻으로 이해되는 대목이다.

이제현에 따르면 생성 AI를 활용할 때 가장 큰 문제는 ‘정확성’에 있다. 우선 ‘AI를 포함한 웹 검색’은 답을 찾아주긴 한다. 구글 검색은 출처를 알려주지 않으며 빙과 코파일럿은 출처까지 찾아갈 수 있다. 그러면 ‘생성 AI 도구’는 어떨까? 이제현은 Scholar GPT, Consensus, Scholar AI, scispace 등 총 4개의 연구용 생성 AI를 점검한 결과 모두 30% 전후의 오답을 내는 것으로 확인했다. 분석에 따르면, 연구용 생성 AI는 모든 답변에 레퍼런스를 기본으로 가져오므로 오답이 나오는 것이 ‘환각’ 때문은 아닐 가능성이 높다(‘환각’ 문제에 대해서는 뒤에서 자세히 살필 것이다). 오히려 참고하는 ‘데이터베이스’에 근본적인 한계가 있다. 다양한 기관이 운영하고 있고, 목적이나 분야가 다르기도 하고, 유로 데이터베이스가 대부분이어서 결국 원하는 분야에서 제대로 된 결과물을 얻기 힘들다.

생성 AI를 연구에 잘 활용하기 위한 이제현의 제언은 다음과 같다. “이와 같이 정보 출처의 영향으로 인해 검색 결과가 제한됩니다. 아무리 생성 AI가 GPT3.5에서 4, 4o를 거치며 성능이 향상되어도, 좋은 재료를 구할 수 없으면 좋은 음식을 만들 수 없듯 답변에 한계가 생깁니다. 연구자들은 본인 분야의 특성을 파악하여 올바른 소스에 접근하고, Licensed DB를 사용해야 하는 연구자는 적법한 절차를 거쳐 원문을 내려받아야 합니다. 그리고 scispace나 ChatPDF, research rabbit등 PDF를 사용할 수 있는 도구를 이용해야 합니다. 기존 도구의 성능에 한계가 느껴진다면 스스로 도구를 만들어볼 수도 있습니다. 생성 AI를 올바른 방식으로 활용하시어 좋은 성과를 얻으시기 바랍니다.”

이 제언은 ‘Perovskite/Silicon tandem 태양전지의 최대 효율’ 문제라는 실제 현장의 사례를 바탕으로 도출된 것이어서 설득력이 크며, 이공계 연구자가 생성 AI를 사용하는 데도 좋은 지침이 된다. 다만 이제현이 지적했듯, 생성 AI의 특색과 한계를 잘 이해해야 하고 궁극적으로는 보조적으로 써야 하며, 연구의 전문성은 연구자 자신이 견지해 갈 수밖에 없다는 점도 명심해야 한다.

 

3.2 LLM(여기서는 ChatGPT)를 학술 글쓰기에 활용하는 방법

이번에는 이공계 학술 영역은 아니지만 학자로서 LLM을 활용해 글쓰기에서 도움을 받은 사례를 살펴보겠다. 포르투갈에서 성격과 리더십을 연구하는 그루다(Dritjon Gruda) 교수는 학술지 Nature에 “챗GPT가 나의 학술적 글쓰기를 돕는 세 가지 방법(Three ways ChatGPT helps me in my academic writing)”(2024년 4월 8일)이라는 글을 썼다. 그는 “생성 AI를 통해 얻을 수 있는 가치는 기술 자체가 맹목적으로 텍스트를 생성하는 것이 아니라, 도구에 참여하고 나의 전문 지식을 활용하여 생성된 내용을 개선하는 데서 얻을 수 있다”면서 “글쓰기, 편집, 동료 평가 등 어떤 분야에서 AI를 사용하든 동일한 효과를 얻을 수” 있는 세 가지 방법을 제안한다. 그 내용을 요약하면 아래와 같다.

첫째. 학술적 글쓰기 다듬기: LLM으로 문서의 한 부분을 명확하게 다듬을 때는 문맥의 윤곽을 잡는 데(“논문의 주제는 무엇이며, 주요 주장은 무엇인가?”)서 시작해야 한다. 성공의 열쇠는 정확하고 명료한 지침을 주는 데 있다. 가령 이렇게 요구할 수 있다. “나는 주요 [분야] 학술지에 [주제]에 대한 논문을 작성하고 있다. 다음 섹션에서 내가 말하고자 하는 것은 [특정 요점]이다. 명확성, 일관성, 간결성을 위해 각 단락이 다음 단락으로 이어지도록 다시 표현하라. 전문 용어를 제거하고, 전문적인 어조를 사용하라.” 이렇게 물으면 LLM의 첫 번째 답은 완벽하지 않을 수 있겠지만, 그렇더라도 동료와 논의할 때처럼 반복해서 협업해야 하며, 지침을 구체화하거나 추가 정보를 넣어야 하기도 한다. 원하는 결과가 나오지 않으면 다시 요청해야 한다. “이는 마치 새로운 관점을 열어주는 대화를 나누는 것과 같으며, 아이디어를 개발하고 다듬는 창의적인 과정에서 생성 AI를 협업 파트너로 삼을 수 있다.” 여기서 중요한 점은 “당신이 AI를 공명판으로 사용한다”는 점이다. 다듬기 과정에서 중요한 것은 완결된 글쓰기 결과물을 얻는 것이 아니라 전문적인 브레인스토밍을 이끌어내는 것이라고 이상의 내용을 요약할 수 있다.

영어로 작업하는 일이 많은 이공계 학생을 위해 그루다 교수가 제시한 영어 원문을 붙인다. “I’m writing a paper on [topic] for a leading [discipline] academic journal. What I tried to say in the following section is [specific point]. Please rephrase it for clarity, coherence and conciseness, ensuring each paragraph flows into the next. Remove jargon. Use a professional tone.”

둘째. 동료 평가 다듬기: 먼저 자신이 원고를 꼼꼼히 읽은 후 핵심 사항과 검토할 부분을 요약한다. 원고를 직접 올리면 프라이버시 문제가 생길 수 있으므로, 자신이 요약한 것을 바탕으로, LLM에게 다음과 같이 지시한다. “[분야]에서 20년 이상의 학문적 경력을 가진 전문가이자 노련한 학자라고 가정하자. [일반 주제]를 주요 내용으로 하는 [분야]의 논문을 요약한 내용을 바탕으로 다음 순서대로 이 논문에 대한 자세한 검토를 제공하라: 1) 핵심 내용을 간략히 논하고, 2) 한계점을 파악하고, 3) 각 한계점의 중요성을 중요한 순서대로 설명하라. 전체적으로 간결하고 전문적인 어조를 유지하라.” 이렇게 하면 종종 생각하지 못했던 관점을 줄 것이다. 하지만 제안이 근거가 없거나, 억지스럽거나, 관련성이 없거나, 단순히 틀린 경우도 있다. 따라서 검토에 대한 최종 책임은 항상 자신에게 있다는 점을 명심하고 책임질 수 있는 행동을 해야 한다. 자신이 내용과 쟁점을 요약한 후, 이를 LLM에게 평가하도록 요구하면서 아이디어를 얻되, 최종 판단과 책임은 자신이 져야 한다는 것이라고 이상의 내용을 요약할 수 있다.

그루다 교수의 영어 원문은 다음과 같다. “Assume you’re an expert and seasoned scholar with 20+ years of academic experience in [field]. On the basis of my summary of a paper in [field], where the main focus is on [general topic], provide a detailed review of this paper, in the following order: 1) briefly discuss its core content; 2) identify its limitations; and 3) explain the significance of each limitation in order of importance. Maintain a concise and professional tone throughout.”

셋째. 편집자 피드백 최적화: 학술지 편집자로서 얻는 이득도 있다. 여러 편의 원고를 검토할 때, 저자에게 건설적인 편집자 피드백을 주는 일이 쉽지 않을 수 있다. 구체적으로 어떤 부분이 어떻게 평가되었는지 이야기해 줘야 하기 때문이다. 이럴 때는 논문을 평가하고 장단점을 메모한 후 LLM에게 다음과 같이 지시한다. “이 메모를 바탕으로 저자에게 보내는 편지의 초안을 작성하라. 원고의 주요 쟁점을 강조하고, 원고가 흥미로운 주제임에도 불구하고 출판할 가치가 있을 만큼 충분히 발전하지 못한 이유를 명확하게 설명하라. 전문 용어를 피하라. 직설적으로 표현하라. 전체적으로 전문적이고 정중한 어조를 유지하라.” 내용을 적절히 맞추기 위해 여러 번 시도해야 할 수도 있다. 말하고자 하는 요점을 제시한 후 LLM이 문장을 생성하게 할 수 있다는 것으로 이상의 내용을 요약할 수 있다.

그루다 교수의 영어 원문은 다음과 같다. “On the basis of these notes, draft a letter to the author. Highlight the manuscript’s key issues and clearly explain why the manuscript, despite its interesting topic, might not provide a substantial enough advancement to merit publication. Avoid jargon. Be direct. Maintain a professional and respectful tone throughout.”

그루다의 제언이 이공계 학술 논문을 쓸 때도 얼마간 통할 수 있다는 점은 분명하다. 하지만 그루다가 강조했듯이 여기서 가장 중요한 것은 ‘자기 분야에 대한 전문성’이며, 미처 떠오르지 않은 아이디어나 관점을 혹시 얻을 수 있다는 점이 연구 영역에서 LLM이 주는 도움이다. 하지만 세 번째 도움은 ‘연구’가 아니라 ‘행정’ 영역에서의 활용이었다는 점도 분명히 할 필요가 있다. 즉, 편집자로서 저자에게 피드백을 줄 때 시간 절약 차원에서 LLM에게 편지를 쓰게 했을 뿐이다.

 

3.3 과학 논문 원고를 쓸 때 AI를 사용하는 가장 좋은 실천 지침

이제 본격적으로 과학 논문을 쓸 때 어떤 도움을 어떤 식으로 받을 수 있을까. 다행히도 여기에 대한 좋은 제안이 있다. 미국 화학회는 “과학 논문 원고를 쓸 때 AI를 사용하는 가장 좋은 실천 지침”(ACS Nano 17, 4091-4093 (2023))이라는 글에서 다음과 같이 권고하고 있다. LLM을 이용한 ‘과학 커뮤니케이션’에 대해 권고한 부분을 번역하면 아래와 같다.

“1. 연구 사사와 실험 부분에서 원고를 작성하는 데 AI 봇/ChatGPT를 사용했음을 명시할 것. 원고의 어느 부분에서 언어 봇의 출력을 사용했는지 명확하게 표시하고, 보충 정보에 프롬프트와 질문 및/또는 대화 내용을 제공할 것.

2. 주저자와 공동저자는 ChatGPT 모델의 출력은 기껏해야 아주 초기 초안일 뿐이라는 점을 상기할 것. 결과물은 불완전하고 잘못된 정보가 포함될 수 있으며 모든 문장과 진술은 비판적으로 고려해야 함. 확인하고, 확인하고, 또 확인할 것. 그리고 다시 확인할 것.

3. ChatGPT의 텍스트를 그대로 사용하지 말 것. 그것은 당신의 언어가 아님. 봇이 다른 출처의 텍스트를 재사용하여 의도치 않은 표절로 이어질 수도 있음.

4. 인공지능 봇/ChatGPT가 추천하는 인용문은 잘못된 인용을 생성하는 것으로 알려져 있으므로 원본 문헌을 반드시 확인할 것.

5. ChatGPT 또는 기타 AI 기반 봇을 공동 저자로 포함시키지 말 것. 새로운 아이디어를 생성하거나 새로운 결과들을 바탕으로 토론을 구성하는 것은 인간의 영역이므로 봇은 새로운 아이디어를 생성할 수 없음. 다른 많은 프로그램과 마찬가지로 원고의 구성과 작성을 돕기 위한 도구일 뿐임. 자세한 내용은 ACS Nano 저자 가이드라인을 참조할 것.

6. ChatGPT는 어떠한 진술이나 윤리적 위반에 대해서도 책임 지지 않음. 따라서 원고의 모든 저자는 이 책임을 공유함.

7. 그리고 가장 중요한 것은 ChatGPT가 당신의 창의성과 깊은 사고를 억누르지 않도록 할 것. 이 도구를 사용하여 시야를 넓히고 새로운 아이디어를 떠올려 볼 것!”

이상의 내용에서 한 번 더 주목할 사항을 정리하면 이렇게 된다. 우선 LLM을 사용할 때 그대로 가져다 쓰지 말라는 것. 초안으로 삼되 충분히 비판적으로 고려하고 확인해야 하며, 분명하게 자기 문장으로 다음어 표절의 여지를 확실히 없애야 한다. LLM이 제시한 문헌은 반드시 원본 문헌을 확인할 것. 1장에서 언급했듯, LLM은 데이터베이스도 검색 엔진도 아니다. LLM은 글짓기 기계라는 점을 잊어서는 안 된다. LLM은 창의성과 사고, 시야와 아이디어를 넓히는 보조 도구로 사용할 것. 새로운 영감과 관점을 얻을 수 있다면 행운일 것이다. 하지만 산책하거나 서점을 순례하는 것도, 인문 영역 책을 읽거나 미술관, 영화관, 연극 극장, 음악회를 가는 것도 LLM과 Q&A를 이어가는 것보다 더 도움이 될 수 있다는 점도 기억할 필요가 있다.

3장에서는 홍보라는 비학술적 글쓰기 영역, 생성 AI 연구를 활용하는 자세, 학술 영역에서 LLM의 도움을 받는 법, 과학 글쓰기에서 LLM 사용 지침 순서로 이공계 학생이 참조할 사항을 살폈다. 다음 장에서는 ‘글쓰기’가 무엇인지 살피면서 글쓰기에 LLM의 도움을 받는 것이 과연 적절한지 다뤄 보기로 하겠다.