AI가 만들어낸 참고문헌, 발표장에서 들통났습니다 – 연구자가 알려주는 AI 제대로 쓰는 법

작성자: Peter Kim

포닥으로 일하다 보면 주변에 대학원생, 학부생들을 자주 마주칩니다. 요즘은 정말 AI 없이는 못 살 것 같은 분위기예요. 보고서도, 실험 계획서도, 논문 초안도, 심지어 PPT 스크립트까지 AI한테 맡깁니다.

저도 AI 많이 씁니다. 진짜 유용하거든요. 그런데 가끔 보면 아찔한 순간들이 있습니다.

후배의 발표, 그리고 교수님의 침묵

작년 가을이었습니다. 같은 랩의 석사 1년차 후배가 그룹 미팅에서 발표를 했습니다. 특정 반응 메커니즘에 대해 꽤 자세하게 설명을 했는데, 교수님 표정이 점점 굳어지더니 결국 한 마디 하셨습니다.

“이 논문이 실제로 존재하는 거야?”

후배는 당연히 있다고 했습니다. AI가 알려준 참고문헌이었거든요. 논문 제목도, 저자도, 발행 연도도 그럴듯하게 나와 있었습니다. 근데 막상 찾아보니 없는 논문이었습니다. AI가 그냥 만들어낸 거였죠.

발표 자리에서 교수님 앞에서 그걸 확인하는 그 순간… 저도 옆에서 봤는데 식은땀이 났습니다.

이게 AI의 “환각(hallucination)” 문제입니다. AI는 그럴듯한 내용을 만들어내는 데 굉장히 능숙합니다. 하지만 그게 사실인지 아닌지는 확인하지 않습니다. 그냥 “그럴 것 같은 것”을 생성할 뿐이에요. 틀려도 자신 있게 말합니다.

저는 AI를 주방 칼에 비유하곤 합니다. 잘 쓰면 요리가 훨씬 빨라지고 퀄리티도 높아지지만, 잘못 쓰면 손 다칩니다.

AI를 쓸 때 가장 흔한 실수 두 가지가 있습니다.

“AI 활용에 대해 보고서 써줘.”

이런 식으로 던지는 겁니다. 당연히 AI는 뭔가를 줍니다. 그런데 그게 내가 원하는 방향인지, 맥락에 맞는지는 별개입니다. AI는 내 머릿속에 있는 의도를 읽지 못합니다. 내가 말한 것만 처리합니다.

좋은 결과를 얻으려면 좋은 질문을 해야 합니다. AI는 입력이 구체적일수록 출력도 정확해집니다.

예를 들어, 이렇게 바꿔보면 어떨까요:

“화학공학 석사 과정 대학원생이 쓰는 문어체 보고서 형식으로, 최근 5년 이내 발표된 탄소 포집 기술 트렌드를 3가지 분류하여 설명해줘. 각 기술에 대해 장단점과 실제 적용 사례를 포함해서 1500자 이내로 작성해줘.”

이렇게 구체적으로 쓰면 결과물이 확연히 달라집니다. 대상, 형식, 범위, 분량, 내용 요소를 명확히 넣는 것이 핵심입니다.

AI가 줬으니까 맞겠지. 빠르게 제출하면 되겠지. 이 생각이 가장 위험합니다.

저는 AI를 쓸 때 결과물을 그대로 제출하는 경우가 거의 없습니다. 항상 한 번은 읽고, 수치나 참고문헌이 있으면 직접 확인합니다.

귀찮아 보여도 이게 맞습니다. 왜냐하면 결과물에 문제가 생겼을 때 “AI가 틀렸어요”라는 말은 통하지 않기 때문입니다. 그 결과물을 제출한 사람은 나이고, 책임도 납니다.

AI를 도구로 쓸 때 꼭 확인해야 할 항목들입니다:

포닥 생활을 하면서 배운 것 중 하나는, AI를 잘 쓰는 사람과 못 쓰는 사람의 차이가 단순히 도구 사용 능력이 아니라는 점입니다.

AI를 잘 쓰는 사람은 이렇게 합니다:

반면 AI를 잘못 쓰는 사람은 AI에 “던져두고” 결과를 그대로 씁니다. 운이 좋으면 괜찮은 결과가 나오지만, 한 번 크게 실수하면 그 피해는 생각보다 큽니다.

특히 연구자나 대학원생이라면 더욱 그렇습니다. 논문, 보고서, 발표 자료는 정확성이 생명이기 때문입니다. AI는 당신의 지식을 증폭시켜주는 도구이지, 지식을 대체해주는 도구가 아닙니다.

AI가 등장한 이후로 많은 것이 달라졌습니다. 활용하지 않으면 손해인 시대인 건 분명합니다. 저도 그 혜택을 충분히 누리고 있습니다.

하지만 AI를 잘 쓴다는 것은 AI에게 모든 것을 맡기는 것이 아닙니다.

정확하게 지시하고, 결과물을 직접 검토하고, 최종 책임은 내가 진다는 인식 – 이것이 AI 시대에 살아남는 연구자의 기본 태도라고 생각합니다.

AI는 분명 강력한 도구입니다. 그 도구를 제대로 쓰는 건 결국 사람의 몫입니다.

💡 저자의 경험: 이 글은 대학원 생활 중 직접 경험하면서 얻은 실제 사례를 바탕으로 작성되었습니다.