[AI] AI를 너무 믿지 말자. - AI Hallucination
생성형 AI를 사용하다 보면 정말 이게 맞는 정보일까 하는 생각이 들 때가 있다. 처음에는 AI가 그럴듯하게 이야기 하니까 그냥 넘어가게 되지만, 왠지 모르게 찝찝한 기분이 남을 때가 있었다. 그래서 직접 찾아보거나 다시 확인해 보면, 틀린 정보인 경우도 종종 있었다.
이런 현상을 찾아보니 AI가 '환각'이라는 것을 한다고 한다. 이번 글에서는 생성형 AI가 왜 이런 환각을 일으키는지, 그리고 우리가 AI를 사용할 때 어떻게 받아들여야하는지에 대해 이야기해보려고 한다.
AI의 환각 (Hallucination)
먼저, 우리가 사용하는 AI(GPT, Gemini, Claude 등)가 무엇인지 이해할 필요가 있다. 우리가 흔히 접하는 AI는 자비스처럼 만능 인공지능이 아니다. 흔히 GPT, Gemini, Claude는 LLM이라고 하는데, 쉽게 이야기해서 고성능 자동완성 기능에 가깝다. 방대한 데이터를 학습해, 학습된 데이터를 바탕으로 그럴듯한 문장을 만들어주는 기계일 뿐이다.
자 그럼 AI의 환각에 대해 알아보자. AI의 환각이란 인공지능이 존재하지 않는 사실을 마치 사실인 것처럼 만들어내는 오류를 의미한다. 쉽게 말해, AI가 거짓말을 진실처럼 말하는 것이다.(리플리 증후군..?)
그럼 왜 AI는 환각을 일으킬까? AI는 인간처럼 이해하지 않는다. AI는 방대한 인터넷 텍스트, 데이터를 학습한다. 그 중 정확한 정보도 섞여 잇겠지만, 뭐가 거짓인지 구분을 못 한다. 그냥 글자만 학습한다. 이처럼 수많은 데이터를 학습하여, 어떤 단어가 다음에 올지 확률적으로 예측한다. 따라서 학습한 데이터에 없는 질문이 들어오면, AI는 스스로 빈칸을 채우려는 추론을 시도한다. 이 과정에서 그럴듯하지만 사실과 다른 답변이 탄생하는 것이다.
예를 들어, 존재하지 않는 논문이나 글을 인용하거나, 실존하지 않는 사람의 인터뷰를 만들어내는 식이다. 더 무서운 건, AI가 자신이 생성한 데이터를 다시 학습하게 되면, 오류가 반복 되는 것이다.
폭싹 속았수다
GPT한테 꽤 그럴듯 하게 보이는(?) 질문을 했다. 그러자 GPT는 바로 구조적인 설명과 함께 그럴듯한 정의를 내놓았다. 이름도 그럴싸했고, 설명도 논리적으로 은근 잘 맞아떨어졌다. 혹시 내가 잘못 알고 있는 건가 싶어서, 혹시나 정말로 MAC 패턴이라는게 존재하는가 싶어서 구글링도 해보고, 스택 오버플로도 뒤져보고, 영문 자료까지 찾아봤지만 당연히 존재할리가 없었다.
환각 현상의 진짜 심각한 문제는, 앞선 예시처럼 완전한 허구에 기반한 터무니없는 답변이 아니다. 오히려 어느 정도 사실에 근거하고 있는 것처럼 보이지만, 결정적인 부분에서 잘못된 정보를 제공해 사용자를 교묘하게 속이는 경우이다.
이처럼 AI 기술이 빠르게 발전하고 있음에도 불구하고, 환각 현상은 아직 완전히 극복되지 못한 채 생성형 AI의 고질적인 문제로 남아 있다. 그리고 우리가 AI 모델을 직접 개발하는 입장이 아닌 이상, AI를 사용하는 과정에서 이 문제를 완전히 피하는 것은 사실상 불가능하다.
그렇다면 우리는 생성형 AI의 환각 현상을 어떻게 인지하고, 어떻게 대응해야 할까?
저는 이렇게 사용해요
아쉽게도 환각 현상을 완벽히 극복하는 해결책은 존재하지 않는다. 사용자가 조금 더 주의를 기울여야 한다.
1. 교차 검증
AI의 답변을 그대로 믿지말고 구글링, 웹서핑, 관련 논문이나 도서 등을 통해 반드시 교차 검증을 한다. 여기서 이런 생각이 들 수도 있다. "엥? 그럼 뭐하러 AI를 쓰지? 처음부터 구글링하고 논문 찾아보면 되는 거 아닌가?"
맞는 말이다. 하지만 AI를 사용하는 이유는 정답을 얻기 위해서가 아니라, 방향을 잡기 위해서라고 생각한다. AI는 수많은 데이터 속에서 내가 떠올리지 못한 키워드나 개념을 빠르게 제시해준다. 그 덕분에 검색 범위를 좁히고, 어떤 부분을 더 깊이 파야 할지 감을 잡을 수 있다.
즉, AI는 가이드이자 도구일 뿐 검증은 사용자의 몫이다.
2. 프롬프트
나는 프롬프트를 작성할 때 "정확한 정보만 알려줘"와 "정보에 대한 출처나 링크도 알려줘"라고 요청한다. 내 경험상 저 문장이 있고 없고 차이가 굉장히 컸다. 실제로 아까와 같은 프롬프트에 정확한 정보와 출처 요청을 추가했을 뿐인데, 이전과 다른 확실한 정보를 받아냈다.
마치며
AI 사용에 대해 비판적이던 내가 이제는 누구보다 AI를 적극적으로 활용하고 있다. 나는 AI를 잘 다루는 것도 하나의 능력이라고 생각한다. 그러기 위해서는 AI에 대한 공부가 필수인 것 같다. AI를 단순히 사용하는 것에 그치지 않고, 올바르게 이해하고 활용하는 능력이 중요하다고 생각한다.
더 열심히 공부해야지!
레퍼런스
https://digitalsociety.or.kr/posts/eVtMw1o