똑똑해진 만큼 거짓말도 더 잘하는 AI...공공기관·기업 "AI 전환 고민"아주경제 기사제공: 2025-04-24 00:06:57

인공지능(AI)의 추론 능력이 강화 될수록 거짓 정보를 사실처럼 전달하는 ‘환각(할루시네이션)’ 문제가 점점 심각해지고 있다.
 세계적으로 인공지능 전환(AX)이 각광받고 있는 가운데 기업 내 사고도 빈번하게 발생하고 있다.
 
24일 IT업계에 따르면, 지난해 설립된 미국의 AI 기반 코드 편집 회사 ‘커서(Cursor)’에서 최근 AI 할루시네이션에 따른 대규모 구독 취소 사태가 발생했다.
 
할루시네이션은 거대언어모델(LLM)이 사실과 다르거나 존재하지 않는 정보를 마치 사실처럼 생성하는 현상을 말한다.
 
로그아웃이 반복되는 문제로 커서 사용자가 챗GPT 기반의 AI 챗봇 ‘샘’에게 문의하자, 샘은 “정책에 따라 예상된 상황”이라고 답변했다.
이에 대한 불만으로 이용자들의 대규모 구독 취소가 이어졌다.
 
커서 측은 “그런 정책은 존재하지 않는다.
AI 지원 챗봇의 잘못된 답변이었다”고 해명했다.
없던 정책을 만들어 답변한 것이다.
 
 
지난해 2월에는 에어캐나다의 AI 챗봇이 잘못된 환불 정책을 고객에게 안내해 논란이 됐다.
메타의 AI 시스템이 도널드 트럼프 전 대통령의 암살 시도 정보를 잘못 제공하며 소동을 일으켰다.
 
구글의 AI 챗봇 바드는 제임스 웹 우주망원경이 태양계 외 행성의 첫 사진을 촬영했다고 거짓 주장하기도 했다.
2023년 뉴욕 남부지방법원에서 진행된 소송에서는 변호사가 챗GPT로 조사한 판례가 가짜로 밝혀져 5000달러의 벌금을 부과 받은 적도 있다.
 
 
국내에서도 커뮤니티를 중심으로 AI의 거짓 정보 사례가 공유되고 있다.
사용자가 챗GPT에 나뭇가지 사진을 제시하며 “이 사진에 뱀이 있나요?”라고 묻자 챗GPT가 임의로 뱀 이미지를 생성해 합성한 뒤 “뱀이 있다”고 답변했다.
 
할루시네이션은 성능이 고도화될수록 그 확률이 높아지고, 더욱 교묘해지는 추세다.
지난 16일 오픈AI가 공개한 최신 모델 o3와 o4 mini의 할루시네이션 확률은 PersonQA 벤치마크에서 각각 33%, 48%에 달한다.
이는 이전 추론 모델인 o1(16%)과 o3 mini(14.8%)보다 두 배 이상 높은 수치다.
 
오픈AI는 두 모델의 추론 능력이 강화되면서 복잡한 문제 해결 능력이 향상됐지만, 이 과정에서 할루시네이션 확률이 증가했다고 설명했다.
 
할루시네이션의 원인은 △부족하거나 편향된 학습 데이터 △모델의 확률적 특성 △검증 부족으로 꼽힌다.
특히 학습 데이터가 부족한 상황에서 답변을 강제하도록 설계된 AI는 거짓 정보를 생성할 가능성이 높다.
추론 능력이 강화될수록 할루시네이션은 더욱 사실처럼 사용자를 속일 가능성이 높다.
공공기관이나 기업 업무에 AI 할루시네이션으로 인한 피해가 발생 할 경우 책임 소재도 모호하다.
 
전문가들은 할루시네이션을 없앨 수는 없지만 특화된 AI 모델을 통해 발생 확률을 최소화할 수 있다는 견해를 내 놓고 있다.
최병호 고려대학교 인공지능연구소 교수는 “AI 기업들이 끊임없이 실험하고 혁신에 도전하는 상황이지만 할루시네이션 문제는 지속될 것”이라며 “다만 특화된 영역에서 충분한 고품질 데이터를 활용하면 확률을 극도로 낮출 수 있다”고 말했다.
 
책임 소재와 관련해서는 연구가 필요하다는 입장이다.
 
최 교수는 “AI도입에 따른 피해의 책임소재를 찾는 것은 상당히 복잡하다”며 “데이터베이스, 상용API, AI성능 등 다양한 과정이 있는데 이 중 어디에서 문제가 발생했는지 증명하는 과정이 필요하기 때문”이라고 말했다.
 
김성현 기자 minus1@ajunews.com