AI 답변을 그대로 붙였다가 틀린 숫자, 없는 출처, 존재하지 않는 판례가 문서에 들어가는 사고가 2026년에도 이어진다. 환각이 왜 사라지지 않는지 근거를 짚고, 업무 문서에 쓰기 전 확인할 7단계를 순서대로 정리했다.
환각은 버그가 아니라 구조다 — 근거 세 가지
모델은 모를 때 찍도록 훈련된다. OpenAI 연구진이 2025년 9월 공개한 논문 「Why Language Models Hallucinate」는 훈련과 평가 절차가 "불확실성을 인정하는 것보다 추측을 보상"하기 때문에 환각이 지속된다고 분석했다. 정답·오답만 가리는 채점에서 "모른다"는 0점이므로 찍는 모델이 점수가 높다(arXiv 2509.04664). 모델이 좋아져도 완전히 없어지지 않는 이유다.
원문을 주고 요약만 시켜도 틀린다. Vectara의 HHEM 리더보드(2026-09-22 갱신)는 문서를 주고 요약하게 했을 때 원문에 없는 내용을 섞는 비율을 잰다. 상위 모델 1.8%, GPT-4o 9.6%, Claude Sonnet 4 10.3%, Gemini 2.5 Pro 7.0%였다(Vectara).
한국 법원에 이미 제출됐다. 2025년 9월 한 지방법원 형사 재판부는 변호사 의견서에 인용된 판결 5개가 존재하지 않음을 확인했고, 변호사는 AI 사용을 인정하고 철회했다(법률신문, 2025-09-27). 2026년 4월 울산지법 대여금 소송에서는 로펌 준비서면에 없는 판례번호가 들어갔고 1심 패소 뒤 의뢰인이 발견했다(머니투데이, 2026-05-11). 법원행정처는 허위 인용 당사자에게 소송비용을 부담시키고 변호사는 변협에 징계를 의뢰하는 방안을 제시했고(헤럴드경제, 2026-03-30), 2월부터 사법정보공개포털에 '허위 사건번호 확인' 서비스를 열었다. 국회에는 허위 인용에 500만원 이하 과태료를 물리는 소송법 개정안이 발의돼 있다(시사법률, 2026-07-07).
그런데 과기정통부 「2025 인터넷이용실태조사」(2026-03-31 발표, 22,671가구 50,750명)에서 생성형 AI 경험자는 44.5%, "정보·결과물을 신뢰한다"는 54.7%였다. 많이 쓰는 서비스는 ChatGPT 41.8%, Gemini 9.8%, Copilot 2.2%, 클로바X 2.0%(뉴스1). 뤼튼 같은 국내 서비스도 같은 언어모델 위에서 돈다. 절반이 믿고 쓰는데 검증 습관은 따로 배우지 않는다 — 그래서 순서가 필요하다.
체크리스트 7가지 — 이 순서대로
| # | 확인 | 어떻게 |
|---|---|---|
| 1 | 숫자·날짜·고유명사는 원문을 연다 | 링크가 열리는지가 아니라 그 페이지에 그 숫자가 있는지 본다. 없으면 삭제 |
| 2 | 인용·조문·판례·논문은 공식 조회처에서 재조회 | 법령은 법제처, 판례는 사법정보공개포털 '허위 사건번호 확인', 통계는 발표 기관 원문, 논문은 DOI |
| 3 | "모르면 모른다고 답하라"로 다시 묻는다 | "확실하지 않으면 '확인 필요'라고 써라. 출처 없는 수치는 쓰지 마라" |
| 4 | 다른 모델로 교차 질문 | ChatGPT ↔ Gemini ↔ 클로바X·뤼튼. 갈리면 경고 신호. 일치해도 사실로 굳히지 않는다 |
| 5 | 계산·집계는 사람이 다시 한다 | 합계·비율·증감은 엑셀로 재계산. 요약문은 원문과 대조 |
| 6 | 시점을 붙인다 | 법·단가·정책은 바뀐다. "2026년 10월 기준"처럼 기준 시점을 쓴다 |
| 7 | 입력 전 점검 + 기록 | 개인정보·기밀을 넣었는지 먼저 보고, 문서에 'AI 초안 / 검토자 / 검토일'을 남긴다 |
7번의 근거는 둘이다. 개인정보보호위원회는 2025년 8월 「생성형 AI 개발·활용을 위한 개인정보 처리 안내서」로 목적 설정부터 적용·관리까지 단계별 기준을 냈고(정책브리핑, 2025-08-06), 인공지능기본법 제31조는 사업자가 외부에 제공하는 생성형 AI 결과물에 생성 사실을 표시하도록 한다(법제처). 내부 문서는 표시 대상이 아니지만, 어느 문서가 AI 초안인지 기록하지 않으면 외부로 나갈 때 표시를 빠뜨린다.
30초 버전 — 복붙 프롬프트
위 답변에서 사실 주장을 번호로 나열하라.
각 주장마다 확인 가능한 1차 출처(URL)를 붙이고,
출처를 못 찾으면 "출처 없음"이라고 써라.
확실하지 않은 수치·날짜·인명은 "확인 필요"로 바꿔라.
"출처 없음"·"확인 필요" 항목만 1·2번으로 확인하면 된다.
3급 '윤리 기초·법적 고려' 과목과 이어지는 지점
AI 활용능력 3급의 '윤리 기초'·'법적 고려' 과목은 정확히 이 체크리스트를 묻는다. "보고서 초안을 공유하기 전 순서" 문항의 정답은 대체로 '수치·출처 확인 → 기밀·개인정보 점검 → 공유'다. 7단계가 몸에 붙으면 따로 외울 것이 없다.
관련 강의·자격
- AI 활용능력 자격 검정 안내 — 3급 '윤리 기초'·'법적 고려' 과목 포함
- 3급 무료 모의고사 — 로그인 없이 20문항, 절차·우선순위 문항 유형 확인
- ChatGPT 프롬프트 레시피북 150 — 출처 요구·검증용 프롬프트를 포함한 직무별 레시피