AI가 사업계획서 초안을 쓸 때 환각을 줄이는 설계
핵심 요약
- 심사 문서는 환각의 대가가 큰 도메인입니다. 지어낸 수치 하나가 서류 전체의 신뢰를 무너뜨립니다.
- 우리가 택한 방향은 AI를 더 똑똑하게 만드는 게 아니라, 쓸 수 있는 범위를 좁히는 것이었습니다.
- 근거를 주입하고, 그 안에서만 쓰게 하고, 확신 없는 곳은 비워 사람에게 넘깁니다. 그래도 남는 한계가 있습니다.
목차
AI가 글을 그럴듯하게 쓴다는 건 이제 놀랍지 않습니다. 문제는 그 그럴듯함이 사실과 무관할 때입니다. 없는 통계를 만들어 내고, 인용한 적 없는 출처를 지어내고, 확인되지 않은 수치를 자신 있게 적습니다. 흔히 환각이라 부르는 이 현상이, 사업계획서처럼 심사에 제출되는 문서에서는 특히 위험합니다.
심사위원이 근거를 물었을 때 출처가 없거나 숫자가 틀리면, 그 문장 하나로 서류 전체의 신뢰가 흔들립니다. 그래서 우리가 초안 생성을 만들면서 잡은 목표는 '더 잘 쓰는 AI'가 아니라 '지어내지 않는 AI'였습니다. 이 글은 그 목표를 위해 택한 설계 원칙을 적었습니다.
왜 이 도메인에서 환각이 특히 위험한가
환각이 문제가 되는 정도는 글의 용도에 따라 다릅니다. 블로그 초안이라면 틀린 문장을 지우면 그만입니다. 그런데 사업계획서는 사람이 읽고 판단해 예산을 배정하는 심사 문서입니다. 여기 적힌 시장 규모, 매출 전망, 경쟁사 비교는 창업자가 책임지는 주장이 됩니다.
게다가 이런 문서를 준비하는 창업자는 대개 시간에 쫓깁니다. AI가 채워 준 초안을 문장 단위로 다 검증할 여유가 없는 경우가 많습니다. 그래서 '지어냈지만 그럴듯한' 문장은 검토를 통과해 그대로 제출되기 쉽습니다. 도구를 만드는 입장에서는, 사용자가 바쁘다는 전제를 깔고 설계해야 한다는 뜻이었습니다.
원칙 1. 상상 대신 근거를 준다
환각의 근본 원인은 단순합니다. 쓸 내용이 없는데 써야 할 칸이 있으면, 모델은 빈칸을 지어서 채웁니다. 그래서 첫 번째 원칙은 빈칸을 상상으로 채우지 않도록, 애초에 근거가 될 자료를 함께 넣어 주는 것입니다.
창업자가 입력한 사업 정보, 공고 원문, 참고로 제공한 자료를 생성 단계에 함께 전달합니다. 그리고 '이 자료 안에서 쓰라'는 제약을 겁니다. 자료가 넉넉할수록 모델이 지어낼 이유가 줄어듭니다. 반대로 자료가 부족한 항목은 애초에 잘 쓸 수 없는 항목이라는 신호이기도 합니다.
원칙 2. 수치는 출처와 함께만
가장 위험한 환각은 숫자입니다. '시장이 연 20% 성장한다' 같은 문장은 근거 없이 적혀도 그럴듯해 보이고, 심사에서 가장 먼저 근거를 추궁당하는 부분이기도 합니다. 그래서 수치를 다루는 규칙을 따로 두었습니다.
주입한 자료에 근거가 있는 수치만 쓰고, 쓸 때는 그 출처를 함께 남깁니다. 근거가 없는 수치는 그럴듯한 값을 만들어 넣는 대신 비워 둡니다. 창업자에게는 '여기에 이런 종류의 근거가 필요하다'는 표시를 남기는 편이, 틀릴지도 모르는 숫자를 채워 주는 것보다 낫습니다. 이건 편의를 조금 포기하고 신뢰를 택한 결정이었습니다.
채워 주는 것이 늘 친절은 아니다
- 빈칸을 그럴듯한 값으로 메우면 당장은 완성돼 보이지만, 심사에서 근거를 물으면 창업자가 감당합니다.
- 확신이 없는 자리는 비워 두고, 무엇이 필요한지 표시로 남깁니다.
- '완성도 90%처럼 보이는 초안'보다 '검증된 부분만 채워진 초안'이 결국 더 안전합니다.
원칙 3 — 확신 없는 곳은 비우고 사람에게 넘긴다
AI가 모든 칸을 채우려 들면 반드시 어딘가에서 지어냅니다. 그래서 '모르면 비운다'를 정상 동작으로 설계했습니다. 근거가 부족한 항목은 억지로 문장을 만들지 않고, 사람이 판단할 자리로 남깁니다.
이건 제품 화면에서도 드러나야 하는 원칙입니다. 초안이 통째로 완성돼 나오는 게 아니라, 채워진 부분과 사람의 손이 필요한 부분이 구분돼 보여야 창업자가 어디를 검토할지 압니다. AI를 초안의 작성자가 아니라 초안의 출발점으로 두는 셈입니다. 사업계획서를 여러 번 써 본 사람이 공통적으로 하는 말이, 결국 자기 사업을 가장 잘 아는 건 자기 자신이라는 것입니다. 도구는 그 사람이 더 빨리 시작하게 도울 뿐입니다.
원칙 4. 검토 단계를 제품 안에 넣는다
근거를 넣고 범위를 좁혀도 생성 결과를 완전히 믿을 수는 없습니다. 그래서 생성 다음에 검토 단계를 제품 흐름 안에 넣었습니다. 초안이 나온 뒤, 심사 관점에서 무엇이 약한지, 어디에 근거가 비어 있는지를 짚어 주는 검토를 한 번 더 돌립니다.
genDOC에서는 서로 다른 관점을 가진 AI 임직원들이 초안을 검토하고, 심사 기준에 따른 점수와 함께 개선할 지점을 리포트로 돌려줍니다. 검토를 사람에게만 맡기지 않고 제품 안에 한 단계로 박아 두면, 바쁜 창업자도 최소한 '어디가 약한지'는 놓치지 않게 됩니다. 이 흐름은 AI 심사 점수 리포트 활용법에서 더 자세히 다룹니다.
그래도 남는 한계
이 원칙들을 다 지켜도 환각이 0이 되지는 않습니다. 근거 자료 자체가 틀렸다면 AI는 틀린 근거 위에서 성실하게 씁니다. 주입한 자료의 해석을 미묘하게 비틀 수도 있습니다. 그래서 우리는 '환각을 없앤다'가 아니라 '환각이 새어 나올 통로를 좁힌다'로 목표를 잡았고, 마지막 검증은 여전히 사람의 몫으로 남겨 둡니다.
완벽한 자동화를 약속하는 것보다, 어디까지가 도구의 몫이고 어디부터가 사람의 몫인지를 분명히 하는 편이 정직하다고 봅니다. 초안을 시작해 보려면 공고 모아보기에서 지금 모집 중인 공고를 고르는 것부터 하면 됩니다.
근거 위에서 초안을 시작해 보세요
공고 모아보기JulianProduct Owner
genDOC의 프로덕트 오너이자 개발자. 공고 데이터 파이프라인부터 문서 편집기까지 제품을 직접 만들고 있습니다.
이 글은 Julian이 작성하고 genDOC 팀이 함께 검수했습니다.