AI에게 일을 시켜본 사람이라면 "틀리진 않은데 내가 원한 게 아니다"라는 결과를 받아본 적이 있다. 원인은 대개 요청 안에 있다. 무엇을 할지는 적혀 있는데, 다 됐는지 어떻게 아는지가 빠져 있다.
지시와 성공기준은 다른 문장이다
미용실에서 "짧게 잘라주세요"라고 말하면 어떻게 될까. 미용사가 생각하는 짧게와 내가 생각하는 짧게가 같을 때만 만족한다. "귀가 보이게, 앞머리는 눈썹에 닿지 않게"라고 말하면 결과가 크게 벗어나지 않는다. 앞 문장은 무엇을 할지 말한 것이고, 뒤 문장은 다 됐는지 어떻게 아는지 말한 것이다.
지시는 출발점을 정한다. 성공기준은 도착점을 정한다. 대부분의 요청은 앞의 것만 담고 있다. "보고서 요약해줘", "이메일 초안 써줘", "이 데이터로 표 만들어줘". 어디로 가라는 말은 있는데, 어디에 도착하면 끝인지가 없다.
사람에게 일을 맡길 때는 이 빈칸이 잘 드러나지 않는다. 같은 회사 동료는 보고서가 누구에게 가는지, 대표가 긴 글을 싫어하는지, 지난번 양식이 무엇이었는지 이미 알기 때문이다. 빈칸은 공유된 맥락이 채운다.
AI는 빈칸을 "보통"으로 채운다
AI에게는 그 맥락이 없다. 대신 수많은 보고서 요약, 이메일, 표를 학습해서 "보통은 이렇게 한다"를 안다. 그래서 기준이 없는 요청을 받으면 가장 평균적인 결과를 만든다. 틀린 것은 아니다. 다만 내 상황에 맞춘 것도 아니다.
"틀리진 않은데 내가 원한 게 아닌" 결과는 여기서 나온다. AI가 못해서가 아니라, 결정을 AI에게 넘겼기 때문이다. 길이를 정하지 않으면 AI가 정한다. 독자를 정하지 않으면 AI가 정한다. 그 결정이 우연히 내 생각과 같을 때만 만족스러운 결과가 나온다.
그래서 요청에 성공기준을 넣는 일은 AI에게 더 많은 일을 시키는 것이 아니다. AI가 대신 내리던 결정을 되찾아오는 것이다.
사람이 매번 봐야 하는 기준, AI가 스스로 확인하는 기준
얼마 전 직접 겪은 일이다. 사람이 손으로 만들던 엑셀 양식을 코드로 자동 생성하는 작업이었다. 데이터를 불러와 셀에 채우는 부분은 금방 됐다. 문제는 양식이었다. 셀 병합, 테두리, 열 너비, 글꼴 크기 같은 것들이 원본과 미묘하게 달랐다. "원본 양식과 똑같이 만들어라"라고 몇 번을 지시해도 어딘가는 계속 어긋났다.
이 기준의 문제는 "똑같다"를 판단하는 사람이 나라는 점이었다. AI가 결과를 내면 내가 열어보고, 어디가 다른지 찾아서 말해주고, AI가 고치고, 다시 내가 열어보는 식이다. 한 바퀴 돌 때마다 내 눈이 들어가야 했다.
그래서 기준을 바꿨다. 같은 데이터로 원본 엑셀을 이미지(PNG)로 뽑고, 코드가 만든 엑셀도 이미지로 뽑아서, 두 이미지의 픽셀이 같아질 때까지 코드를 고치라고 했다. 이제 "똑같다"의 판정을 AI가 스스로 할 수 있다. 픽셀이 다르면 아직이고, 같으면 끝이다. 결과적으로 두 이미지는 같아졌다.
바뀐 것은 작업의 난이도가 아니라 루프 안에 누가 있느냐다. 첫 번째 방식에서 나는 매 회전마다 검토자로 들어가 있었다. 두 번째 방식에서 나는 루프 바깥에서 채점 방법을 정한 사람이다.
좋은 성공기준의 가장 강한 형태가 여기 있다. AI가 스스로 채점할 수 있는 기준이다. 판정을 사람이 해야 하는 기준은 사람이 병목이 된다. AI가 판정할 수 있는 기준은 기준을 만족할 때까지 혼자 돈다.
비용도 있다. 픽셀이 같아질 때까지 반복하는 동안 토큰(AI 사용량의 단위)이 상당히 소모됐다. 또 픽셀 단위는 지나치게 엄격해서, 실제로는 상관없는 차이(글꼴 렌더링 같은)까지 잡으려 든다. 기준을 얼마나 빡빡하게 잡을지는 "이 정도면 된다"의 선과 비용 사이에서 정하는 문제다. 기준이 없으면 이 판단 자체가 존재하지 않는다.
판정할 수 있는 기준의 세 가지 조건
성공기준을 쓰기 시작하면 처음에는 "잘", "깔끔하게", "적당히"가 나온다. 이런 말은 지시와 다를 게 없다. 판정할 수 없기 때문이다. 독자를 정하는 것도 마찬가지다. "AI를 써본 적 없는 사람이 이해할 수 있게"라고 쓰면 어휘와 비유의 방향은 잡히지만, 정말 이해했는지는 그 사람이 읽어봐야 안다. AI는 판정할 수 없다. 판정할 수 있는 기준은 다음 세 가지 중 하나 이상을 갖는다.
- 셀 수 있는 규칙이 있다. 문장의 글자 수, 표의 개수, 페이지 수처럼 세어서 예, 아니오로 답할 수 있는 것. "이해하기 쉽게"는 셀 수 없지만 "한 문장은 60자를 넘지 않는다"는 셀 수 있다.
- 무엇과 비교하는지가 있다. 원본 이미지, 지난 분기 보고서, 숫자 한계 같은 것. 비교 대상이 있으면 AI도 스스로 확인할 수 있다.
- 언제 끝나는지가 있다. "같아질 때까지", "다섯 항목 모두 통과할 때까지". 끝나는 조건이 없으면 AI는 한 번 하고 멈춘다.
| 모호한 기준 | 판정할 수 있는 기준 | 무엇이 더해졌나 |
|---|---|---|
| 가독성 좋게 | 한 문장은 60자를 넘지 않고, 영어 약자는 처음 나올 때 풀어 쓴다 | 셀 수 있는 규칙 |
| 양식 맞게 | 원본을 이미지로 뽑은 것과 픽셀이 같다 | 비교 대상 |
| 너무 길지 않게 | A4 한 장 안에 들어가고, 결론이 첫 세 줄에 있다 | 셀 수 있는 한계와 위치 |
| 빠르게 | 1만 건을 처리하는 데 1초를 넘지 않는다 | 잴 수 있는 숫자 |
| 오류 없이 | 기존 검사 항목 12개가 모두 통과할 때까지 고친다 | 끝나는 조건 |
성공기준을 주는 세 시점
가장 흔한 오해는 성공기준을 시작 전에 완성해야 한다는 생각이다. 그러면 시작을 못 한다. 기준은 세 시점에 나눠서 생긴다.
착수 전. 아는 것만 적는다. 누가 볼지, 어떤 형태로 나올지, 절대 안 되는 것 한두 개. 미용실에서 "귀가 보이게"만 말해도 결과가 반 이상 정해지는 것과 같다. 모르는 것을 억지로 채우지 않는다.
첫 결과물 직후. 진짜 기준이 나타나는 순간이다. 결과를 보고 "이건 아닌데"라는 느낌이 들면, 그 느낌을 문장으로 바꾼다. "표가 너무 많다"는 "표는 최대 두 개, 나머지는 문장으로"가 된다. 처음부터 이걸 알 수는 없었다. 결과물을 봐야 보인다.
다음 요청. 앞에서 만든 문장을 다음 요청의 기준으로 넣는다. 이 문장들이 쌓이면 "우리 회사 보고서 기준", "내 이메일 기준" 같은 목록이 된다. AI에게 일을 잘 시키는 사람은 이 목록이 긴 사람이다.
세 번째가 핵심이다. 불만은 한 번 쓰이고 버려지기 쉽다. 그 불만을 기준으로 승격시키면 같은 실망을 두 번 하지 않는다.
AI와 함께 기준을 세우는 네 가지 방법
기준을 혼자 쓸 필요는 없다. AI는 기준을 받는 쪽이면서, 기준을 만드는 데 가장 좋은 상대이기도 하다. 네 가지 모두 실제 요청 문장 그대로 쓸 수 있다.
질문을 먼저 받는다
일을 시키기 전에 AI가 먼저 묻게 한다. 독자, 길이, 형식, 제외할 것이 질문으로 나오고, 대답하는 동안 기준이 생긴다.
"시작하기 전에, 결과가 크게 달라질 질문을 다섯 개만 해줘."
거친 초안을 먼저 받는다
완성본을 기다렸다가 처음부터 다시 하는 것보다 빠르다. 초안을 보면 불만이 나오고, 불만은 기준이 된다.
"완성본 말고 10분짜리 초안을 먼저 보여줘."
기준 초안을 AI에게 쓰게 한다
백지에 쓰는 것보다 남이 쓴 기준을 고치는 게 훨씬 쉽다. AI가 쓴 기준 중 틀린 것을 지우고 빠진 것을 더하면 된다.
"이 일의 성공기준을 네가 먼저 다섯 개 써봐. 내가 고칠게."
채점을 시킨다
완성물과 기준 목록을 같이 준다. 사람이 검토하기 전에 AI가 한 번 거른다. 엑셀의 픽셀 대조는 이것의 극단적인 형태다.
"기준별로 통과, 미통과를 표시하고, 미통과는 고쳐서 다시 보여줘."
네 가지는 순서대로 쓸 수도 있고 하나만 써도 된다. 공통점은 모두 AI에게서 문장을 받아내고, 그 문장을 다음 요청에 되돌려 넣는다는 것이다.
요청 끝에 한 줄
다음에 AI에게 무언가를 시키기 전에, 요청 마지막에 한 줄을 더 적어보자. 무엇을 하라는 말 뒤에, 다 됐는지 어떻게 알 수 있는지를 쓰는 것이다. 무엇을 셀지, 무엇과 비교할지, 언제 끝나는지 중 하나만 있어도 결과가 달라진다.
그 한 줄이 처음부터 정확할 필요는 없다. 결과물을 보고 고치고, 고친 문장을 다음 요청에 넣으면 된다. AI가 잘하게 되는 것이 아니라, AI가 무엇을 잘한 것으로 칠지가 정해지는 것이다.