고급 프롬프트 ② — 정확도를 끌어올리는 다섯 가지

같은 질문인데 답의 정확도가 확 달라지는 방법들이 있습니다.

예시를 두세 개 붙이고, 단계별로 생각하게 하고, 모르는 건 먼저 묻게 하는 것.

3년 반 동안 연수에서 가장 반응이 좋았던 다섯 가지를 정리했습니다.

지난 편이 맥락을 관리하는 이야기였다면, 이번은 답변 자체의 품질을 끌어올리는 이야기입니다.

순서대로 쌓으시면 됩니다. 뒤로 갈수록 효과가 큽니다.

하나. 흔들림 조절하기

앞의 원리 편에서 AI가 다음에 올 말의 후보 중에서 하나를 고른다고 말씀드렸습니다. 그 고르는 방식을 조절하는 값이 두 개 있습니다.

Temperature(온도) 는 얼마나 과감하게 고를지를 정합니다. 0에 가까우면 1등만 고르고, 1에 가까우면 아래 순위도 자주 집습니다.

Top-P는 몇 개의 후보 안에서 고를지를 정합니다. 낮으면 상위 몇 개만, 높으면 더 많은 후보를 허용합니다.

"오늘 학교 급식은 정말 ___" 다음에 올 말이 맛있다 50%, 좋다 20%, 훌륭하다 15%, 맛없다 8%, 짜다 5%라면, Top-P를 0.85로 두면 위 세 개 안에서만 고르고 0.95로 두면 다섯 개까지 열립니다.

교실 업무에 대입하면 이렇게 됩니다.

중요한 주의사항이 하나 있습니다. 둘 중 하나만 건드리세요. 동시에 바꾸면 무엇 때문에 결과가 달라졌는지 알 수 없게 됩니다. 저는 Temperature만 씁니다.

일반 챗봇 화면에는 이 값이 안 보이는 경우가 많습니다. 그래도 알아두시면 좋은 게, 에이전트를 만들 때는 반드시 정해야 하는 값이고, 결과가 매번 너무 튄다 싶을 때 원인을 짐작할 수 있게 해줍니다.

둘. 예시를 붙이기 — Few-shot

예시 없이 설명만 주고 시키는 걸 Zero-shot이라고 합니다. 우리가 평소에 하는 방식이죠.

이때 무슨 일이 벌어지느냐. 연수에서 저는 피자 도우에 비유합니다. 도우에 구멍이 뚫려 있으면 주변을 보고 짐작해서 메웁니다. AI도 모르는 부분이 있으면 주변 맥락을 보고 그럴듯하게 채웁니다. 이게 할루시네이션의 주된 경로입니다.

예시를 하나 주면 One-shot, 두세 개 이상 주면 Few-shot입니다. 예시가 늘수록 구멍이 작아지고, 짐작할 여지도 줄어듭니다.

실제로 실험해본 게 있습니다. "활달함 / 선생님 말을 귀 기울여 들음 / 친구들을 잘 도움"이라는 세 가지 특징만 주고 행동발달 평어를 쓰게 해봤습니다.

Zero-shot으로 시켰을 때 — 형식은 그럴듯한데, 주지 않은 내용이 슬쩍 들어갑니다. 규칙을 잘 지킨다든가, 매사에 긍정적이라든가. 제가 준 적 없는 정보입니다.

예시 하나를 붙였을 때 — 형식과 어투는 잡히는데 표현이 단조롭습니다.

역할과 근거 규정, 분량, 예시 세 개까지 붙였을 때 — 준 정보 안에서 안정적으로 나옵니다. 짐작이 확 줄어듭니다.

여기서 실용적인 결론이 나옵니다. 작년에 쓴 좋은 문장 두세 개를 붙여 넣는 것이 조건을 열 줄 쓰는 것보다 낫습니다. 앞서 가정통신문 편에서 학교 문서 두 장을 붙여 넣으라고 한 게 정확히 이 기법입니다.

셋. 단계별로 생각하게 하기 — CoT

Chain of Thought, 생각의 사슬입니다. 방법은 어이없을 만큼 간단합니다.

단계별로 차근차근 생각해서 풀어 줘.

이 한 줄을 붙이는 것뿐인데 정답률이 눈에 띄게 오릅니다.

수학 문제로 확인해보겠습니다.

한 반에 학생이 28명 있다. 남학생이 여학생보다 4명 더 많을 때, 여학생은 몇 명인가?

그냥 물어보면 "여학생은 14명입니다" 같은 답이 툭 나올 때가 있습니다. 풀이가 없으니 검증도 안 되고, 틀렸습니다.

단계별로 생각하라고 하면 이렇게 나옵니다.

① 여학생 = x, 남학생 = x+4
② x + (x+4) = 28
③ 2x = 24 → x = 12
   여학생 12명

왜 이런 차이가 생기느냐. 지난 원리 편을 떠올려보시면 됩니다. 이 기계는 다음에 올 말을 이어붙일 뿐입니다. 답부터 쓰라고 하면 답처럼 생긴 숫자를 바로 이어붙입니다. 그런데 풀이를 쓰게 하면, 앞에 쓴 식이 다음 말의 근거가 됩니다. 자기가 만든 문장을 발판 삼아 다음 문장을 만드는 셈이죠.

교실에서는 이런 데 씁니다.

• 수학 문장제 풀이를 검토할 때
• 평가 근거를 정리할 때
• 생활지도 사안을 단계별로 판단할 때
• 수업안의 차시를 구성할 때

특히 세 번째. 복잡한 사안을 두고 "어떻게 처리할까"를 바로 묻지 말고 "확인해야 할 것부터 단계로 정리해줘"라고 하면 판단이 훨씬 차분해집니다.

넷. 프롬프트를 만들게 하기 — 메타 프롬프팅

프롬프트를 잘 쓰는 가장 쉬운 방법은, 프롬프트를 만들어 달라고 하는 것입니다.

▼ 그대로 복사해서 쓰는 프롬프트

나는 코딩을 모르는 초등교사야.
'학급 자리뽑기 웹앱'을 만들고 싶어.

바로 만들지 말고, 화면 구성·기능·데이터·제약을
항목별로 정리한 기획안을 먼저 작성해 줘.

이어서 한 번 더 돌립니다.

방금 기획안에서 빠진 조건이 있으면 나에게 물어보고,
보완한 최종본을 그대로 붙여넣을 수 있는 형태로 정리해 줘.

결과물을 바로 받는 대신 설계도부터 받는 방식입니다. 설계도는 읽고 고치기 쉬우니까요.

여기서 반드시 지켜야 할 게 있습니다.

메타 프롬프팅은 사람이 빠지는 순간 위험해집니다. AI가 만든 프롬프트를 확인 없이 다시 AI에게 넣고, 그 결과로 또 프롬프트를 만들게 하면, 처음의 어긋남이 단계마다 증폭됩니다. 겉으로는 점점 정교해 보이는데 실제로는 내 의도에서 점점 멀어지는 상태가 됩니다. 저는 이걸 연수에서 가장 자주 경고합니다.

메타 프롬프팅은 반드시 사람이 중간에 들어가야 합니다. 한 단계마다 읽고, 아니면 잘라내야 합니다.

편해 보인다고 사람을 빼면, 편해진 게 아니라 통제를 놓은 겁니다.

다섯. 시키기 전에 묻게 하기 — ABA

마지막이 제가 가장 많이 쓰는 방법입니다. 이름은 제가 붙였습니다. ABA, Ask Before Act. 행동하기 전에 물어보라는 뜻입니다.

▼ 그대로 복사해서 쓰는 프롬프트

작업을 시작하기 전에, 모호하거나 네가 모르는 부분이 있으면
추측하지 말고 반드시 먼저 나에게 질문해 줘.

충분한 정보가 모였다고 판단되면 그때 작업을 시작해도 좋아.

이 몇 줄이 하는 일이 세 가지입니다.

첫째, 짐작으로 지어내는 경로를 막습니다. 앞에서 본 도우의 구멍을 AI가 혼자 메우는 대신, 저에게 물어봅니다. 할루시네이션이 눈에 띄게 줄어듭니다.

둘째, 사람을 자동으로 다시 불러들입니다. 질문이 오면 제가 답해야 하니까 제가 판단하는 자리가 생깁니다. 메타 프롬프팅에서 걱정했던 사람이 빠지는 문제를, ABA는 구조적으로 막아줍니다.

셋째, 결과물이 개인화됩니다. 돌아오는 질문에 답하다 보면 우리 반 사정과 우리 학교 사정이 자연스럽게 들어갑니다. 처음부터 다 적으려면 뭘 적어야 할지도 모르는데, 질문에 답하는 건 쉽습니다.

앞선 편에서 "프롬프트가 안 써지는 건 아직 결정하지 않았다는 신호"라고 말씀드렸죠. ABA는 그 결정하지 않은 것들을 AI가 대신 찾아내주는 장치입니다.

저는 이 문장을 아예 스킬과 에이전트마다 넣어둡니다. 매번 타이핑하지 않아도 되게요.

오늘의 정리

• Temperature와 Top-P는 둘 중 하나만 건드립니다. 정확한 문서는 낮게, 아이디어는 높게
• 예시 두세 개가 조건 열 줄보다 낫습니다
• "단계별로 생각해 줘" 한 줄로 정답률이 오릅니다
• 메타 프롬프팅은 사람이 빠지면 어긋남이 증폭됩니다
• ABA는 짐작을 막고, 사람을 다시 불러들이고, 답을 내 것으로 만듭니다

다섯 개를 다 쓰실 필요는 없습니다. 하나만 고르라면 저는 마지막 ABA를 권합니다. 문장 몇 줄이면 되고, 효과가 가장 확실합니다.

덧붙임

ABA는 제가 연수에서 쓰려고 붙인 이름입니다. 거창한 기법이라기보다, 수백 회 강의를 다니면서 "이 한 줄만 붙여도 달라집니다"라고 말할 수 있는 게 뭐였나를 추린 결과입니다.

학교에서 쓸 만한 AI 플랫폼을 하나하나 짚은 『AI 플랫폼 학교를 바꾸다』도 같이 보시면 도움이 될 겁니다. 그 책이 어떤 도구가 있는지를 다뤄다면, 이 연재는 그 도구를 어떻게 부릴지를 다룹니다.

예스24 보러 가기 → https://www.yes24.com/product/goods/195098723

직접 써보시고 어떻더라는 이야기를 댓글로 남겨주시면 반갑겠습니다. 잘 된 사례는 다음 연수에서 소개하겠습니다.

글 석희철 · 초등교사, 우리아이(AI) 개발팀장

#Fewshot #ChainOfThought #메타프롬프팅 #ABA #프롬프트엔지니어링 #프롬프트작성법 #챗GPT활용법 #생성형AI #할루시네이션 #AI교육 #교사AI활용 #초등교사 #교사연수 #AI플랫폼학교를바꾸다 #석희철 #미래교육창작소

다음 글에서는 다시 실전으로 돌아갑니다. 자리 배치, 모둠 편성, 학급 규칙 만들기를 다루겠습니다.