Prompting

Overview

Few-shot Examples(소수 예시)는 입력과 원하는 라벨을 함께 보여 주는 방법이다. 예시를 주는 동안 모델의 가중치를 다시 학습시키지는 않는다. 예시 수, 순서, 라벨 구성이 분류에 미치는 영향을 직접 비교한다.

앞 탭의 P는 지시문이다. 여기서 Dₖ는 k개 예시, x는 새 보고서, ŷ는 반환된 라벨이다.

Concept

예시는 원하는 규칙을 설명하는 단서다. 비슷한 문장만 반복하거나 한 라벨만 보여 주면 적용 범위를 잘못 전달할 수 있다. 순서에 따라 결과가 바뀌는 현상은 원 논문에서 관찰됐지만, 모든 모델에서 같은 크기로 나타난다는 뜻은 아니다.

손으로 작성한 가상 보고서만 사용한다. FALL은 사람이 높은 곳에서 아래로 떨어지는 사건, CAUGHT는 두 물체 사이에 끼이거나 말려드는 사건, STRUCK는 물체에 맞는 사건으로 정한다. 이 분류는 체험용 규칙이며 공식 재해 분류 체계를 대체하지 않는다.

N=6개 보고서는 예시와 분리돼 있다. 답이 없는 항목은 맞힌 항목으로 세지 않는다. 6개 중 1개가 바뀌면 정확도는 약 16.7%p 변하므로, 이 수치를 모델의 일반적인 능력으로 해석하지 않는다.

Summary

• 예시는 가중치 변경 없이 입력 안에서 조건을 준다.
• 예시 수·순서·라벨 구성은 별도 변수다.
• 비교용 보고서와 예시를 겹치지 않게 한다.
• 정확도와 답이 채워진 비율을 함께 확인한다.

Notation

References

1. Brown et al. (2020). Language Models are Few-Shot Learners. NeurIPS.
2. Lu et al. (2022). Fantastically Ordered Prompts and Where to Find Them. ACL.

Overview

Step-by-step Reasoning(단계별 추론)은 적용 조건, 계산식, 결과를 구분하는 접근이다. 바로 답을 요구한 지시문과 짧은 계산 근거를 요구한 지시문을 비교한다. 최종 숫자는 브라우저에서 독립적으로 계산해 대조한다.

P는 지시문이다. 이 탭의 H는 상부 난간 높이, n은 중간 난간대 수, g는 균등 간격이다.

Concept

추론 과정을 길게 적는 것과 정확한 답은 같지 않다. 원 논문의 Chain-of-Thought 결과는 특정 모델과 작업에서 얻은 것이다. 이 체험은 내부 사고 전체를 요구하지 않고, 검산 가능한 적용 기준·식·최종 값만 요청한다.

제13조 제2호의 일반 난간 조건을 단순화한다. 난간기둥 간격은 25 cm를 초과하고 대체 구조는 없다고 둔다. H가 90–119 cm이면 중간에 1단을 둔다. H가 120 cm를 초과하면 중간 난간대를 최소 2단 두고, 각 간격이 60 cm 이하가 되도록 한다.

원문은 120 cm 이하와 120 cm 이상을 모두 표현하므로, 경계값 120 cm는 이 체험의 입력에서 제외한다. H=200 cm이면 n=3단, g=50 cm가 된다. 바닥부터 각 난간까지의 간격도 포함하므로 간격 수는 n+1개다.

Summary

• 조건 확인, 단위 통일, 계산, 최종 값 확인을 분리한다.
• 중간 난간대 n개는 간격 n+1개를 만든다.
• 단계별 설명이 있어도 숫자를 독립적으로 확인한다.
• 계산값 일치는 현장의 전체 안전성 판정이 아니다.

Notation

References

1. Wei et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. NeurIPS.
2. 국가법령정보센터 · 제13조 · 시행 2026-03-02 · 고용노동부령 제450호.

Overview

Structured Output(구조화 출력)은 답을 코드가 읽을 수 있는 형태로 받는 방식이다. JSON(JavaScript Object Notation) 문법, 스키마 적합성, 내용의 정확성은 서로 다른 검사다. 이 탭에서는 점검표 지시문과 스키마를 만들고 반환된 JSON의 오류 위치를 찾는다.

앞 탭의 y는 답이다. 여기서 S는 JSON Schema, V(y,S)는 답이 스키마에 맞는지 검사하는 함수다.

Concept

JSON은 객체·배열·문자열·숫자·불리언·null을 표현한다. 키와 문자열에는 큰따옴표를 쓰며, 주석이나 끝의 쉼표는 허용하지 않는다. 스키마는 required로 필수 키, type으로 자료형, enum으로 허용 값, additionalProperties로 추가 키 허용 여부를 정한다.

문자열 “10”과 숫자 10은 다르다. 누락된 값과 null도 다르다. 문법이 맞아도 필수 키가 없을 수 있고, 스키마를 통과해도 근거가 잘못될 수 있다. 스키마를 지시문에 적는 것만으로 생성 시점의 형식 준수가 강제되지는 않는다.

아래 검사는 화면에 제시한 스키마의 키워드만 구현한다. 문법·자료형·필수 값·허용 라벨·문자열 길이·배열 길이·추가 키를 검사하고, 별도로 top·middle·toe가 한 번씩 나왔는지 확인한다. 사실 확인은 원문과 측정값을 대조해야 한다.

Summary

• 문법 검사와 스키마 검사를 구분한다.
• 필수 키·자료형·허용 값을 명시한다.
• 오류는 JSON 경로와 함께 고친다.
• 형식 통과가 사실의 정확성을 보장하지 않는다.

Notation

References

1. JSON Schema (2022). Validation, draft 2020-12.
2. 국가법령정보센터 · 제13조 · 시행 2026-03-02 · 고용노동부령 제450호.

Overview

Token(토큰)은 모델이 입력을 나눠 읽는 단위다. 한 글자나 한 단어와 항상 같지는 않다. 이 탭은 공개 cl100k_base 어휘로 실제 토큰 ID를 계산하고, 같은 뜻의 한·영 문장과 문맥 예산을 비교한다.

P는 입력 글이다. T는 입력 토큰 수, C는 문맥 예산, R은 답을 위해 예약한 토큰 수다.

Concept

BPE(Byte Pair Encoding)는 자주 함께 나타나는 작은 단위를 병합해 어휘를 만든다. 여기서는 이미 공개된 병합 순위와 어휘를 사용해 바이트 단위 조각을 결정적으로 합친다. 이 계산에는 모델 추론이나 답 생성이 없다.

한국어와 영어는 같은 뜻이라도 UTF-8 바이트와 학습된 어휘가 달라 토큰 수가 다를 수 있다. 모든 한국어가 더 길다는 규칙은 없다. 공백·대소문자·문장부호를 바꿔 결과를 비교한다. 다른 tokenizer를 쓰는 모델의 수치는 이 결과와 다를 수 있다.

C는 비교를 위해 정한 예산이며 특정 서비스의 현재 한도가 아니다. 여기서는 일반 텍스트만 센다. 대화 역할 표시, 시스템 메시지, 도구 정의, 이미지와 서비스별 추가 토큰은 포함하지 않는다. 실제 사용량 계산에는 그 항목들도 필요하다.

토큰 경계는 UTF-8 문자 중간을 가를 수 있다. 독립적으로 해독되지 않는 조각은 바이트 값으로 표시하고, 토큰 ID를 함께 붙인다. 모든 토큰을 이어 해독한 결과가 원문과 같은지도 검사한다.

Summary

• 토큰 수는 글자 수나 단어 수와 다르다.
• 같은 뜻의 문장도 언어와 어휘에 따라 토큰 수가 달라진다.
• 입력과 답 예약을 더해 문맥 예산과 비교한다.
• 여기서 센 일반 텍스트 토큰과 실제 API 사용량은 범위가 다르다.

Notation

References

1. Sennrich, Haddow & Birch (2016). Neural Machine Translation of Rare Words with Subword Units. ACL.
2. gpt-tokenizer 3.0.1 · cl100k_base · MIT.
3. OpenAI · tiktoken · cl100k_base implementation.