Agents

Overview

Agent Loop(에이전트 반복)는 도구 호출을 한 번으로 끝내지 않고, 결과를 본 뒤 다음 행동을 다시 정하는 반복이다. ReAct(Reasoning and Acting)는 생각(Thought)·행동(Action)·관찰(Observation)을 번갈아 기록한다. 이 탭에서는 한 바퀴씩 직접 돌리며 언제, 왜 멈추는지 본다.

앞 탭의 c는 호출, r은 실행 결과다. 여기서 t는 바퀴 번호, aₜ는 행동, oₜ는 관찰, hₜ는 기록, N_max는 최대 바퀴 수다.

Concept

aₜ는 도구 호출이거나 최종 답이다. 최종 답이 나오면 멈춘다. 모델이 끝내지 못하거나 같은 호출을 되풀이할 수 있으므로, 실행하는 쪽이 멈춤 규칙을 정해 둔다. 가장 기본은 최대 바퀴 수 N_max이고, t = N_max인 바퀴에서는 도구를 실행하지 않는다.

이 페이지의 집계는 다음과 같다. 바퀴는 붙여 넣은 답 하나다. 도구 호출은 실행을 시도한 호출 수다. 실패한 호출은 검사·실행 오류, 읽지 못한 답, 마지막 바퀴에서 막힌 호출을 더한 수다. 같은 도구와 같은 인자로 다시 부른 호출은 반복으로 표시한다.

기록 hₜ는 바퀴마다 길어진다. 같은 대화창에서 이어 가면 관찰만 건네면 되고, 새 대화에서 이어 가려면 전체 기록을 건넨다. 기록 길이는 Prompting 주제의 Tokens & Context Window 탭에서 다룬 문맥 예산을 차지한다.

Summary

• 에이전트는 행동하고, 관찰을 보고, 다시 행동을 정한다.
• 멈춤 규칙은 실행하는 쪽이 정한다. 최대 바퀴 수가 가장 기본이다.
• 실패한 호출과 반복 호출을 세면 반복이 어디서 막혔는지 보인다.
• 기록은 바퀴마다 길어져 문맥 예산을 차지한다.

Notation

References

1. Yao et al. (2023). ReAct: Synergizing Reasoning and Acting in Language Models. ICLR.
2. Shinn et al. (2023). Reflexion: Language Agents with Verbal Reinforcement Learning. NeurIPS.
3. Schick et al. (2023). Toolformer: Language Models Can Teach Themselves to Use Tools. NeurIPS.
4. 국가법령정보센터 · 제13조 · 제60조 · 시행 2026-03-02 · 고용노동부령 제450호.

Overview

Planning(계획 세우기)은 여러 단계가 필요한 일을 바로 시작하지 않고, 먼저 단계 목록을 만든 뒤 한 단계씩 실행하는 방식이다. 계획이 글로 남으므로 빠진 단계와 순서를 실행 전에 확인할 수 있다. 이 탭은 작업계획서 초안 만들기를 예로 쓴다.

앞 탭의 hₜ는 기록이다. 여기서 q는 할 일, Π는 계획(단계 목록), sₖ는 k번째 단계, Rₖ는 그 단계의 결과, K는 단계 수다.

Concept

Plan-and-Solve(계획 후 풀기)는 먼저 계획을 세우고 그 계획대로 풀라는 지시를 붙이는 방법이다. 단계별로 실행할 때에는 한 번에 한 단계만 맡기고, 앞 단계의 결과를 다음 지시문에 넣는다. 지시문 하나가 다루는 범위가 작아지므로 결과를 확인하기 쉬워진다.

이 페이지의 계획 검사는 규칙이다. 단계 수가 3–8개인지, 같은 제목이 되풀이되는지, 번호가 1부터 차례로 이어지는지, 작업계획서에 필요한 다섯 요소(작업 범위·일정, 위험 요인, 법령 기준, 장비·보호구, 점검·비상 조치)가 어느 단계에 들어 있는지를 낱말로 찾는다. 낱말이 있다고 내용이 맞다는 뜻은 아니다.

Summary

• 여러 단계의 일은 계획을 먼저 받고 실행을 나눈다.
• 계획은 실행 전에 빠진 요소와 순서를 확인하는 데 쓴다.
• 단계 지시문에는 전체 계획, 앞 단계 결과, 이번 단계만 넣는다.
• 낱말 검사는 빠진 요소를 찾는 데까지만 쓴다.

Notation

References

1. Wang et al. (2023). Plan-and-Solve Prompting: Improving Zero-Shot Chain-of-Thought Reasoning by Large Language Models. ACL.
2. Huang et al. (2022). Language Models as Zero-Shot Planners: Extracting Actionable Knowledge for Embodied Agents. ICML.
3. Zhou et al. (2023). Least-to-Most Prompting Enables Complex Reasoning in Large Language Models. ICLR.
4. 국가법령정보센터 · 제13조 · 제56조 · 제60조 · 시행 2026-03-02 · 고용노동부령 제450호.

Overview

Prompt Injection(프롬프트 인젝션)은 모델에 건넨 자료 안에 명령처럼 쓰인 문장이 섞여, 모델이 원래 지시 대신 그 문장을 따르는 문제다. 웹 페이지·메일·문서를 읽어 오는 에이전트에서 특히 생긴다. 이 탭은 숨은 명령이 든 예시 문서로 두 판본의 지시문을 만들고, 받은 답이 숨은 명령을 따랐는지 규칙으로 본다.

기호: I는 사용자 지시, D*는 숨은 명령이 섞인 자료, y는 답, κ는 숨은 명령이 요구한 표식 문자열(QX-4471)이다.

Concept

모델에게는 지시와 자료가 모두 같은 글이다. 자료 안에 앞의 지시를 무시하라는 문장이 있으면 지시로 읽힐 수 있다. 사용자가 직접 넣은 명령을 direct injection, 모델이 읽어 온 자료에 들어 있던 명령을 indirect injection이라 한다. 이 탭은 indirect를 다룬다.

방어로는 자료 구역을 구분자로 감싸고 그 안의 글은 자료일 뿐이라고 알리는 방법(delimiting), 자료 뒤에 지시를 다시 적는 방법, 자료 안에서 명령을 발견하면 따로 보고하게 하는 방법이 있다. 어느 것도 완전하지 않다. 자료가 닫는 구분자를 흉내 내면 구역이 깨지므로, 매번 다른 구분자를 만들어 쓴다.

검사는 규칙이다. 답을 문장 u로 나누고, 표식 κ나 점검을 생략해도 된다는 주장이 있는 문장이 숨은 명령을 보고하는 문장이 아니면 따름으로 본다. 숨은 명령을 언급하며 따르지 않았다고 쓰면 보고함, 둘 다 없으면 언급 없음이다. 표현을 바꿔 쓴 답은 놓칠 수 있다.

Summary

• 모델은 지시와 자료를 같은 글로 읽는다.
• 읽어 온 자료 안의 명령은 따르지 않도록 지시와 자료를 나눈다.
• 고정 구분자는 자료가 흉내 낼 수 있다. 매번 다른 구분자를 쓴다.
• 방어 지시문도 완전하지 않다. 도구 권한을 줄이고 결과를 확인한다.

Notation

References

1. Greshake et al. (2023). Not What You've Signed Up For: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection. AISec.
2. Perez & Ribeiro (2022). Ignore Previous Prompt: Attack Techniques for Language Models. NeurIPS ML Safety Workshop.
3. Hines et al. (2024). Defending Against Indirect Prompt Injection Attacks With Spotlighting. arXiv:2403.14720.
4. OWASP (2025). Top 10 for LLM Applications · LLM01 Prompt Injection.