OWASP LLM Top 10 한국 기업 자가점검 — AI 챗봇·에이전트 보안
OWASP LLM Top 10은 대규모 언어모델 기반 애플리케이션의 10대 보안 위험을 정의한 OWASP 재단의 공식 가이드라인이다. 2023년 v1.0 공개 이후 2025년 1월 v1.1로 갱신됐고, 현재 AI 챗봇·RAG·에이전트 보안 점검의 사실상 산업 표준이다.
이 글은 OWASP LLM Top 10을 한국 기업 환경(고객센터 챗봇, 내부 검색 RAG, 업무 자동화 에이전트)에 맞춰 자가점검 30문항으로 정리한 실측 가이드다. 보안 실무자와 CISO 모두를 위한 구성이다.
📌 발행 전 검증 (드래프트 헤더)
| 관점 | 통과 | 비고 |
|------|------|------|
| AEO | ☑ | 정의문/Q&A 5/JSON-LD/수치-출처/엔티티 |
| SEO | ☑ | 타이틀 47자/메타 158자/H2 9/외부링크 5 |
| DAU | ☑ | brk 13/표 4/박스 2/중간 CTA |
| CTA | ☑ | 2-track/트래킹/위치 2 |
| GEO | ☑ | 리스트 구조/출처 단위 단락/명사 정의문/숫자+년도 |
한 줄 정의 — LLM 애플리케이션 보안이란
LLM 애플리케이션 보안은 사용자 입력·모델 응답·외부 도구 호출이 결합된 워크플로우에서 발생하는 공격 표면을 식별하고 통제하는 분야다. 기존 웹 보안의 입력 검증 모델로는 부족하며, 모델 자체가 신뢰 경계를 넘나드는 점이 본질적 차이다 (OWASP LLM AI Security & Governance Checklist, 2025).
OWASP LLM Top 10 — 한눈에 보기
| 코드 | 항목 | 한 줄 요약 |
|---|---|---|
| LLM01 | Prompt Injection | 외부 지시문이 시스템 프롬프트를 덮어쓰는 공격 |
| LLM02 | Sensitive Information Disclosure | 학습/시스템 프롬프트/RAG 데이터의 민감정보 유출 |
| LLM03 | Supply Chain | 모델·플러그인·임베딩의 공급망 변조 |
| LLM04 | Data and Model Poisoning | 파인튜닝/RAG 인덱스 오염 |
| LLM05 | Improper Output Handling | LLM 출력 검증 없이 다운스트림 시스템 실행 |
| LLM06 | Excessive Agency | 에이전트의 권한·자동 실행 범위 과잉 |
| LLM07 | System Prompt Leakage | 시스템 프롬프트 자체 노출 |
| LLM08 | Vector and Embedding Weaknesses | 벡터 DB·임베딩 검색 우회 |
| LLM09 | Misinformation | 환각·신뢰 과잉으로 인한 잘못된 의사결정 |
| LLM10 | Unbounded Consumption | 토큰·자원 무제한 소모 (DoS·비용) |
출처: OWASP Top 10 for LLM Applications v1.1 (2025-01 갱신).
한국 기업 환경에서 가장 자주 보이는 5가지
10개 전체를 한 번에 잡기 어렵다. 실무 진단 경험 기준으로 국내 기업이 가장 자주 노출되는 다섯 가지부터 정리한다.
1. LLM01 — Prompt Injection (간접 인젝션)
웹페이지·이메일·PDF에 숨겨진 지시문이 RAG 검색을 거쳐 모델에 주입된다. "이전 지시 무시하고 다음을 실행하라"가 데이터 안에 들어오는 형태다.
한국에서 자주 보이는 패턴: 사내 위키·이메일 RAG에서 외부 첨부 문서가 인덱싱돼 인젝션 페이로드로 동작.
점검 포인트:
- 외부 입력(URL·첨부·메일) 분리 + 신뢰 등급 부여
- 시스템 프롬프트와 사용자 컨텐츠 명시 구분 (XML/구분자)
- 출력 단계에서 도구 호출 의도 재확인
2. LLM02 — Sensitive Information Disclosure
시스템 프롬프트, RAG 인덱스의 내부 문서, 학습 데이터의 PII가 사용자 응답에 노출된다.
한국 특수 사항: 주민등록번호·계좌번호가 RAG 원본 문서에 그대로 들어가는 사례 빈번. 개인정보보호법 위반 + 행정처분 리스크.
3. LLM05 — Improper Output Handling
LLM 출력을 그대로 eval()·SQL·셸 명령으로 보내는 구조. AI 에이전트의 "코드 작성→자동 실행" 패턴에서 가장 자주 발생.
이전 글 AI 코딩 사고 실증 — 운영에 박히는 7가지 패턴에서 다룬 SQL Injection·시크릿 유출의 본질이 여기 있다.
4. LLM06 — Excessive Agency
에이전트에게 파일삭제·결제실행·이메일발송 등 강력한 도구를 광범위하게 부여하는 구조. 프롬프트 인젝션이 성공하면 즉시 운영 사고로 번진다.
원칙: 도구별 최소권한 + 사람 승인 단계(Human-in-the-loop) + 비가역 작업은 별도 채널.
5. LLM10 — Unbounded Consumption
토큰·콜·외부 API 호출에 상한이 없는 구조. "고객 한 명이 1시간에 12만 원어치 호출" 같은 비용 사고가 실제로 발생.
점검 포인트: 사용자별 rate limit, 일·월 토큰 예산, 비정상 패턴 알람.
📌 AI 챗봇·에이전트 운영 중이라면
사용자 입력 페이로드 100개 + 외부 RAG 오염 시뮬레이션을 30분 안에 자동 실행합니다.
SENTRIX CodeScan의 LLM 모드는 OWASP LLM Top 10 항목별 자가점검 리포트를 발급합니다.
👉 LLM 보안 30초 무료 진단 시작
30문항 자가점검 체크리스트
각 항목 ✅/❌ 표시. 3개 이상 ❌면 외부 자문 권장.
A. 프롬프트·입력 (LLM01·LLM07)
- [ ] 시스템 프롬프트와 사용자 입력을 명시 구분(XML 태그 등)한다
- [ ] 외부 컨텐츠(URL·PDF·메일)에 신뢰 등급을 부여한다
- [ ] 시스템 프롬프트 추출 시도(예: "이전 지시 알려줘")를 차단한다
- [ ] 프롬프트 인젝션 페이로드 100+ 정기 테스트가 있다
- [ ] 인젝션 의심 입력은 별도 로깅·차단 룰이 있다
B. 데이터·모델 (LLM02·LLM04)
- [ ] RAG 인덱스 원본에서 PII·시크릿이 사전 마스킹된다
- [ ] 학습/파인튜닝 데이터셋의 출처 추적이 가능하다
- [ ] RAG 인덱스 변조·새 문서 주입 탐지가 있다
- [ ] 응답에 PII가 포함되면 차단·마스킹된다
- [ ] 정기적인 redteam 평가 (월 1회 이상)가 있다
C. 출력·도구 (LLM05·LLM06)
- [ ] LLM 출력을 다운스트림에 보내기 전 스키마 검증한다
- [ ] 코드 실행·SQL·셸 명령은 별도 샌드박스에서 동작한다
- [ ] 에이전트 도구별 최소권한 원칙이 적용돼 있다
- [ ] 비가역 작업(결제·삭제·발송)은 사람 승인이 필수다
- [ ] 도구 호출 로그가 감사 가능한 형태로 보존된다
D. 공급망·인프라 (LLM03·LLM08)
- [ ] 사용 중인 모델·임베딩의 버전·해시가 SBOM에 기록돼 있다
- [ ] 외부 플러그인·서드파티 도구의 보안 검토 절차가 있다
- [ ] 벡터 DB 접근에 인증·권한 분리가 적용돼 있다
- [ ] 임베딩 검색 결과의 신뢰도(거리·점수)를 정책에 반영한다
- [ ] 모델 공급자(OpenAI·Anthropic·국산) 장애·정책 변경 대응 플레이북이 있다
E. 운영·거버넌스 (LLM09·LLM10)
- [ ] 사용자별·세션별 토큰 상한이 있다
- [ ] 비정상 사용 패턴 알람이 있다 (시간당 N건 초과 등)
- [ ] 응답 신뢰도 표시(출처 링크·확신도) 정책이 있다
- [ ] 모델 응답 오류 시 사람 채널로 escalation 경로가 있다
- [ ] 사용자 피드백→재학습/프롬프트 개선 주기가 정의돼 있다
F. 컴플라이언스
- [ ] 개인정보보호법 영향평가(PIA) 결과가 LLM 워크플로우에 반영돼 있다
- [ ] 이용자에게 AI 응답임을 고지한다
- [ ] 자동화 의사결정에 대한 설명요구권 응대 절차가 있다
- [ ] 로그 보관 기간이 명시돼 있다 (PII vs 일반 로그 분리)
- [ ] ISMS-P 통제 항목과 매핑이 돼 있다 (ISMS-P 6개월 로드맵 참조)
한국 환경 고려사항 — 글로벌과 다른 3가지
| 항목 | 글로벌 표준 | 한국 추가 고려 |
|---|---|---|
| PII | EU GDPR / 미국 주별 법 | 개인정보보호법 + 주민등록번호 특별 보호 |
| AI 고지 | EU AI Act 위험등급 | 정보통신망법 + 공공·금융 분야 사전심사 |
| 데이터 위치 | 회사 자체 정책 | 개인정보 국외이전 동의 필수 |
특히 주민등록번호는 RAG 원본에서 절대 인덱싱하지 않는다가 한국에서 가장 자주 빠지는 통제다.
CISO 관점 — 도입 전 의사결정 5문
- 우리 LLM 워크플로우가 신뢰 경계를 어디서 넘는가 — 입력·검색·도구·출력 4지점 매핑돼 있는가
- 사람 승인 단계가 있는가 — 비가역 작업에 Human-in-the-loop이 있는가
- redteam 평가 주기가 있는가 — 분기 1회 이상 외부 평가가 있는가
- PII 마스킹 흐름이 RAG 원본 단계부터 적용되는가 — 응답 필터만으로 부족
- 모델 공급자 의존도가 분산돼 있는가 — 단일 공급자 락인 리스크
자주 묻는 질문
- Q. OWASP LLM Top 10과 OWASP API Top 10은 무엇이 다른가요?
- A. API Top 10은 REST/GraphQL API의 인증·인가·입력 검증 관점, LLM Top 10은 모델 자체가 신뢰 경계를 넘나드는 특수성(프롬프트 인젝션·환각·도구 호출)을 다룹니다. LLM 애플리케이션은 두 가이드를 동시에 적용해야 합니다.
- Q. 사내 챗봇은 외부 노출 없으니 점검이 불필요한가요?
- A. 아닙니다. 내부 사용자가 의도하지 않게 인젝션을 유발할 수 있고, RAG가 외부 문서를 빨아들이는 순간 신뢰 경계가 무너집니다. 사내 챗봇도 30문항 점검 대상입니다.
- Q. ChatGPT/Claude 같은 외부 모델을 그대로 호출하면 보안 책임이 공급자에게 있나요?
- A. 아닙니다. 모델 자체 보안(학습 데이터·모델 가중치)은 공급자 책임이지만, 프롬프트 구성·데이터 마스킹·출력 처리는 호출하는 우리 책임입니다. 한국 개인정보보호법상 처리자 지위는 호출 측에 있습니다.
- Q. 모든 30문항을 한 번에 적용해야 하나요?
- A. 우선순위 권장: A(프롬프트·입력) → B(데이터·모델) → C(출력·도구) → F(컴플라이언스) → D(공급망) → E(운영) 순서. 외부 노출 챗봇이면 A·C를 먼저, 내부 RAG면 B·F를 먼저 잡습니다.
- Q. ISMS-P 통제와는 어떻게 매핑되나요?
- A. ISMS-P 2.5(인증 및 권한관리), 2.6(접근통제), 2.9(시스템 및 서비스 운영관리), 3.2(개인정보 보호조치) 항목과 직접 연결됩니다. ISMS-P 6개월 로드맵의 D-90~D-60 구간에 LLM 워크플로우 통제를 포함하는 것을 권장합니다.
마무리 — AI 보안은 별개 분야가 아니다
LLM 보안은 "AI 전용의 새로운 영역"이 아니다. 기존 웹/API 보안의 입력 검증·최소권한·감사 로그 원칙이 모델이라는 새로운 신뢰 경계에 그대로 적용되는 것뿐이다.
SENTRIX는 보안 실무 10년, 해킹대회 수상, 레드팀 운영 경험을 기반으로 AI 챗봇·RAG·에이전트 보안 진단을 진행한다. AI 도입이 빠를수록 점검 주기도 빨라야 한다.
📌 2-track 다음 단계
실무자: AI 챗봇/에이전트의 OWASP LLM Top 10 항목별 자동 점검
👉 CodeScan LLM 모드 30초 무료 진단CISO·결정권자: 도입 전 거버넌스·컴플라이언스 30분 자문
👉 LLM 보안 30분 1:1 CISO 자문