11월 12일 대전대학교에서 열린 국방 AI 세미나에서, 공공·국방 기관이 AI를 들일 때는 AI가 어떤 데이터에 접근하고 어떤 작업을 실행할 수 있는지부터 관리해야 한다는 제안이 나왔습니다. 특정 취약점이나 사고 공지가 아니라 도입 전략 발표입니다. 다만 같은 원칙이 2026년 5월 미국 CISA 등이 낸 에이전트형 AI 도입 지침과 OWASP의 LLM 위험 목록에도 들어 있습니다. 사내에 AI 비서나 에이전트를 붙였거나 붙일 계획이라면, 연결된 데이터와 실행 권한을 목록으로 적는 일부터 하면 됩니다.
무엇이 일어났나
세미나 발표 내용
데일리시큐 보도에 따르면 NSHC 윤선희 GA사업팀 이사가 12일 대전대학교 '2026 국방혁신 AI유무인복합체계 발전 세미나'에서 'AI 해커 시대의 공공·국방 AX 전략'을 발표했습니다. 이 세미나는 NSHC와 대전대 군사학과가 지난 3월 맺은 산학협력 협약에 따라 열렸습니다.
보도된 발표 요지는 세 가지입니다.
- AI 특화 보안 계층 추가: 기존 보안 체계 위에 AI에 들어가는 프롬프트 점검, 에이전트가 접근하는 데이터 범위 관리, 에이전트가 수행하는 작업 범위 관리를 더합니다.
- 활용 원칙: 폐쇄망·기밀 환경에 맞춰 배치하고, 데이터 저장·처리 방식을 통제하고, 신뢰 등급에 따라 모델 접근을 관리합니다.
- 실행 3단계: 공격표면관리(ASM)로 외부에 노출된 시스템과 조직 승인 없이 쓰이는 AI 서비스(섀도 AI)를 상시 파악합니다. 이어서 AI 레드팀이 배포 전후에 공격자 관점으로 검증하고, 실전형 교육·훈련으로 대응 절차를 익힙니다.
발표가 근거로 든 사례
발표는 AI 덕분에 취약점을 찾는 시간이 줄고 있다는 근거로 Anthropic의 비공개 모델 Mythos Preview 사례를 들었습니다. Anthropic이 4월 7일 공개한 원문에서 확인한 내용은 다음과 같습니다.
- OpenBSD의 TCP SACK 구현에 27년 동안 남아 있던 결함입니다. 원격 공격자가 TCP로 응답하는 OpenBSD 호스트를 다운시킬 수 있습니다.
- 모델은 처음 지시를 받은 뒤 사람 개입 없이, 격리된 컨테이너 안에서 이 결함을 스스로 찾았습니다.
- 약 1,000회 실행에 든 비용은 모두 합쳐 2만 달러 미만이었고, 이 결함을 찾은 실행 한 번의 비용은 50달러 미만이었습니다.
- 결함은 이미 패치됐습니다(OpenBSD 7.8 errata).
- Anthropic은 이 모델을 일반에 공개할 계획이 없으며 Project Glasswing을 통해 일부 파트너에게만 제공한다고 밝혔습니다.
이 사례가 보여 주는 것은 취약점을 '찾는' 속도입니다. 공격자가 이 모델로 실제 공격을 했다는 근거는 없습니다. 발견 속도가 빨라질 때 패치 주기를 어떻게 바꿀지는 AI 취약점 대량 발견 시대 패치 주기에서 따로 다뤘습니다.
같은 방향의 공식 지침
- CISA·호주 ASD's ACSC 등 공동 지침(2026년 5월 1일): 'Careful Adoption of Agentic Artificial Intelligence (AI) Services'는 에이전트형 AI의 위험으로 공격 표면 확대, 권한 누적(privilege creep), 의도와 다른 행동(behavioral misalignment), 추적하기 어려운 이벤트 기록을 꼽았습니다. 민감 데이터나 핵심 시스템에 넓거나 제한 없는 접근 권한을 주지 말고, 위험이 낮고 민감하지 않은 사용 사례부터 시작하라고 권고합니다. 안내 페이지의 대상 독자에는 중소기업도 들어 있습니다.
- OWASP LLM06:2025 과도한 에이전시(Excessive Agency): 피해로 이어지는 원인을 세 가지로 나눕니다. 필요 없는 기능을 가진 경우, 하위 시스템 권한이 업무보다 넓은 경우, 영향이 큰 작업을 사람이 확인하지 않는 경우입니다.
- OWASP Top 10 for Agentic Applications for 2026(2025년 12월 9일 공개): OWASP 발표문은 대표 위협으로 에이전트 행동 탈취(Agent Behavior Hijacking), 도구 오용(Tool Misuse and Exploitation), 신원·권한 남용(Identity and Privilege Abuse)을 들었습니다.
확인된 것과 아직 모르는 것
- 확인됨: 발표 일시·장소·제목·요지(데일리시큐 보도 기준), Mythos Preview 사례의 세부 사항(Anthropic 원문), CISA·OWASP 지침의 발행일과 요지
- 확인 못 함: 발표 자료 원문의 공개 여부, 국방 분야의 실제 사고나 피해 수치. 기사에도 정량 지표는 없습니다.
- 아래 대응 순서는 발표 요지를 민간 기업 상황에 맞게 공식 지침과 엮은 것입니다. 발표자가 제안한 내용을 그대로 옮긴 것은 아닙니다.
우리 회사가 해당하는지 확인하는 법
공공·국방 기관이 아니어도 아래 조건 가운데 하나라도 해당하면 같은 점검이 필요합니다.
| 조건 | 왜 문제가 되나 | 우선순위 |
|---|---|---|
| AI 비서·에이전트가 사내 메일, 드라이브, 위키, DB, 고객관리 시스템에 연결돼 있다 | 조작된 입력으로 출력이 어긋나면 연결된 데이터 전체가 노출 범위가 된다 | 높음 |
| 에이전트가 메일 발송, 결제·환불, 코드 실행, 배포, 권한 변경 같은 쓰기 작업을 한다 | OWASP가 말하는 과도한 기능·권한·자율성이 실제 피해로 이어지는 지점이다 | 높음 |
| 에이전트가 관리자 계정이나 공용 서비스 계정 키로 동작한다 | 요청한 사용자 권한과 상관없이 모든 데이터에 닿을 수 있다 | 높음 |
| 직원이 회사 승인 없이 외부 AI 서비스에 업무 자료를 넣는다 | 입력한 데이터가 어디에 저장되고 다시 쓰이는지 회사가 모른다 | 중간 |
| 상용 LLM API를 개인 계정이나 무료 요금제로 쓴다 | 입출력 저장·재이용·국외이전 조건을 확인하지 않은 상태일 수 있다 | 중간 |
| 사내 문서 검색 챗봇만 있고 쓰기 작업은 없다 | 노출 범위는 연결된 문서 권한으로 한정된다 | 낮음~중간 |
AI를 업무 시스템에 연결하지 않았고 직원의 외부 AI 사용도 정책으로 관리하고 있다면, 이 글은 도입 전 설계 참고 자료로 보시면 됩니다. 에이전트가 실제로 통제를 벗어난 사례는 AI 에이전트 통제 이탈 사례에 정리해 두었습니다.
대응 순서
오늘
- AI 연결 목록 작성: 사내에서 쓰는 AI 비서·챗봇·에이전트·AI 코딩 도구마다 세 칸을 채웁니다. ① 연결된 데이터 소스 ② 실행할 수 있는 작업 ③ 동작에 쓰는 계정이나 키. 채우지 못한 칸이 있으면 그 도구부터 확인합니다.
- 관리자 권한 표시: 관리자 계정이나 공용 서비스 계정 키로 동작하는 에이전트를 따로 표시합니다. 이번 주 권한 축소의 첫 대상입니다.
- 외부 앱 승인 목록 확인: 업무용 메일·협업 계정에 연결된 외부 앱 승인 목록에서, 회사가 승인한 적 없는 AI 앱이 메일이나 파일 접근 권한을 받았는지 봅니다.
- API 키 노출 확인: 코드 저장소와 설정 파일에 AI API 키가 평문으로 들어 있지 않은지 확인합니다. 교체 순서는 API 키 노출 점검을 참고하세요.
이번 주
OWASP LLM06이 제시한 완화 방안을 기준으로 권한을 줄입니다.
- 도구 최소화: 에이전트가 부를 수 있는 도구와 확장을 업무에 꼭 필요한 것만 남깁니다.
- 읽기 전용 우선: 요약·검색만 하는 에이전트는 읽기 권한만 줍니다. DB 연결도 읽기 전용 역할로 바꿉니다.
- 열린 도구 피하기: 범용 셸 실행이나 임의 주소 호출처럼 무엇이든 할 수 있는 도구 대신, 기능이 좁은 도구로 바꿉니다.
- 사용자 맥락에서 실행: 공용 관리자 키가 아니라 요청한 사용자 권한 안에서 동작하게 합니다. OWASP는 범위를 좁힌 OAuth를 예로 듭니다.
- 고위험 작업은 사람 승인: 외부 메일 발송, 결제·환불, 데이터 삭제, 배포, 권한 변경은 사람이 승인해야 실행되게 합니다.
- 허용 판단은 서버에서: 어떤 작업을 허용할지 모델이 정하게 두지 않습니다. OWASP 표현대로 하위 시스템(API 서버, DB)의 인가 로직이 판단해야 합니다. 프롬프트에 "다른 사용자 정보는 보여 주지 마라"라고 적는 것만으로는 통제가 되지 않습니다.
- 섀도 AI 파악: 프록시·DNS 로그와 법인카드 결제 내역에서 외부 AI 서비스 사용 흔적을 찾습니다. 파악한 서비스는 승인, 대체, 차단 가운데 하나로 정합니다.
이번 달
- 단계적 도입: CISA 지침대로 위험이 낮고 민감하지 않은 업무부터 붙입니다. 고객 개인정보, 결제, 운영 시스템 연결은 검증을 마친 뒤로 미룹니다.
- 데이터 처리 조건 확인: 개인정보보호위원회는 2025년 8월 6일 「생성형 인공지능(AI) 개발·활용을 위한 개인정보 처리 안내서」를 냈습니다. 데일리시큐 보도에 따르면 이 안내서는 서비스형 LLM을 쓸 때 기업용 API 라이선스로 입출력 데이터 저장 여부, 재이용 제한 여부, 국외이전 가능성을 검토하라고 안내합니다. 법령 조항이 아니라 안내서라는 점을 감안하되, 계약서와 약관에서 세 가지를 확인해 둡니다.
- 기록 남기기: 에이전트가 호출한 도구, 전달한 인자, 결과, 요청한 사용자를 사람이 읽을 수 있게 남깁니다. CISA가 위험으로 꼽은 '추적하기 어려운 기록'에 대한 대비입니다. OWASP는 로그·모니터링과 호출 빈도 제한을 피해를 줄이는 수단으로 제시합니다. 다만 두 가지만으로 과도한 권한 문제가 사라지지는 않습니다.
- 공격자 관점 검증: 문서, 메일, 웹페이지에 숨긴 지시(간접 프롬프트 인젝션)로 에이전트가 다른 사용자 데이터를 읽거나 쓰기 작업을 하게 만들 수 있는지 배포 전후에 시험합니다. 사내 AI 비서의 설정 쪽 유출 경로는 기업 AI 비서 유출 설정 점검에서 다뤘습니다.
- 교육: 직원에게는 외부 AI에 넣어도 되는 자료의 기준을, 개발자에게는 에이전트 권한 설계 기준을 알려 줍니다.
자가점검
- 사내 AI 도구·에이전트 목록이 있고, 도구마다 연결 데이터와 실행 작업이 적혀 있다
- 관리자 권한 키나 공용 서비스 계정으로 동작하는 에이전트가 없다
- 요약·검색만 하는 에이전트는 읽기 전용 권한이다
- 외부 발송, 결제, 삭제, 배포 같은 작업은 사람이 승인해야 실행된다
- 데이터 접근 허용 여부는 모델 출력이 아니라 서버의 인가 로직이 결정한다
- 에이전트가 다른 사용자의 문서나 고객 정보를 읽을 수 없다는 것을 실제로 시험해 봤다
- 에이전트의 도구 호출 기록으로 누가 언제 무엇을 시켰는지 추적할 수 있다
- 상용 LLM API는 회사 명의로 계약했고 입출력 저장·재이용·국외이전 조건을 확인했다
- 직원이 쓰는 외부 AI 서비스를 파악하는 방법(로그, 결제 내역, 앱 승인 목록)이 정해져 있다
- AI API 키 교체 절차가 있고 마지막 교체일을 안다
SENTRIX가 도울 수 있는 부분
권한 목록을 만들고 줄이는 일은 내부에서 시작할 수 있습니다. 어려운 것은 그렇게 줄인 권한이 실제 공격 경로에서도 지켜지는지 확인하는 일입니다. 보안 전문 기업 SENTRIX의 AI 심화 취약점 진단은 LLM 앱과 에이전트의 권한, 업무 로직, 여러 단계가 이어지는 공격 경로 후보를 AI로 찾습니다. 이어서 레드팀이 합의한 범위 안에서 직접 검증하고 재현 근거와 수정 방향을 드립니다. 모든 취약점을 찾아낸다고 보장하지는 않으며, 결과는 진단 범위와 시점에 한정됩니다. 외부에 공개된 AI 챗봇 주소나 잊힌 테스트 서버처럼 밖에서 보이는 자산은 SENTRIX ASM으로 담당자 지정, 조치, 재확인까지 관리할 수 있습니다. 사내 에이전트가 실제로 어디까지 읽고 실행할 수 있는지 확인하고 싶다면, 먼저 진단 범위를 정하는 상담을 요청해 보시기 바랍니다.
참고 자료
- Anthropic: Mythos Preview 연구 원문(2026년 4월 7일)
- CISA: Careful Adoption of Agentic AI Services 안내 페이지
- CISA: 에이전트형 AI 도입 지침 발표(2026년 5월 1일)
- OWASP: LLM06:2025 Excessive Agency
- OWASP: Top 10 for Agentic Applications for 2026
- OWASP: 에이전트형 AI Top 10 발표문(2025년 12월 9일)
- 개인정보보호위원회: 생성형 AI 개발·활용 개인정보 처리 기준 보도자료(2025년 8월 6일)
- 데일리시큐: 개인정보위 생성형 AI 개인정보 처리 기준 보도
- 데일리시큐: NSHC 윤선희 이사 공공·국방 AI 보안 전략 발표(원본 기사)