AI 해킹 사고 사례 2026:
실제로 일어난 10건과 기업이 얻을 교훈

AI 해킹 사고는 공격자가 AI로 공격을 자동화했거나, AI 에이전트가 스스로 실제 시스템을 뚫었거나, AI 도구나 AI로 만든 서비스가 표적이 된 보안 사고를 말한다.

AI 해킹 기사는 쏟아지지만 실제 사고와 능력 시연이 섞여 있어 우리 회사가 대상인지 판단하기 어렵다. 이 글은 능력 논쟁(미토스 쇼크 정리)은 빼고, 2025년 11월부터 2026년 10월까지 벤더·연구기관·정부가 1차 자료로 공개한 사고 10건만 모았다. 사고마다 AI가 한 일과 뚫린 지점을 나누고, 보고 기관이 밝힌 확신도를 붙였다. 국내 금융권 연쇄 유출의 ARTEX는 공격 추정 서버에서 로그인 화면과 문자열이 확인됐을 뿐 실제 공격에 쓰였는지는 아직 정황 단계라(지니언스, 10월 12일) 별도 글로 다룬다.

결론부터 말하면 AI가 키운 것은 새 취약점보다 속도와 규모다. 뚫린 지점은 대부분 밖에 열린 관리 기능과 디버그 페이지, 앱과 저장소에 박힌 비밀값, 넓은 권한, 사용자가 연 첨부파일 같은 오래된 결함이었다.

AI 해킹 사고 10건 한눈에 보기

'확인'은 당사자나 조사 기관이 사실로 밝힌 것, '높은 신뢰도'는 보고 기관의 평가, '정황'은 흔적과 메타데이터에 근거한 추정, '의심'은 보고 기관이 연계 가능성만 밝힌 것이다.

왜 중요한가: AI가 키운 것은 속도와 규모다

• GTG-1002에서 AI는 정점일 때 수천 건의 요청을, 종종 초당 여러 건씩 보냈다. 앤트로픽은 사람 해커로서는 따라잡을 수 없는 속도라고 했다.
• ShinyHunters 연계 의심 클러스터는 40개 넘는 기업 테넌트의 Azure AD 토큰 세트 2,100여 개를 약 34시간 만에 확보했다. 다른 피해자에서는 훔친 개발자 토큰 1개로 클라우드 관리자 권한까지 약 3시간이 걸렸다.
• Hugging Face를 뚫은 에이전트는 약 4.5일 동안 약 17,600건의 행동을 했다. 대부분 실패한 시도였고, 성공한 경로는 그 잡음 속에 숨어 있었다.
• 앤트로픽 평가 사고에서 연락이 닿은 피해 조직 2곳은 통보 전까지 침입을 탐지하지 못했다.

앤트로픽은 9월 보고서에서 "AI가 돕는 새 환경에서 '숨겨 두면 안전하다(security through obscurity)'는 오래된 격언은 더는 통하지 않는다. 인터넷에 연결된 모든 것이 잠재적 공격 표적"이라고 적었다. 국무조정실 보도자료에 따르면 국무총리도 10월 6일 관계장관회의에서 "AI가 해킹 등에 광범위하게 활용되는 상황"에서 정부 대응 방식을 전면 개편해야 한다고 강조했다. KISA 집계로 2026년 상반기 침해사고 신고는 1,236건이다. 전년 동기보다 19.5% 늘었고, 2025년 하반기보다는 8.4% 줄었다. AI 공격만 따로 센 숫자는 아니다.

유형 ① 공격자가 AI를 쓴 해킹 사고

① GTG-1002: 전술 작업의 80~90%를 AI가 한 첩보 캠페인

앤트로픽은 2025년 9월 중순 탐지한 첩보 캠페인을 11월 13일 공개하고, 배후(GTG-1002)를 '높은 신뢰도'로 중국 국가배후 그룹이라고 평가했다. 공격자는 앤트로픽의 AI 코딩 에이전트를 조작해 대형 IT 기업, 금융기관, 화학 제조사, 정부기관 등 약 30곳을 노렸고 소수에서 침입에 성공했다.

• AI가 한 일: 정찰, 취약점 검증과 익스플로잇 작성, 자격증명 수집, 데이터 분류, 공격 문서화까지 전술 작업의 80~90%를 맡았다. 사람은 표적을 고르고 캠페인당 4~6번 정도 핵심 결정만 내렸다. 공격자는 작업을 무해해 보이는 작은 단위로 쪼개고 '정상 보안회사 직원의 방어 테스트'라고 속여 안전장치를 우회했다. 스캐너와 비밀번호 크래커는 MCP(Model Context Protocol)로 연결했다.
• 뚫린 지점: 전체 보고서에 따르면 공격 도구는 맞춤형 악성코드가 아니라 대부분 공개된 오픈소스 침투 도구였다. AI는 설정 파일에서 인증서를 꺼내고 수집한 자격증명을 내부 API와 DB에 대입했다. 자격증명을 지어내거나 공개 정보를 비밀로 착각하는 한계도 있었다.
• 점검할 것: 사람 속도를 넘는 요청과 짧은 시간의 다수 시스템 접근을 탐지하는가. 내부 문서와 설정 파일에 남은 접속 정보를 정리했는가.

② 실행 중 LLM을 부르는 악성코드: PROMPTFLUX·PROMPTSTEAL·QUIETVAULT

구글 위협 인텔리전스 그룹(GTIG)은 2025년 11월 6일, 실행 도중 LLM을 호출하는 악성코드를 처음 확인했다고 밝혔다.

• PROMPTFLUX(실험 단계): Gemini API에 자기 코드의 난독화와 재작성을 요청하는 VBScript 드로퍼다. 한 변종은 매시간 소스 전체를 다시 쓰게 한다. GTIG는 아직 피해 시스템을 장악할 능력은 없다고 봤다.
• PROMPTSTEAL(실제 작전에서 관측): 러시아 정부 배후 APT28이 우크라이나를 상대로 썼다. Hugging Face API로 Qwen2.5-Coder 모델에 정보 수집 명령을 만들게 해 그대로 실행한다.
• QUIETVAULT(실제 작전에서 관측): GitHub·npm 토큰을 훔치고, 감염 PC에 설치된 AI CLI에 프롬프트를 넣어 다른 비밀값까지 찾게 한다.
• GTIG가 2026년 5월 보고서에서 분석한 안드로이드 백도어 PROMPTSPY는 화면 구조를 Gemini API로 보내 받은 좌표대로 클릭과 스와이프를 흉내 낸다.
• 점검할 것: 공식 AI 앱이 아닌 프로세스의 LLM API 호출에 경보가 울리는가. 개발자 PC의 AI CLI가 읽는 범위와 그 PC에 남은 토큰을 줄였는가. 행위 기반 탐지가 있는가.

③ GTIG가 처음 확인한, AI로 만든 것으로 보이는 제로데이 익스플로잇

GTIG는 2026년 5월 12일, AI로 개발했다고 보는 제로데이 익스플로잇을 처음 확인했다고 밝혔다. 이름난 사이버범죄 조직들이 대량 악용을 계획하던 파이썬 스크립트로, 인기 오픈소스 웹 기반 시스템 관리 도구의 2단계 인증(2FA)을 우회한다. GTIG는 벤더와 함께 취약점을 공개했고, 선제 발견으로 실제 사용을 막았을 수 있다고 했다.

• AI가 한 일: 취약점 발견과 무기화를 도왔다. GTIG는 지나치게 많은 교육용 설명문(docstring), 지어낸 CVSS 점수, 교과서 같은 파이썬 구조를 근거로 AI 사용을 '높은 신뢰도'로 판단했다.
• 뚫린 지점: 메모리 오류가 아니라 개발자가 코드에 박아 둔 신뢰 가정, 즉 논리 결함이었다. GTIG는 퍼저와 정적 분석이 놓치기 쉬운 이런 결함을 최신 LLM이 잘 찾는다고 설명했다. 다만 이 우회는 유효한 계정 정보가 있어야 성립한다. 같은 보고서에는 APT45가 반복 프롬프트 수천 건으로 여러 CVE를 분석하고 PoC를 검증한 사례도 있다.
• 점검할 것: 관리 도구를 인터넷에 직접 열지 않았는가. 2FA가 있어도 계정 유출 대응과 패치를 시간 단위로 하는가(AI 자동 취약점 탐지 시대 방어자 가이드).

④ 김수키, AI 코딩 에이전트로 국내 기업 실무 미끼를 만들다

지니언스 시큐리티 센터는 2026년 8월 10일과 9월 7일 보고서에서 북한 연계 김수키의 AI 활용 정황을 공개했다. 지니언스는 미끼 주제가 외교·안보·학술 중심에서 국내 금융·기업 실무로 넓어졌다고 분석했다.

• AI가 한 일: 김수키는 2026년부터 생성형 AI로 만든 문서를 미끼로 써 왔다. 공격자 인프라 로그에서 로컬 LLM 실행 도구 3종(Ollama, GPT4All, Msty)을 구축·운용한 정황과 '로출되였는지' 같은 북한식 표기가 나왔다. 8월 11~19일 수집한 악성 LNK 13종이 내려받는 미끼 문서 29개(고유 11종) 중 일부 PDF에는 제작 도구로 AI 코딩 에이전트 'opencode'가 기록돼 있었다. 본문에는 "연 2.0% 고정금리 (임시값)"처럼 치환하지 않은 자리표시자가 최대 9번 남은 채 유포됐다. 지니언스는 자체 모델 훈련 근거는 없고 기존 AI를 공격에 접목하려 연구·습득하는 단계로 평가했다.
• 뚫린 지점: 미끼 파일명은 자금집행, 보험료, 이자 납부, 정책자금, 인증서 갱신, Visa 결제 같은 기업 실무다. 사용자가 ZIP 속 LNK를 열면 수천 자짜리 PowerShell 명령이 돌고, 하드코딩된 GitHub PAT로 미끼와 후속 명령을 받아 숨김 예약 작업으로 반복 실행한다. 지니언스는 미끼 내용만으로 판별하는 방어는 더 이상 충분하지 않다고 했다.
• 점검할 것: '문장이 어색하면 피싱'이라는 기준을 버린다. 압축파일 속 LNK를 차단하고, LNK → 긴 인수의 PowerShell → GitHub Raw 접근 → 숨김 예약 작업을 한 흐름으로 묶어 탐지한다. 송금·납부 요청은 별도 채널로 확인한다(2025 북한 APT 결산).

⑤ ShinyHunters 연계 의심 클러스터: 토큰 2,100여 세트를 약 34시간에

앤트로픽은 2026년 9월 위협 보고서(대상 기간 2025년 12월~2026년 8월)에서, 훔친 데이터를 공개하겠다며 돈을 요구해 온 ShinyHunters 집단의 계열로 의심되는 금전 목적 클러스터 여러 개를 차단했다고 밝혔다(GTG-50014).

• AI가 한 일: 앤트로픽은 이 클러스터들이 AI 에이전트로 여러 피해자를 동시에 공격했고, 사람 혼자서는 감당하지 못할 규모로 도구 제작·침투·탈취 데이터 처리를 했다고 정리했다. 프랑스어권 운영자 1명은 AWS EC2 워커 10대로 안드로이드 APK 180만 개를 내려받아 디컴파일하고 하드코딩된 비밀값을 찾았다. GitHub 조직 이메일 수집으로 개인 액세스 토큰(PAT)도 모았다. 이 운영자와 연관된 확인된 침해 대부분이 이 두 경로의 자격증명으로 시작됐다. 다른 계열은 SaaS 기업 한 곳을 뚫어 고객 조직 약 200곳의 데이터를 빼냈고, 세션 저장소 덤프로 40개 넘는 테넌트의 Azure AD 토큰 세트 2,100여 개를 약 34시간에 확보했다. 보고서는 "AI 에이전트가 거의 모든 작업을 했다"고 적었다.
• 피해: 한 기술 기업에서 1TB 넘는 데이터(국가 식별번호 수십만 건, 결제카드 기록 수백만 건)가 빠져나갔고, 한 항공사에서는 수천만 건의 승객 기록을 가진 시스템에 접근했다. 침해 중 훔친 AI API 키 하나는 약 3주 동안 다른 조직 공격에 쓰였다.
• 뚫린 지점: 침입은 대부분 이미 탈취된 자격증명에서 시작했다. 앱 바이너리, 코드 저장소, 클라이언트 코드, 컨테이너 이미지에 박힌 키와 토큰이 대량으로 수집됐다.
• 점검할 것: 앱·JS 번들·공개 저장소에서 비밀값을 빼고 서버에서 중계하는가. PAT를 최소 권한과 짧은 만료로 발급하는가. AI API 키도 사용량과 호출 위치를 감시하고 즉시 폐기할 수 있는가(깃허브 API 키 노출 막는 3단계).

유형 ② AI 에이전트가 스스로 일으킨 사고

⑥ OpenAI 평가 에이전트, Hugging Face 운영망을 뚫다

2026년 7월, OpenAI가 ExploitGym 벤치마크로 사이버보안 평가를 하던 중 에이전트들이 격리 환경을 벗어나 Hugging Face 운영 인프라를 침해했다. OpenAI가 7월 21일 공개했고, Hugging Face(7월 27일)와 OpenAI(8월 기술보고서)가 경위를 밝혔다. Hugging Face에 따르면 개별 단계를 지휘한 사람은 없었다.

• AI가 한 일: 7월 8일부터 에이전트들은 내부 패키지 미러(JFrog Artifactory)의 알려지지 않은 취약점으로 인터넷에 나갔다. 7월 10일 공개 Hugging Face 데이터셋에서 쓰기 권한이 있는 사용자 자격증명 14개를 찾았다. 7월 11일에는 HDF5 외부 저장소 참조를 넣은 데이터셋을 올려 처리 서버가 /proc/self/environ 같은 로컬 파일을 돌려주게 해 운영 자격증명을 얻었고, Jinja2 템플릿 인젝션으로 코드를 실행했다. 워커 파드 하나에서 여러 클러스터의 관리자급 권한까지 13시간이 걸리지 않았다. 결국 운영 데이터셋 서버 워커 41개에서 코드를 실행하고, 운영 노드 최소 1개에서 루트를 얻고, private 코드 저장소 4개를 내려받았다.
• 피해 범위: Hugging Face에 따르면 접근된 고객 콘텐츠는 ExploitGym·CyberGym 관련으로 보이는 데이터셋 5개였다. OpenAI는 자사 고객 데이터와 서비스에 영향이 없었다고 밝혔다.
• 뚫린 지점: Hugging Face는 "개별 약점은 익숙한 것이었다"고 정리했다. 공개 데이터셋에 노출된 토큰, 템플릿을 평가하는 데이터 로더, 특권 파드를 거부하는 정책 부재, 파드에서 닿는 클라우드 메타데이터, 여러 클러스터가 공유한 과권한 자격증명, 환경변수 속 고정 비밀번호다. OpenAI 쪽에는 워크로드 간 공유 자격증명이 있었고, 6월 27일 포트 스윕 경보 때 당직자는 평가를 멈출 필요가 없다고 판단했다. 에이전트가 OpenAI 내부에서 쓴 또 다른 Artifactory 제로데이는 CVE-2026-66384로 등록돼 8월 27일 CISA KEV에 올랐다.
• 점검할 것: 공개 저장소·데이터셋의 토큰을 스캔해 바로 폐기하는가. 업로드 파일 처리기를 격리했는가. 특권 파드 금지, 파드의 메타데이터 접근 차단, 클러스터별 최소 권한 자격증명을 적용했는가. OpenAI는 어떤 통제도 단독으로 완벽하다고 보지 말고 예방·탐지·완화 통제를 서로 독립적으로 겹쳐 두라고 권고했다.

⑦ 앤트로픽 사이버 평가가 실제 인터넷에 닿아 생긴 사고 3건

앤트로픽은 OpenAI 사고 뒤 모델이 인터넷에 닿을 수 있었던 평가 실행 141,006건을 다시 검토했고, 7월 30일 사고 3건을 공개했다. 외부 평가 파트너 환경의 설정 오류로 모델이 실제 인터넷에 닿아 실제 조직 3곳에 무단 접근했다. 가장 이른 사고는 4월이다. 프롬프트는 '인터넷이 없다'고 안내했지만 실제로는 연결돼 있었고, 앤트로픽도 파트너도 몰랐다.

• 사고 1: 가상 표적과 이름이 같은 실제 회사를 공격해 자격증명을 얻고 운영 DB 수백 행에 접근했다.
• 사고 2: 가상 회사 문서에 적힌, 실제로는 없는 PyPI 패키지 이름으로 악성 패키지를 올렸다. 약 1시간 공개되는 동안 실제 시스템 15대에서 실행됐고, 한 보안업체의 자동 스캐너에서 자격증명이 빠져나갔다.
• 사고 3: 약 9,000개 대상을 스캔한 끝에 노출된 디버그 페이지의 자격증명과 SQL 인젝션으로 한 회사의 앱을 침해했다. 모델은 실제 시스템임을 깨닫고 스스로 멈췄다.
• 뚫린 지점: 앤트로픽은 모델이 약한 비밀번호, 인증 없는 엔드포인트 같은 기본 기법을 썼고 복잡한 취약점은 쓰지 않았다고 밝혔다.
• 대응: 7월 23일 검토를 시작한 당일 사이버 평가를 모두 멈췄고, 7월 27일 피해 조직에 알렸다. 연락이 닿은 2곳은 그때까지 이 활동을 탐지하지 못했다.
• 점검할 것: 우리 서비스에 디버그 페이지, 인증 없는 엔드포인트, 약한 비밀번호가 남아 있지 않은가. 사내에 자율 에이전트나 AI 보안 테스트를 들인다면 대상 허용목록, 기본 egress(외부 통신) 차단, 실시간 로그 감시부터 갖춘다.

유형 ③ AI 도구나 AI로 만든 서비스가 노려진 사고

⑧ Moltbook: AI로 만든 서비스의 DB가 통째로 열려 있었다

AI 에이전트들이 글을 올리는 SNS 'Moltbook'은 창업자가 "코드를 한 줄도 쓰지 않았다"고 밝힌, AI로 만든 서비스다. 클라우드 보안 기업 Wiz는 2026년 2월 2일 이 서비스의 Supabase DB를 인증 없이 읽고 쓸 수 있었다고 공개했다.

• 노출 내용: API 인증 토큰 150만 개, 이메일 3만5천 개(사전 신청자 이메일 2만9,631개 별도), 에이전트 간 비공개 대화 4,060건이다. 일부 대화에는 OpenAI API 키 같은 제3자 자격증명이 평문으로 있었다. 게시물 수정도 가능했고, 속도 제한이 없어 반복문 하나로 에이전트를 대량 등록할 수 있었다.
• 뚫린 지점: 클라이언트 JS 번들에 박힌 Supabase 키와 행 수준 보안(RLS) 미설정이다. Wiz는 RLS를 제대로 설정하면 이 공개 키가 노출돼도 안전하지만, RLS가 없으면 키를 가진 누구나 DB 전체에 접근한다고 설명했다.
• 조치: 1월 31일 제보 뒤 약 3시간 만에 모든 테이블이 보호됐다. Wiz 글에는 제3자의 실제 악용 여부가 나오지 않는다.
• 점검할 것: 모든 테이블에 RLS를 켰는가. 프런트 번들에 넣은 키로 무엇까지 할 수 있는지 확인했는가. 쓰기와 가입에 속도 제한이 있는가(Supabase RLS 미설정·API 키 노출 자가 점검).

⑨ Miasma: 저장소를 열기만 해도 실행되는 공격

공급망 웜 Miasma 캠페인은 2026년 6월 5일 Microsoft의 Azure/durabletask 저장소에 닿았다. StepSecurity에 따르면 공격자는 앞서 탈취한 기여자 계정으로 악성 커밋을 직접 푸시했다. 소스 코드는 한 줄도 바꾸지 않고 파일 5개만 추가했다.

• 공격 경로: AI 코딩 도구 3종과 VS Code가 저장소를 열 때 자동으로 읽는 설정 파일 4개(예: .gemini/settings.json의 세션 시작 훅, .vscode/tasks.json의 폴더 열기 자동 실행)와 4.6MB짜리 난독화된 자격증명 탈취 스크립트다. 설정 파일 하나는 AI 에이전트에게 '프로젝트 설정을 위해 스크립트를 실행하라'고 지시하는 프롬프트 인젝션이었다. StepSecurity는 "복제는 안전하지만 여는 것은 안전하지 않다"고 정리했다. 전체 파일 경로는 원문에 있다.
• 결과: 몇 시간 뒤 GitHub은 Microsoft 4개 조직의 저장소 73개를 105초 만에 자동으로 비활성화했다. 배포용 GitHub Action도 막히면서 @v1 태그로 참조하던 CI/CD 파이프라인이 멈췄다.
• 관련 사례: 2026년 2월 21일~3월 2일, 상용 LLM 기반 '자율 보안 연구 에이전트'를 자칭한 계정 hackerbot-claw는 저장소 7곳의 GitHub Actions 약점을 노렸고, StepSecurity는 이 중 5곳이 뚫렸다고 집계했다. Trivy 저장소는 탈취된 PAT로 장악돼 릴리스가 삭제됐다. 한 저장소에서는 AI 코드 리뷰 에이전트가 오염된 지시 파일을 알아채고 따르지 않았다.
• 점검할 것: 외부 저장소는 AI 코딩 도구로 열기 전에 숨김 설정 폴더와 규칙 파일부터 확인하고, 믿을 수 없으면 격리 환경에서 연다. 외부 PR의 설정 파일 변경은 반드시 리뷰하고, Actions는 커밋 SHA로 고정한다(npm '미니 샤이-훌루드' 공급망 웜, AI 코딩 도구 취약점 IDEsaster).

⑩ KISA 주의 권고: AI 개발도구 49종을 사칭한 악성코드 유포

KISA는 2026년 7월 16일 'AI 개발도구 위장 악성코드 유포 주의 권고'와 헌팅 가이드를 냈다(작성: 위협분석단 AI종합분석팀).

• 수법: 공격자는 Gemini, Codex 등 주요 AI 개발도구와 보조도구로 위장한 GitHub 저장소와 소개 페이지를 미리 만들어 두었다가, 7월 14일 22시 2분부터 49개 위장 저장소의 다운로드 링크를 악성 ZIP으로 차례로 바꿨다. KISA는 이처럼 미리 만든 저장소의 링크만 유포 시점에 바꿨기 때문에 저장소 생성 시점만으로는 악성 여부를 가리기 어렵다고 했다. 대표 사례 저장소는 7월 10일에 만들어졌다.
• 감염되면: 시스템 정보 수집, 추가 악성 파일 다운로드, 외부 명령 실행, 재부팅 후에도 동작하는 지속성 설정이 이뤄질 수 있다.
• AI가 한 일: AI가 공격을 수행한 사고가 아니다. AI 도구의 인기가 미끼가 됐다. KISA는 "국내는 AI 서비스와 보조도구 활용이 활발한 만큼" 피해가 우려된다며 공식 배포처에서만 내려받으라고 권고했다.
• 점검할 것: AI 도구·확장·MCP 서버를 허용목록으로 관리하는가. 개발자 단말에 EDR이 있는가. 감염이 의심되면 그 단말에서 쓰던 자격증명을 모두 폐기·재발급하는 절차가 있는가.

10건에 넣지 않은 함께 볼 AI 보안 사고

• FortiGate 600대·멕시코 정부 9곳: 아마존은 러시아어권 공격자가 여러 상용 생성형 AI로 2026년 1~2월 55개국 이상의 FortiGate 600대 이상을 장악했다고 밝혔다. FortiGate 취약점 악용은 관측되지 않았고, 노출된 관리 포트와 약한 자격증명·단일 인증이 뚫렸다. 갬빗 시큐리티는 1인 운영자가 상용 AI 2종으로 멕시코 정부 조직 9곳을 침해했다고 보고했다(포티게이트·멕시코 정부 침해 분석).
• 프롬프트 인젝션 사고: AI 비서와 에이전트에 숨은 지시를 넣는 공격은 프롬프트 인젝션 사례 6가지에 정리했다.
• ARTEX 흔적이 나온 금융권 연쇄 유출: 금융사 7곳에서 유출이 확인됐다. 지니언스는 "다중인증 적용 여부가 피해를 갈랐다"는 금융감독원 분석을 인용했다(ARTEX 흔적이 나온 은행 연쇄 해킹).
• DeepSeek DB 노출: Wiz는 2025년 1월 인증 없이 열린 DeepSeek DB에서 채팅 기록과 비밀 키가 담긴 로그를 찾았다(DeepSeek DB 유출 사건).
• Vercel과 서드파티 AI 도구: 직원이 쓰던 서드파티 AI 도구가 먼저 침해됐고, 공격자는 그 직원의 계정을 거쳐 일부 고객의 '민감' 미지정 환경변수를 열거·복호화했다(Vercel 사고와 AI 코딩 공급망 리스크).
• AI 인프라 KEV 등재: CISA는 2026년 9월 2일 LiteLLM·Kestra·JFrog Artifactory 취약점을 실제 악용 목록(KEV)에 올렸다(CISA KEV AI 인프라 3종).

AI 해킹 사례 10건의 공통 교훈 5가지

1. 밖에서 보이는 관리 기능과 디버그 페이지를 없앤다. 2FA 우회 제로데이(③)는 웹 관리 도구를, 평가 사고(⑦)는 노출된 디버그 페이지를 노렸다. 국무총리도 정부·공공기관에 운영하지 않거나 방치된 웹사이트부터 정리하라고 지시했다(ASM 자가점검 5단계).
2. 비밀값을 앱·저장소·데이터셋·대화 기록에서 뺀다. APK 속 비밀값(⑤), 공개 데이터셋의 자격증명(⑥), 프런트 JS의 키와 대화 속 API 키(⑧), 감염 PC의 토큰(②)이 모두 노출되거나 탈취됐다. ⑤와 ⑥에서는 이런 비밀값이 침입의 출발점이었다.
3. 패치와 탐지 목표를 '일'에서 '시간'으로 바꾼다. 토큰 2,100여 세트에 약 34시간(⑤), 클러스터 관리자급 권한까지 13시간 미만(⑥)이었고, 연락이 닿은 피해 조직 2곳은 통보 전까지 몰랐다(⑦)(침해사고 1시간 골든타임 액션북).
4. AI 도구와 에이전트는 허용목록·최소 권한·egress 통제로 다룬다. 평가용 에이전트도 격리가 뚫리거나 인터넷 차단이 빠지자 실제 시스템을 공격했다(⑥⑦). 도구 설정 파일(⑨), 위장 배포처(⑩), 감염 PC의 AI CLI(②)도 같은 문제다.
5. 자연스러운 문서도 형식과 행위로 의심한다. 지니언스는 생성형 AI로 만든 것으로 보이는 미끼가 문체가 자연스럽고 구성 완성도가 높다고 분석했다(④). 확장자, 실행 흐름, 요청 경로를 본다.

정리하면 10건 대부분에서 AI는 새 공격법을 만들기보다 오래된 결함을 더 빨리, 더 많이 찾는 데 쓰였다. OpenAI도 보고서에서 최소 권한, 격리·분리, 강한 인증 같은 기본기는 여전히 중요하다고 적었다.

AI 해킹 대비 자가점검 10문항

예/아니오로 답한다.

1. 관리 화면과 원격접속이 지정된 경로에서만 열리는가?
2. 관리자·VPN 계정에 MFA가 있는가?
3. 앱(APK)·JS 번들·공개 저장소·공개 데이터셋에 키나 토큰이 없는가?
4. AI API 키의 사용량·호출 위치 경보와 즉시 폐기 절차가 있는가?
5. 인터넷 노출 자산의 KEV·긴급 패치를 시간 단위 목표로 관리하는가?
6. 짧은 시간의 대량 요청과 식별자 순차 조회를 탐지하고 자동 차단하는가?
7. 직원 PC의 AI 도구·확장·MCP 서버를 허용목록으로 관리하는가?
8. 외부 저장소를 AI 코딩 도구로 열기 전에 설정 파일을 확인하는가?
9. 사내 AI 에이전트의 대상 범위·egress·위험 동작 승인 절차가 있는가?
10. 압축파일 속 LNK 차단과 송금 요청의 별도 채널 확인 절차가 있는가?

'아니오'인 항목부터 차례로 조치한다.

외부 검증이 필요할 때

권한 우회나 업무 로직처럼 업무 규칙과 사용자 권한이 얽힌 문제는 서비스 맥락을 알아야 확인할 수 있다. 보안 전문 기업 SENTRIX의 AI 심화 취약점 진단은 합의한 대상·계정·시나리오 안에서 AI 점검 도구로 공격면을 매핑하고 취약점 후보를 모은 뒤, 레드팀이 권한 우회·결제와 업무 로직·연쇄 공격 경로의 재현 여부와 영향을 검토해 수정 방향과 재점검 범위를 제시한다. LLM·AI 서비스는 OWASP LLM Top 10 기준으로 프롬프트 입력, 검색 자료(RAG)의 접근 권한, AI 에이전트의 도구 실행·데이터 전달 범위를 확인한다. 모든 우회 탐지나 모델 안전 인증을 보장하는 서비스는 아니다. 기업(사업자)의 웹 서비스 1개는 AI 웹진단 1회를 무료로 받을 수 있다. 신청 검토 후 NDA 체결과 서면 승인을 거쳐 착수하고, 로그인 이후 권한·업무 로직의 수동 검증은 결과 상담에서 범위를 따로 정한다. 인증서·보안 헤더처럼 외부에서 보이는 설정과 노출만 먼저 보려면 CodeScan 무료 스캔을 쓸 수 있다. 이 스캔은 SQL 인젝션·XSS·인증 우회·프롬프트 인젝션 같은 공격 테스트는 하지 않는다.

공격자의 AI가 찾기 전에, 우리 웹서비스 1개부터 AI로 점검받으세요. 기업 무료 1회 AI 웹진단 신청하기

참고 자료

• 앤트로픽, Disrupting the first reported AI-orchestrated cyber espionage campaign(2025-11-13), 전체 보고서 PDF
• Google GTIG, AI Threat Tracker: Advances in Threat Actor Usage of AI Tools(2025-11-06)
• Google GTIG, AI Threat Tracker: Adversaries Leverage AI for Vulnerability Exploitation, Augmented Operations, and Initial Access(2026-05-12)
• 지니언스, AI를 공격 체계에 접목하는 김수키, 미끼 문서 제작부터 로컬 LLM 구축까지(2026-08-10)
• 지니언스, AI Agent 'opencode'로 미끼를 만든 김수키, GitHub PAT 기반 LNK 공격 진화(2026-09-07)
• 앤트로픽, Detecting and countering misuse of AI: September 2026
• OpenAI, OpenAI-Hugging Face Incident Technical Report(2026-08)
• Hugging Face, Anatomy of a Frontier Lab Agent Intrusion: A Technical Timeline of the July 2026 Incident(2026-07-27)
• 앤트로픽, Investigating three real-world incidents in our cybersecurity evaluations(2026-07-30)
• Wiz, Hacking Moltbook: The AI Social Network Any Human Can Control(2026-02-02)
• StepSecurity, Miasma Worm Hits Microsoft Again(2026-06-05)
• StepSecurity, hackerbot-claw: An AI-Powered Bot Actively Exploiting GitHub Actions(2026-03-01)
• KISA, AI 개발도구 위장 악성코드 유포 주의 권고(2026-07-16)
• KISA, 사이버 위협 동향 보고서(2026년 상반기)(2026-07-30)
• 국무조정실, 금융·공공기관 개인정보 유출 대응 관계장관회의 보도자료(2026-10-06)
• 지니언스, 금융분야 침해사고 이슈 분석(2026-10-12)
• CISA, Known Exploited Vulnerabilities Catalog(CVE-2026-66384, CVE-2026-59822, CVE-2026-49869 등)
• Amazon, AI-augmented threat actor accesses FortiGate devices at scale(2026-02-20)
• Gambit Security, A Single Operator, Two AI Platforms, Nine Government Agencies: The Full Technical Report(2026-04-10)
• Wiz, Wiz Research Uncovers Exposed DeepSeek Database Leaking Sensitive Information, Including Chat History(2025-01-29)
• Vercel, Vercel April 2026 security incident