Check Point Research는 11월 5일, OpenAI AI 챗봇 서비스의 잠금 모드(Lockdown Mode)를 우회해 대화 기록을 외부 서버로 보낸 연구를 공개했습니다. 우회 통로는 모델이 아니라 코드 블록의 HTML 미리보기 화면이었고, 데스크톱 앱에서는 사용자가 아무것도 누르지 않아도 대화만으로 유출이 일어났습니다.

OpenAI는 9월 18일 이 문제를 고쳤습니다. 올해 3월 Microsoft가 공개한 Microsoft 365 Copilot 취약점 CVE-2026-24299도 같은 모양입니다. 문서를 요약해 달라고 했을 뿐인데 화면에 그려진 미리보기가 외부로 데이터를 실어 보냈습니다.

이 글은 AI 비서를 도입한 회사의 관리자가 무엇을 켜고 끌지에 집중합니다. 사례 세 건에서 '클릭 없이 새는 구조'를 뽑아내고, 외부 연결, 링크·이미지·미리보기 렌더링(화면에 그리는 기능), 커넥터 권한, 메모리, 로그 다섯 축으로 점검표를 정리합니다. 공격 수법 자체의 사례 모음은 프롬프트 인젝션 사례 6가지에 따로 정리해 두었습니다.

한눈에 보기

항목 내용
최신 사례 OpenAI AI 챗봇 서비스 잠금 모드 우회. Check Point Research 공개(2026-11-05), OpenAI 수정(2026-09-18)
우회 통로 코드 블록 HTML 미리보기(2026년 2월 추가 기능)의 중첩 프레임이 팝업 창을 허용했고, 팝업이 샌드박스(격리 실행 공간) 제한 밖에서 열렸다
클릭 필요 여부 Electron 기반 데스크톱 앱(Classic)에서는 사용자 동작 없이 창이 열려, 대화만으로 유출이 가능했다(Check Point)
유출 시연 대화 기록 전체가 알림 없이 제3자 서버로 전송. 팝업 화면을 공격자가 꾸며 가짜 업데이트 피싱도 가능
배경 사례 Microsoft 365 Copilot CVE-2026-24299. MSRC 공개 2026-03-19, 정보 노출, 심각도 Critical, CVSS 3.1 기본 점수 5.3, 고객 조치 불필요(서비스 쪽 수정)
Copilot 경로 문서 요약 요청 → 문서 속 숨은 지시 → HTML 미리보기 표시 → CSS 배경 이미지·웹 글꼴 주소로 외부 요청. 메모리 기능에 지시를 심어 이후 대화에서도 반복
벤더 완화 OpenAI 논문 「Preventing URL-Based Data Exfiltration in Language-Model Agents」. 사용자 데이터에 접근하지 않는 검색 크롤러가 이미 본 주소만 자동으로 불러온다
관리자 핵심 보호 기능의 외부 요청 통제가 미리보기·팝업·데스크톱 앱 같은 모든 화면 경로에 똑같이 적용되는지 확인해야 한다. 메모리와 연결 앱은 따로 점검

무엇이 일어났나: 사례 세 건

1. 잠금 모드 우회 (Check Point Research, 11월 5일 공개)

잠금 모드는 프롬프트 인젝션(문서·웹페이지 속에 숨긴 지시로 AI를 조종하는 공격)이 데이터를 밖으로 빼내는 위험을 줄이려는 선택형 보안 설정입니다. The Hacker News 보도에 따르면 OpenAI는 6월 이 기능을 Free·Go·Plus·Pro 개인 계정과 셀프서브 Business 요금제로 넓혔습니다. Check Point 원문이 정리한 제한 항목은 다음과 같습니다.

  • 실시간 웹 접근을 캐시된 내용으로 제한
  • 외부 이미지 표시 차단
  • Canvas(코드·문서 편집 화면)의 코드가 네트워크에 접근하는 것 차단
  • Deep Research, 에이전트 모드, 실시간 커넥터, 파일 다운로드 끄기

설계 자체는 촘촘했습니다. 문제는 잠금 모드가 다루지 않는 화면 기능에서 나왔습니다. 2월에 추가된 HTML 미리보기는 사용자가 넣은 HTML을 격리된 프레임 안에서 그려 줍니다. 앱은 새 창을 여는 직접 호출을 가로챘지만, 프레임의 샌드박스 권한에는 팝업 허용과 '팝업이 샌드박스 밖으로 나가는 것' 허용이 남아 있었습니다. 그래서 페이지 안에 프레임을 하나 더 만들면 제한이 걸리지 않은 팝업을 열 수 있었고, 그 창은 잠금 모드의 외부 요청 제한을 받지 않았습니다.

Check Point는 공격 문구가 세 경로로 들어올 수 있다고 밝혔습니다.

  1. 악성 프롬프트
  2. 악성 맞춤형 GPT
  3. 공유된 대화 링크

웹 화면과 데스크톱 앱 모두 영향을 받았고, 데스크톱 앱은 더 위험했습니다. Electron 기반 Classic 앱에서는 사용자 동작 없이도 창이 열려, 대화를 나누는 것만으로 공격이 실행됐습니다. 시연 영상에서는 대화 기록 전체가 알림 없이 제3자 서버로 넘어갔습니다. 팝업 화면은 공격자가 마음대로 꾸밀 수 있어 가짜 업데이트 안내로 악성 파일을 받게 하는 피싱에도 쓸 수 있었습니다. OpenAI는 9월 18일 바깥 미리보기 프레임에서 두 팝업 권한을 빼는 방식으로 고쳤고, Check Point는 수정 뒤 공격이 더 이상 통하지 않음을 확인했습니다.

The Hacker News 보도에 따르면 OpenAI는 잠금 모드를 소개하며 "데이터 유출이 일어나지 않는다고 보장하지는 않는다", "켜 둔 앱, 예상하지 못한 기능 조합, 새 기법으로 위험이 남을 수 있다"고 밝혔습니다. 이번 연구는 그 문장이 현실이 된 사례입니다. Check Point도 같은 결론을 냅니다. AI 보안 통제는 그것을 둘러싼 애플리케이션 환경만큼만 강하다는 것입니다.

같은 연구소는 9월 8일, 서로 다른 계정의 코드 실행 환경 사이에 숨은 통로가 생겨 피해자 세션의 데이터와 연결 앱(예: Gmail)을 쓸 수 있었던 문제도 공개했습니다. OpenAI는 원인이 된 내부 저장소 서비스를 내려 이 문제를 막았습니다. 여기서도 전달 경로는 악성 프롬프트, 공유 대화, 맞춤형 GPT였습니다.

2. Microsoft 365 Copilot CVE-2026-24299

Microsoft 보안 대응 센터(MSRC)는 3월 19일 이 CVE를 'M365 Copilot 정보 노출 취약점'으로 공개했습니다. 심각도는 Critical, CVSS 3.1 기본 점수는 5.3이고, 이미 서비스 쪽에서 완화돼 고객이 할 조치는 없다고 적었습니다. 점수가 낮아 보이는 이유는 사용자 상호작용이 필요하다고 매겼기 때문입니다(UI:R). 여기서 '상호작용'은 링크 클릭이 아니라 문서 요약 요청 같은 평소 업무입니다.

연구자 Johann Rehberger(Embrace The Red)가 5월 4일 DEF CON Singapore 발표와 함께 공개한 경위는 이렇습니다.

  1. 공격자가 숨은 지시를 넣은 문서를 메일로 공유하거나 SharePoint에 올린다.
  2. 사용자가 문서를 올리고 요약을 요청한다. Copilot은 평범한 답을 돌려준다.
  3. 숨은 지시가 'HTML 미리보기를 보여 줘'라고 요구하면 Copilot이 클릭 없이 미리보기를 띄운다.
  4. <img> 태그는 걸러졌지만 CSS 배경 이미지와 웹 글꼴(@font-face) 주소는 남아 있었다. 브라우저가 이 주소를 불러오는 순간 데이터가 주소에 실려 공격자 서버로 간다.
  5. 메모리 기능에 지시를 저장시키면, 이후 사용자가 비밀번호나 코드 이야기를 할 때마다 같은 유출이 반복된다.

연구자는 2025년 10월 16일 처음 신고했고, 메모리 조작은 2025년 12월 6일, HTML 미리보기 유출은 2026년 3월 5일 수정 완료됐다고 밝혔습니다. 소비자용 Copilot도 같은 메모리 조작과 유출에 취약했습니다.

관리자가 눈여겨볼 부분은 수정이 끝난 뒤에도 남는 설정입니다. Microsoft 공식 문서(11월 3일 갱신)는 다음을 적고 있습니다.

항목 Microsoft 문서 기준
메모리 기본값 메모리를 쓰게 하는 '향상된 개인 설정(Enhanced personalization)'은 기본으로 켜짐
감사 로그 메모리와 개인 설정 동작은 Purview 감사 로그 항목을 만들지 않음
저장 내용 제한 관리자는 메모리에 들어가는 정보 종류를 제한할 수 없음
메모리 종류 저장된 메모리, 대화 기록에서 추론한 정보, 사용자 지정 지침 세 가지. 사용자 메일함의 숨은 폴더에 저장
보존 정책 Purview 보존 정책·보존 레이블은 Copilot 메모리에 적용되지 않음. 저장된 메모리는 사용자가 지울 때까지 남음
끄는 법 관리자가 향상된 개인 설정을 끄면 사용자가 다시 켤 수 없음. 저장된 메모리와 사용자 지정 지침은 적용만 멈추고 지워지지 않음. 대화 기록에서 추론한 정보는 끈 뒤 30일 안에 삭제
조사 저장된 메모리와 추론한 정보는 eDiscovery·콘텐츠 검색으로 찾고 Graph Explorer와 함께 지울 수 있음. 사용자 지정 지침은 검색되지 않아 사용자가 설정 화면에서 직접 확인·내보내기

3. OpenAI의 URL 기반 유출 완화 논문

두 사건의 공통 통로는 '주소에 데이터를 실어 보내는 것'입니다. OpenAI 연구진(Adrian Spânu, Thomas Shadwell)의 논문은 이 통로를 정면으로 다룹니다. 문서에 적힌 날짜는 2025년 1월 20일이고, Embrace The Red는 2026년 2월 4일 이 논문을 소개했습니다.

단계 방식 한계
처음 평판 좋은 도메인만 자동으로 불러오는 허용 목록 실제 방문 주소의 약 10%만 덮었고, 오픈 리디렉션(믿을 만한 도메인을 거쳐 다른 곳으로 보내는 기능)으로 우회됐다
지금 사용자 데이터에 접근하지 않는 검색 크롤러가 이미 방문한 주소와 정확히 같을 때만 자동 허용 세션 정보가 든 주소는 색인에 없다. 글자·숫자별 주소 36개를 미리 색인시켜 한 글자씩 보내는 '키보드 공격'이 이론상 남는다

논문은 이 장치가 보장하는 것은 '불러오는 행위가 사용자 데이터를 흘리지 않는다'는 것뿐이고, 내용이 안전하다는 보장은 아니라고 선을 긋습니다. 또 모델 자체의 방어력이 자랄 때까지 메우는 보완 통제라고 설명합니다.

관리자에게 주는 의미는 분명합니다. 논문의 위협 모델과 잠금 모드는 모두 이미지 같은 외부 리소스를 불러오는 경로를 통제 대상에 넣고 있습니다. 잠금 모드 우회와 CVE-2026-24299는 그 통제가 특정 미리보기 구현에서 똑같이 걸리지 않은 틈에서 나왔습니다. 그래서 '보호 기능을 켰다'로 점검을 끝내지 말고, 외부 요청 통제가 미리보기·팝업·데스크톱 앱 같은 모든 화면 경로에 똑같이 적용되는지 확인해야 합니다.

왜 클릭 없이 새는가: 세 조건

세 사례를 겹쳐 보면 유출에는 세 조건이 함께 있었습니다.

조건 사례에서 관리자가 줄일 수 있는 것
회사 데이터에 접근 대화 기록, 업로드 파일, 메모리, 메일·문서 커넥터 범위, 메모리 사용 여부
믿을 수 없는 내용이 들어옴 외부에서 받은 문서, 공유 대화, 맞춤형 GPT, 웹페이지 공유 대화·외부 GPT 사용 정책, 외부 문서 처리 규칙
밖으로 나가는 통로 이미지·글꼴 주소, 팝업 창, 웹 검색, 링크 웹 접근, 렌더링 기능, 데스크톱 앱 관리

세 조건 가운데 하나만 끊어도 이번 같은 유출은 크게 어려워집니다. 다만 업무에 쓰려고 도입한 기능이라 셋을 한꺼번에 끄기는 어렵습니다. 아래 점검은 '어느 부서, 어떤 데이터에서 무엇을 끊을지'를 정하는 순서로 짰습니다.

우리 회사에 해당하는지 확인하는 법

질문 해당하면 어디서 확인
직원이 OpenAI AI 챗봇 서비스를 회사 업무에 쓰는가(회사 계약·개인 계정 포함) 잠금 모드 우회 사례의 영향권. 개인 계정 사용은 관리자가 설정을 볼 수 없다 구매 내역, 프록시·DNS 접속 기록, 직원 설문
데스크톱 앱을 설치해 쓰는가 클릭 없는 유출이 시연된 환경 자산 관리 도구의 설치 목록, 앱 버전
Microsoft 365 Copilot 또는 Copilot Chat을 쓰는가 CVE-2026-24299 같은 문서 경유 유출의 영향권 Microsoft 365 관리 센터 라이선스·사용 보고서
AI 비서가 메일·드라이브·SharePoint·사내 시스템에 연결돼 있는가 유출될 수 있는 데이터 범위가 연결 범위만큼 넓어짐 커넥터·앱 승인 목록, OAuth 동의 기록
메모리(기억) 기능이 켜져 있는가 숨은 지시가 저장돼 이후 대화에서 반복될 수 있음 Copilot 향상된 개인 설정 상태, 사용자 설정
외부에서 받은 문서·공유 대화·외부 맞춤형 GPT를 AI에 그대로 넣는가 공격 문구가 들어오는 입구 업무 지침, 부서별 사용 사례
AI 대화·검색 기록을 관리자가 조회할 수 있는가 못 하면 사고가 나도 범위를 정할 수 없음 Purview 감사·DSPM for AI, 각 서비스의 관리자 로그 기능

첫 줄이 가장 자주 빠집니다. 회사가 계약하지 않은 개인 계정에서는 잠금 모드, 커넥터, 로그 어느 것도 관리자가 정할 수 없습니다. 회사 데이터가 개인 계정으로 들어가는지부터 확인합니다.

관리자 설정 점검표: 다섯 축

외부 연결

  • Microsoft 365: 웹 검색은 Microsoft 365용 Cloud Policy 서비스의 'Allow web search in Copilot' 정책으로 켜고 끕니다. 이 정책을 설정하지 않으면 웹 검색은 기본으로 쓸 수 있습니다. 업무 모드에서만 끄는 선택지도 있습니다.
  • Microsoft 문서에 따르면 Bing으로 가는 것은 대화 전체가 아니라 몇 단어로 만든 검색어입니다. 다만 열어 둔 문서 내용이 검색어에 영향을 줄 수 있으니 기밀 문서를 다루는 부서는 업무 모드 웹 검색을 끄는 쪽을 검토합니다.
  • OpenAI AI 챗봇 서비스: 민감 데이터를 다루는 사용자에게 잠금 모드를 켭니다. 보도에 따르면 잠금 모드와 개발자 모드는 함께 쓸 수 없고, 하나를 켜면 다른 하나가 꺼집니다. 회사 워크스페이스에서 관리자가 일괄 지정할 수 있는지는 요금제별 OpenAI 도움말에서 확인합니다.

링크·이미지·미리보기 렌더링

  • 두 사례 모두 미리보기 화면이 통로였습니다. 서비스가 미리보기·Canvas 같은 화면 기능을 관리자 설정으로 끌 수 있는지 확인하고, 끌 수 없다면 그 사실을 위험 기록에 남깁니다.
  • 데스크톱 앱은 웹보다 제약이 느슨할 수 있습니다. 사용을 허용할 앱과 버전을 정하고, 자동 업데이트가 막혀 있지 않은지 봅니다.
  • 사내에서 직접 만든 AI 챗봇이라면 답변의 마크다운 이미지, HTML, CSS 외부 주소를 그대로 그리지 않게 하고, 콘텐츠 보안 정책(CSP, 브라우저가 불러올 수 있는 출처를 제한하는 헤더)으로 이미지·글꼴·프레임 출처를 묶습니다. 리디렉션 우회는 오픈 리디렉션 글을 참고합니다.

커넥터·앱 권한

  • 연결된 메일·드라이브·업무 시스템 목록을 뽑고, 부서마다 꼭 필요한 연결만 남깁니다.
  • 읽기만 필요한 연결에 쓰기 권한이 붙어 있지 않은지 봅니다. AI 비서가 대신 쓰는 권한은 그 사용자의 권한 그대로라는 점을 기억합니다.
  • 외부에서 만든 맞춤형 GPT·플러그인 사용 정책을 정합니다. Check Point 사례 두 건 모두 맞춤형 GPT와 공유 대화가 입구였습니다.
  • 사내 시스템을 AI에 붙이는 MCP 서버를 운영한다면 MCP 보안 자가점검의 인증·외부 요청 항목을 함께 봅니다.

메모리

  • Microsoft 365 Copilot의 향상된 개인 설정은 기본으로 켜져 있습니다. 민감 부서부터 끌지 정합니다. Microsoft Graph의 enhancedPersonalizationSetting으로 대상 그룹을 지정할 수 있습니다.
  • 끈다고 저장된 메모리와 사용자 지정 지침이 지워지지는 않습니다(대화 기록에서 추론한 정보만 30일 안에 삭제). 사고가 의심되면 eDiscovery로 저장된 메모리와 추론한 정보를 찾아 확인하고 지웁니다. 사용자 지정 지침은 eDiscovery에 잡히지 않으니 해당 사용자에게 설정 화면에서 직접 확인하게 합니다.
  • 직원 교육에 '내 AI 비서 설정의 저장된 메모리를 가끔 열어 보라'를 넣습니다. 내가 저장한 적 없는 지시가 있으면 보고하게 합니다.

로그

  • Microsoft 365: Purview 감사 로그와 DSPM for AI의 활동 탐색기에서 프롬프트, 답변, 생성된 웹 검색어를 볼 수 있습니다. 감사 로그가 켜져 있고 보관 기간이 사고 조사에 충분한지 확인합니다.
  • 메모리 변경은 감사 로그에 남지 않습니다. 이 빈칸을 정기 eDiscovery 점검과 사용자 신고로 메우되, 사용자 지정 지침은 eDiscovery 점검에서 빠진다는 점을 점검 기록에 적어 둡니다.
  • OpenAI AI 챗봇 서비스: 회사 워크스페이스에서 대화·연결 앱 활동을 관리자가 내보낼 수 있는지 계약 요금제 기준으로 확인합니다. 볼 수 없다면 민감 데이터 사용 범위를 그만큼 좁힙니다.

대응 순서

오늘

  1. 회사에서 쓰는 AI 비서 목록을 만든다. 회사 계약, 부서 단위 결제, 개인 계정 사용을 나눠 적는다.
  2. 데스크톱 앱 설치 현황을 뽑고, 최신 버전으로 올라와 있는지 확인한다.
  3. 민감 데이터(고객 개인정보, 계약서, 소스코드, 인증 정보)를 다루는 사용자에게 잠금 모드 같은 보호 설정을 켠다.
  4. 외부에서 받은 문서와 공유 대화 링크를 AI 비서에 그대로 넣지 말라는 공지를 낸다.

이번 주

  1. Microsoft 365라면 'Allow web search in Copilot' 정책과 향상된 개인 설정 상태를 확인하고, 민감 부서의 적용값을 정한다.
  2. 연결된 커넥터·앱 목록을 뽑아 부서별 필요 여부를 표시하고, 쓰지 않는 연결과 과한 쓰기 권한을 회수한다.
  3. 외부 맞춤형 GPT·플러그인 허용 규칙을 정한다.
  4. Purview 감사 로그 또는 해당 서비스의 관리자 로그가 실제로 쌓이는지 샘플 계정으로 확인한다.

이번 달

  1. AI 비서 사용 정책을 문서로 만든다. 넣어도 되는 데이터, 넣으면 안 되는 데이터, 외부 문서 처리, 메모리 사용, 신고 절차를 담는다.
  2. 사내에서 만든 AI 챗봇·RAG(사내 문서를 검색해 답하는 구조) 서비스가 있다면 답변 렌더링과 외부 주소 차단을 점검한다. 구조별 위험은 사내 AI 챗봇 RAG 정보유출 자가점검에 정리해 두었습니다.
  3. 숨은 지시를 넣은 시험 문서로 '요약 요청 → 외부 요청 발생' 여부를 자사 환경에서 점검한다. 시험은 사내 계정과 관리 중인 수신 서버에서만 한다.
  4. 벤더 보안 공지와 연구 공개를 받아 볼 담당자를 정하고, AI 비서도 패치 관리 대상 목록에 넣는다.

자가점검

1. 회사 데이터가 들어가는 AI 비서를 빠짐없이 알고 있는가

회사 계약만 세면 개인 계정 사용이 빠집니다. 관리자가 설정을 볼 수 없는 곳에 회사 데이터가 있는지가 첫 질문입니다.

2. 민감 데이터 사용자에게 외부 요청을 줄이는 설정을 켰는가

잠금 모드나 웹 검색 끄기 같은 설정이 누구에게 적용됐는지 이름 단위로 답할 수 있어야 합니다.

3. 보호 설정을 켠 뒤에도 남는 통로를 적어 두었는가

미리보기 화면, 데스크톱 앱, 켜 둔 연결 앱은 보호 설정 밖에 있을 수 있습니다. 벤더 스스로 보장하지 않는다고 밝힌 부분입니다.

4. 커넥터마다 이유와 담당자가 있는가

이유가 없는 연결은 유출 범위만 넓힙니다. 쓰기 권한은 특히 따로 봅니다.

5. 메모리 기능의 기본값을 알고 정책으로 정했는가

Copilot 메모리는 기본으로 켜져 있고 변경 기록이 감사 로그에 남지 않습니다. 켤지, 누구에게 켤지 정한 기록이 있어야 합니다.

6. 외부 문서·공유 대화를 AI에 넣는 규칙이 있는가

세 사례의 입구는 모두 밖에서 들어온 내용이었습니다. 금지보다 '어떤 데이터와 함께 쓰지 말 것'을 정하는 편이 지켜집니다.

7. 사고가 나면 어떤 대화와 데이터가 나갔는지 로그로 답할 수 있는가

로그가 없으면 신고 범위도, 고객 통지 대상도 정할 수 없습니다. 개인정보 유출 신고 기한 안에 답할 수 있는지 봅니다.

8. AI 비서를 패치·공지 관리 대상에 넣었는가

두 사례 모두 서비스 쪽에서 고쳤지만, 데스크톱 앱 버전과 설정은 회사가 챙겨야 합니다.

AI 비서와 사내 AI 서비스, 실제로 새는지 확인하기

보안 전문 기업 SENTRIX는 레드팀 운영과 보안 실무 10년 경험을 바탕으로 AI 모의해킹·AI 심화 취약점 진단을 합니다. AI 자동화와 전문가 검증으로 웹·API의 권한, 비즈니스 로직, 연쇄 공격 경로를 확인하고, 사내에 붙인 LLM·AI 서비스 자체의 보안도 검증합니다. 수상 이력은 2025 식약처 주최 AI 레드팀 챌린지 최우수상(구성원)입니다. 사내 챗봇이 외부 문서를 받아 답하는 구조라면 답변 렌더링, 연결 권한, 외부 요청 경로를 실제 공격 흐름으로 점검합니다. 기업은 웹 서비스 1개에 대해 AI 웹진단 1회를 무료로 받을 수 있고, 조건은 AI 모의해킹·AI 심화 취약점 진단 페이지에 있습니다. 점검 범위와 일정은 진단 문의하기에서 정합니다.

AI 위협 전반을 우리 회사 기준으로 고르려면 KISA AI 보안 위협 대응 매뉴얼 요약과 OWASP LLM Top 10 한국 기업 자가점검을 함께 보십시오.

참고 자료

우리 회사 AI 비서 유출 경로 점검받기

보안 실무 10년 전문가가 기업 환경에 맞는 방안을 제시합니다.