AI 보안 · 2026년 7월 9일 · 약 7분

Anthropic GRAM 사용법 관점, 위험한 AI 지식 off switch 연구를 실무자가 읽는 방법

Anthropic과 AE Studio가 이중용도 AI 지식을 removable module로 나누는 GRAM 연구를 공개했다. 아직 Claude 제품에 적용된 기술은 아니지만, AI 보안과 모델 도입을 검토하는 팀이 무엇을 물어봐야 하는지 정리했다.

• Anthropic GRAM
• AI 안전
• dual-use AI
• AI 보안
• 모델 도입 체크리스트

출처: Anthropic Research

Anthropic과 AE Studio가 2026년 7월 8일 GRAM이라는 AI 안전 연구를 공개했습니다. GRAM은 Gradient-Routed Auxiliary Modules의 줄임말입니다. 쉽게 말하면 사이버보안, 바이러스학, 핵물리처럼 좋은 목적과 나쁜 목적에 모두 쓰일 수 있는 지식을 모델 안의 별도 모듈로 학습시키고, 배포할 때 그 모듈을 켜거나 뺄 수 있는지 살핀 연구입니다.

이 글을 “Claude에 위험 지식 off switch가 생겼다”로 읽으면 과합니다. Anthropic은 GRAM이 예비 연구이며 production Claude 모델에 적용되지 않았고, 앞으로 적용될지도 확실하지 않다고 밝혔습니다. 다만 기업이 AI 모델을 고를 때 단순한 거절 문구나 정책 설명을 넘어, 위험 기능을 어떤 구조로 통제하는지 물어봐야 한다는 점은 분명해졌습니다.

핵심 키워드

• Anthropic GRAM 사용법
• AI 위험 지식 off switch
• dual-use AI 안전
• AI 모델 보안 검토
• AI 도입 체크리스트

왜 이중용도 지식이 어려운가

이중용도 지식은 같은 능력이 방어와 공격에 모두 쓰이는 영역을 뜻합니다. 취약점 분석은 보안팀이 서비스를 지키는 데 필요하지만, 공격자가 침투 경로를 찾는 데도 쓸 수 있습니다. 바이러스학 지식은 백신 연구에 필요하지만, 위험한 생물학적 설계에도 악용될 수 있습니다.

기존 안전장치와 GRAM의 차이

현재 많은 AI 안전장치는 요청과 답변을 보고 막는 방식에 가깝습니다. 위험한 요청을 거절하도록 학습시키거나, 입력과 출력을 분류기로 검사합니다. 이 방식은 실제 배포에서 필요하지만 약점도 있습니다. 사용자가 우회 표현을 쓰거나 여러 단계로 쪼개 물으면 방어가 흔들릴 수 있고, 반대로 정상적인 보안 업무가 과하게 막힐 수도 있습니다.

GRAM은 답변을 막는 층만 보지 않고 모델이 지식을 저장하는 방식을 다룹니다. Anthropic 설명에 따르면 일반 텍스트를 배울 때는 보통처럼 학습하지만, 이중용도 데이터가 나오면 관련 모듈만 배우게 하고 일반 가중치는 얼립니다. 나중에 특정 모듈을 삭제하면 해당 능력이 줄어드는지 실험한 것입니다.

연구 결과를 어디까지 믿어야 하나

Anthropic은 GRAM을 세 가지 환경에서 시험했다고 설명했습니다. 어린이 이야기처럼 단순한 데이터, 웹 텍스트와 코드와 과학 논문이 섞인 더 현실적인 데이터, 그리고 5천만에서 50억 파라미터까지의 여러 모델 크기입니다. 실험에서는 모듈을 삭제했을 때 해당 지식이 줄어들고 일반 성능 저하는 크지 않은 것으로 나타났습니다.

읽을 때 놓치면 안 되는 제한

• GRAM은 아직 production Claude 모델에 적용된 기능이 아니다.
• 실험 평가는 실제 업무 수행보다 next-token prediction 중심이다.
• 프런티어 규모의 대형 모델 학습 파이프라인에서는 아직 검증되지 않았다.
• 일부 위험 능력은 일반 지식과 너무 얽혀 깔끔하게 분리되지 않을 수 있다.
• 모듈을 뺐다는 설명만으로 접근 권한, 로그, 감사, 사람 검토가 필요 없어진 것은 아니다.

AI 도입팀이 바로 물어볼 질문

이 연구의 실무 가치는 새 기술 이름을 외우는 데 있지 않습니다. 더 좋은 질문을 만드는 데 있습니다. 보안, 의료, 바이오, 금융, 공공 영역에서 AI를 쓰는 팀이라면 “모델이 위험한 질문을 거절하나요?”만 묻지 말고 아래 질문까지 확인해야 합니다.

벤더 검토 질문

• 위험한 기능은 입력 차단, 출력 차단, 모델 버전 분리, 접근 권한 중 어디에서 통제하나요?
• 정상적인 방어 업무가 막혔을 때 이의 제기나 승인 절차가 있나요?
• 고위험 기능을 허용하는 trusted deployment와 일반 사용자 배포가 분리되어 있나요?
• 우회 시도, 오탐, 차단 해제 요청은 감사 로그로 남나요?
• 새 안전 연구가 실제 제품 모델에 적용됐는지, 아니면 연구 단계인지 명확히 표시하나요?

복사해서 쓰는 내부 검토 프롬프트

아래 템플릿은 팀에서 AI 모델이나 보안 기능을 검토할 때 쓸 수 있습니다. AI에게 결론을 대신 내리게 하기보다, 확인할 질문과 증거를 표로 정리하게 만드는 용도입니다.

AI 안전 검토 템플릿

• 목표: [도입하려는 AI 모델 또는 기능]의 이중용도 위험 통제 방식을 검토한다.
• 사용 영역: [코드 보안 / 의료 문서 / 바이오 연구 / 내부 문서 검색 / 고객지원]에 쓸 예정이다.
• 확인할 것: 접근 권한, 위험 요청 차단, 정상 업무 오탐 처리, 감사 로그, 사람 승인 단계를 표로 정리한다.
• 근거 기준: 공식 문서, 시스템 카드, 보안 백서, 계약서, 관리자 설정 화면에 있는 내용만 확정으로 표시한다.
• 주의: 연구 블로그에 나온 기술이 제품에 적용됐다고 추정하지 말고, 적용 여부가 불명확하면 확인 필요로 남긴다.
• 출력: 바로 물어볼 벤더 질문 10개와 내부 정책으로 정할 항목 5개를 나눠 작성한다.

작은 조직은 무엇부터 바꾸면 좋나

작은 팀이 GRAM 같은 연구를 직접 적용할 수는 없습니다. 그래도 운영 방식은 바꿀 수 있습니다. 먼저 AI에게 맡기는 업무를 위험도별로 나누고, 고위험 업무에는 승인과 기록을 붙이는 것입니다. 보안 취약점 분석, 개인정보 처리, 법률 문서, 의료 정보, 실제 고객 발송은 일반 글쓰기와 같은 권한으로 다루면 안 됩니다.

오늘 바로 할 일은 간단합니다. 팀에서 AI가 다뤄도 되는 업무와 반드시 사람 승인이 필요한 업무를 한 장 표로 나누세요. GRAM처럼 모델 내부를 바꾸는 연구가 성숙하더라도, 조직 안의 권한과 검토 기준이 없으면 안전한 도입으로 이어지지 않습니다.