하네스는 완성되지 않는다
6편까지 하네스의 횡단 계층, 기반 계층, 코어 파이프라인을 모두 다뤘다. 잘 설계하고 잘 구축하면 끝일까?
아니다. 여기서부터가 진짜 어려운 부분이다.
전통적인 보안 시스템은 구축 후 상대적으로 안정적이다. 방화벽 규칙은 네트워크 토폴로지가 바뀌지 않는 한 몇 달간 유효하다. WAF 규칙은 웹 애플리케이션이 업데이트되지 않으면 그대로 동작한다. IDS 시그니처는 정기적으로 업데이트하면 된다. 시스템의 동작이 결정론적이므로, 한 번 검증된 보안 통제는 환경이 변하지 않는 한 계속 유효하다.
AI 보안 하네스는 이 전제가 성립하지 않는다. 환경이 “항상” 변한다.
모델이 변한다. AI 공급업체는 수시로 모델을 업데이트한다. OpenAI, Anthropic, Google 모두 수주~수개월 주기로 새 버전을 출시한다. 모델이 바뀌면 같은 프롬프트에 대한 응답 패턴이 달라지고, 같은 가드레일이 다르게 작동할 수 있다. 어제까지 잘 막던 프롬프트 인젝션 패턴이 새 모델에서는 통과할 수 있다.
공격이 변한다. 프롬프트 인젝션 기법은 빠르게 진화한다. 연구자와 공격자 모두 새로운 우회 기법을 지속적으로 발견한다. 다국어 우회, 인코딩 트릭, 간접 인젝션의 새로운 벡터 등이 수일~수주 단위로 등장한다.
규제가 변한다. EU AI Act는 단계적으로 시행되고 있으며, 각국의 AI 규제가 빠르게 구체화되고 있다. 새로운 규제가 시행되면 정책과 기술 통제를 함께 조정해야 한다.
비즈니스가 변한다. 새로운 AI 사용 사례가 끊임없이 등장한다. 챗봇으로 시작한 조직이 RAG를 도입하고, 이어서 에이전트를 배포한다. 사용 사례마다 새로운 위험이 추가되고, 합의선이 재조정되어야 한다.
하네스 자체가 노후화된다. 시간이 지나면서 정책과 실제 운영의 괴리가 누적된다. 예외가 쌓이고, 임시 조치가 영구화되며, 문서화되지 않은 변경이 발생한다. 이것을 엔트로피(Entropy)라고 부른다. 관리하지 않으면 하네스는 서서히 무력화된다.
진화 계층은 이 모든 변화에 하네스가 적응하도록 하는 피드백 루프다. 1편에서 “지속 적응”을 5대 원칙의 하나로 제시한 바 있다. 이 편은 그 원칙의 기술적 구현이다.
가드레일 효과성 측정
하네스가 실제로 효과적인지 측정하지 않으면, 효과적이라고 믿을 근거가 없다. “가드레일을 설치했으니 안전하다”는 착각은 위험하다.
핵심 지표 3가지
가드레일의 효과를 측정하는 핵심 지표는 세 가지다.
거부율(Rejection Rate). 가드레일이 차단한 요청의 비율이다. 전체 요청 중 입력 가드레일 또는 출력 가드레일에 의해 차단된 요청이 몇 퍼센트인지를 추적한다. 거부율 자체는 높다고 좋은 것도, 낮다고 좋은 것도 아니다. 중요한 것은 변화 추이다. 갑자기 거부율이 올라갔다면 새로운 공격 시도가 늘었거나, 가드레일 규칙이 변경되었거나, 모델 업데이트로 오탐이 늘었을 수 있다. 갑자기 거부율이 내려갔다면 공격 시도가 줄었거나, 가드레일이 우회되고 있을 수 있다. 둘 다 조사가 필요하다.
오탐률(False Positive Rate). 정상적인 요청을 잘못 차단한 비율이다. 사용자가 “시스템 프롬프트는 어떻게 작성하나요?”라는 정상적인 기술 질문을 했는데, 가드레일이 프롬프트 인젝션으로 분류하여 차단한 경우가 오탐이다.
오탐률이 높으면 두 가지 문제가 생긴다. 사용자 경험이 악화된다. 정상적인 업무가 가드레일에 의해 방해받으면 사용자의 불만이 쌓인다. 더 심각한 문제는 Shadow AI로의 이탈이다. 공식 AI 도구가 불편하면 직원들은 개인 계정으로 비공식 AI를 사용하기 시작한다. 보안 통제 밖에서 더 큰 위험이 발생한다. 목표치는 조직마다 다르지만, 5% 미만을 권장한다.
미탐률(False Negative Rate). 악성 요청을 통과시킨 비율이다. 이것은 직접 측정하기 어렵다. 실제 공격이 가드레일을 통과했는지는, 사후에 인시던트가 발생하거나 Red Team 테스트에서 발견될 때만 알 수 있다.
미탐률을 추정하는 가장 현실적인 방법이 Red Team 테스트다. 정기적으로 알려진 공격 기법을 시도하여, 가드레일을 우회하는 데 성공한 비율을 측정한다. 이것이 곧 미탐률의 프록시 지표가 된다. 10% 미만을 목표로 하되, 지속적으로 개선한다.
지표의 함정
지표를 맹신하면 안 된다. 몇 가지 함정이 있다.
오탐률과 미탐률은 트레이드오프 관계다. 가드레일을 느슨하게 하면 오탐이 줄지만 미탐이 늘고, 엄격하게 하면 미탐이 줄지만 오탐이 늘어난다. 이 균형점을 찾는 것이 가드레일 튜닝의 핵심이다.
거부율이 0%라고 가드레일이 필요 없다는 뜻이 아니다. 가드레일이 존재하는 것 자체가 억제 효과(Deterrence)를 가진다. 보안 카메라가 범죄를 녹화하지 않아도 범죄를 줄이는 것과 같다.
지표는 “알려진 위협”에 대한 것이다. Red Team이 시도하지 않은 공격 기법에 대해서는 미탐률을 알 수 없다. 따라서 Red Team의 공격 시나리오를 지속적으로 확장하는 것이 중요하다.
모델 업데이트 대응
모델 변경이 하네스에 미치는 영향
AI 공급업체가 모델을 업데이트하면, 조직의 하네스에 여러 영향을 줄 수 있다.
가드레일 호환성. 기존 가드레일의 프롬프트 인젝션 탐지 정확도가 달라질 수 있다. 새 모델이 이전 모델과 다른 방식으로 명령을 해석하면, 기존에 효과적이었던 시스템 프롬프트 경화 기법이 무력화될 수 있다.
시스템 프롬프트 동작. 같은 시스템 프롬프트라도 새 모델에서 다르게 해석될 수 있다. 에이전트의 행동 경계, 거부 패턴, 도구 호출 판단이 달라질 수 있다.
출력 패턴. 새 모델의 출력 형식이나 스타일이 달라지면, 출력 가드레일의 PII 탐지나 환각 탐지 정확도에 영향을 줄 수 있다.
성능 변화. 새 모델의 처리 속도나 토큰 효율이 달라지면, 서킷 브레이커의 임계치를 재조정해야 할 수 있다.
모델 업데이트 대응 절차
새 모델을 프로덕션에 배포하기 전에 반드시 하네스 호환성 검증을 수행해야 한다.
1단계: 골든 테스트 스위트 실행. 미리 준비된 테스트 세트를 새 모델에 실행한다. 골든 테스트 스위트에는 정상 시나리오(주요 사용 사례별 대표 프롬프트와 기대 응답), 공격 시나리오(알려진 프롬프트 인젝션 패턴, 탈옥 시도), 경계 시나리오(가드레일의 오탐이 발생하기 쉬운 프롬프트)가 포함된다. 각 시나리오의 결과를 이전 모델과 비교하여, 행동 변화가 있는지 식별한다.
2단계: 가드레일 재검증. 골든 테스트에서 변화가 감지된 영역에 대해 가드레일의 정확도를 재측정한다. 오탐률과 미탐률의 변화를 확인한다. 필요하면 가드레일 규칙이나 임계치를 조정한다.
3단계: 시스템 프롬프트 검증. 새 모델에서 기존 시스템 프롬프트가 의도한 대로 작동하는지 확인한다. 에이전트의 행동 경계, 거부 패턴, 도구 호출 판단이 기대대로인지 테스트한다.
4단계: 카나리 배포. 전체 프로덕션에 즉시 적용하지 않고, 소규모 트래픽(예: 5%)에만 새 모델을 적용하여 모니터링한다. 거부율, 오탐률, 사용자 피드백, 에이전트 행동 패턴에 이상이 없는지 확인한 뒤 점진적으로 확대한다.
5단계: 롤백 준비. 새 모델에서 예상치 못한 문제가 발생하면, 즉시 이전 모델로 롤백할 수 있는 체계를 갖춘다. AI Gateway의 모델 라우팅 기능을 활용하면 롤백이 비교적 간단하다.
이 절차를 자동화하는 것이 이상적이다. 골든 테스트 스위트를 CI/CD 파이프라인에 통합하여, 모델 변경 시 자동으로 실행하고 결과를 보고한다.
위협 인텔리전스 반영
AI 위협 인텔리전스 소스
AI 보안 위협은 빠르게 진화하므로, 최신 위협 정보를 지속적으로 추적하고 하네스에 반영해야 한다.
MITRE ATLAS. AI 시스템에 대한 공격 전술과 기법을 체계적으로 분류한다. 전통적 MITRE ATT&CK의 AI 버전이다. 새로운 공격 기법이 추가되면, 해당 기법에 대한 방어가 하네스에 있는지 확인하고 보완한다.
OWASP 업데이트. OWASP LLM Top 10과 Agentic AI Top 10은 정기적으로 업데이트된다. 새 버전이 나올 때마다 변경된 항목을 확인하고, 하네스의 해당 레이어에 반영한다.
보안 커뮤니티. 학술 논문, 보안 컨퍼런스(DEF CON AI Village, Black Hat AI Summit 등), 보안 연구자의 블로그와 PoC(Proof of Concept)에서 새로운 공격 기법이 발표된다. AI 보안 전담 인력이 이를 추적하거나, 위협 인텔리전스 서비스를 구독한다.
벤더 보안 공지. 사용 중인 AI 공급업체(모델 벤더, 프레임워크 벤더)의 보안 공지를 추적한다. 모델의 알려진 취약점, 프레임워크의 보안 패치 등이 해당된다.
위협 정보에서 가드레일 규칙까지
위협 인텔리전스를 하네스에 반영하는 파이프라인은 이렇다.
새로운 공격 기법이 발견되면, 먼저 해당 기법이 조직의 AI 시스템에 적용 가능한지 평가한다. 적용 가능하다면, 해당 기법의 특징(패턴, 시그니처, 행동 지표)을 추출한다. 이 특징을 가드레일 규칙으로 변환한다. 결정론적 필터에 추가할 수 있는 패턴이면 블랙리스트에 추가하고, 의미론적 분석이 필요하면 분류기의 학습 데이터에 추가한다. 새 규칙을 테스트 환경에서 검증한다. 오탐이 허용 범위 내인지 확인한다. 검증 후 프로덕션에 배포한다.
이 과정을 자동화할수록 대응 속도가 빨라진다. 이상적으로는 위협 피드에서 가드레일 규칙 업데이트까지 자동 파이프라인으로 연결하되, 프로덕션 배포 전 인간 검토를 포함한다.
Red Team 테스트
AI Red Team은 무엇이 다른가
전통적 Red Team이 네트워크, 시스템, 애플리케이션의 취약점을 공격자 관점에서 테스트한다면, AI Red Team은 AI 시스템의 고유한 취약점을 테스트한다.
AI Red Team이 테스트하는 영역은 전통적 Red Team과 상당 부분 다르다. 프롬프트 인젝션(직접/간접) 시도로 에이전트를 조작할 수 있는가. 시스템 프롬프트를 유출시킬 수 있는가. 가드레일을 우회하여 금지된 콘텐츠를 생성하게 할 수 있는가. 에이전트가 비인가 도구를 호출하도록 유도할 수 있는가. 에이전트를 조작하여 민감 데이터를 외부로 전송하게 할 수 있는가. RAG 시스템에서 권한 없는 문서를 검색하게 할 수 있는가. 서킷 브레이커를 우회하여 에이전트를 무한 루프에 빠뜨릴 수 있는가.
Red Team 테스트 운영
주기. 분기별 이상을 권장한다. 모델 업데이트, 새로운 에이전트 배포, 주요 기능 변경 시에도 추가로 수행한다.
시나리오 구성. OWASP LLM Top 10과 Agentic AI Top 10을 기준으로 시나리오를 구성한다. 각 항목에 대해 최소 3~5개의 테스트 케이스를 만든다. 여기에 최신 위협 인텔리전스에서 파악된 새로운 기법을 추가한다.
자동화와 수동의 조합. 알려진 공격 패턴에 대한 테스트는 자동화한다. 골든 테스트 스위트의 공격 시나리오 부분이 이 역할을 한다. 창의적인 공격, 새로운 우회 기법의 탐색은 수동으로 수행한다. 자동화는 효율성을, 수동은 깊이를 제공한다.
결과 처리. Red Team 테스트에서 발견된 취약점을 심각도별로 분류한다. 각 취약점에 대한 개선 계획을 수립하고, 담당자와 기한을 지정한다. 개선 후 재테스트를 수행하여 취약점이 해소되었는지 확인한다. 이 전체 과정을 문서화하여 다음 Red Team 테스트의 입력으로 활용한다.
내부 vs 외부. 내부 보안팀이 수행하는 것이 기본이지만, 정기적으로 외부 전문 업체의 Red Team 테스트를 받는 것도 권장한다. 내부팀은 시스템에 익숙하여 특정 공격 경로를 간과할 수 있고, 외부팀은 새로운 관점을 제공한다.
엔트로피 관리
하네스의 자연적 노후화
시간이 지나면서 하네스는 자연적으로 노후화된다. 정책과 실제 운영의 괴리가 누적되는 것이다.
정책에는 “모든 Level 3 에이전트는 HITL을 적용한다”고 되어 있는데, 실제로는 특정 에이전트에 예외가 적용되어 있고 그 예외가 문서화되지 않았다. 가드레일 규칙이 수개월 전에 추가되었는데, 추가 당시의 맥락을 아는 사람이 퇴사했다. 데이터 분류 태그가 새로운 데이터 소스에 적용되지 않아, 일부 데이터가 분류 없이 AI에 노출되고 있다.
이런 괴리가 누적되면 하네스가 종이 위에서는 완벽하지만 실제로는 허울인 상태가 된다.
엔트로피 방지 체계
정기 감사. 반기별로 하네스 전체를 감사한다. 정책 문서와 실제 구현의 일치 여부를 확인한다. 예외 목록을 검토하여, 더 이상 유효하지 않은 예외를 제거한다. 가드레일 규칙의 현행화 상태를 확인한다.
정책 버전 관리. 정책 문서를 코드처럼 버전 관리한다. 변경 이력, 변경 사유, 승인자를 기록한다. 이렇게 하면 “왜 이 규칙이 있는지 아무도 모르는” 상황을 방지할 수 있다.
Configuration as Code. 가드레일 규칙, HITL 정책, 도구 화이트리스트 등 기술적 구성을 코드로 관리한다. Git 등의 버전 관리 시스템에 저장하여 변경 이력을 추적하고, 코드 리뷰 프로세스를 거쳐 변경한다. 수동으로 콘솔에서 설정을 변경하면 문서화가 누락되고 추적이 어렵다.
유효성 검증 자동화. 정책과 실제 구현의 일치 여부를 자동으로 검증하는 테스트를 작성한다. “Level 3 에이전트에 HITL이 적용되어 있는가?” 같은 검증을 자동화하여 정기적으로 실행한다. 불일치가 발견되면 알림을 보낸다.
인수인계 문서화. 하네스의 각 구성요소에 대해, 설계 의도, 구현 결정의 이유, 알려진 한계를 문서화한다. 담당자가 변경되어도 맥락이 유실되지 않도록 한다.
피드백 루프의 전체 그림
진화 계층의 각 요소가 어떻게 연결되는지 정리한다.
가드레일이 작동하면 효과성 지표(거부율, 오탐률)가 생성된다. 이 지표를 분석하여 가드레일 규칙을 튜닝한다. 오탐이 높은 규칙은 완화하고, 미탐이 발견된 영역은 강화한다.
Red Team 테스트가 수행되면 취약점 보고서가 생성된다. 이 보고서를 기반으로 가드레일, 오케스트레이션, 격리 정책 등 하네스 전체에 걸쳐 개선을 수행한다.
위협 인텔리전스에서 새로운 공격 기법이 파악되면, 가드레일 규칙에 반영하고, 다음 Red Team 시나리오에 추가한다.
모델이 업데이트되면, 골든 테스트 스위트를 실행하여 하네스 호환성을 검증하고, 필요시 가드레일과 시스템 프롬프트를 조정한다.
비즈니스에서 새로운 AI 사용 사례가 등장하면, 거버넌스 위원회에서 Level 분류와 합의선 조정을 수행하고, 이에 따라 기술 통제를 업데이트한다.
정기 감사에서 엔트로피가 발견되면, 정책과 구현의 괴리를 해소하고, 유효하지 않은 예외를 정리한다.
이 모든 것이 순환한다. 한 번 돌고 끝나는 것이 아니라, 하네스가 운영되는 한 계속 돌아간다. 피드백 루프가 멈추면 하네스는 노후화되기 시작한다.
성숙도 자가진단
조직의 진화 계층 성숙도를 자가진단할 수 있는 질문들이다.
레벨 0: 부재. 가드레일의 효과를 측정하고 있는가? 측정하지 않는다면 레벨 0이다.
레벨 1: 기본 측정. 거부율과 오탐률을 추적하고 있는가? 추적하고 있다면 레벨 1이다.
레벨 2: 정기 테스트. Red Team 테스트를 분기별 이상 수행하고, 결과를 하네스에 반영하고 있는가? 하고 있다면 레벨 2이다.
레벨 3: 체계적 대응. 모델 업데이트 대응 절차가 있고, 위협 인텔리전스를 정기적으로 반영하며, 정기 감사를 수행하고 있는가? 하고 있다면 레벨 3이다.
레벨 4: 자동화된 적응. 골든 테스트가 CI/CD에 통합되어 있고, 위협 인텔리전스에서 가드레일 업데이트까지 자동화 파이프라인이 구축되어 있으며, 정책-구현 일치 검증이 자동화되어 있는가? 여기까지 되어 있다면 레벨 4이다.
대부분의 조직은 레벨 0~1에 있다. 레벨 2를 목표로 시작하고, 점진적으로 레벨 3~4를 향해 성숙해 나가는 것이 현실적이다.
다음 편 예고
7편까지 하네스의 전체 구조와 각 레이어의 상세를 모두 다뤘다. 마지막 8편에서는 이 모든 것을 어떻게 실제로 구축하고 운영하는지를 다룬다. Phase별 구축 로드맵, Level별 최소 구성과 풀 구성, 핵심 KPI, 그리고 시리즈 전체를 관통하는 메시지를 정리한다.