에이전트형 AI 보안이란?

기존 AI 시스템은 입력 또는 과거 데이터를 기반으로 특정 사전 정의된 작업을 수행하도록 설계되어 있습니다. 보안 노력은 일반적으로 모델 보호, 학습 데이터 보호 및 운영 중 출력 유효성 검사에 초점을 맞춥니다. 이러한 조치는 조직이 정의된 범위 내에서 무결성과 안정성을 유지하는 데 도움이 됩니다.

에이전트형 AI의 자율성과 의사 결정 기능은 기존 접근 방식으로는 해결하기 어려운 과제를 수반합니다. 주요 차이점은 다음과 같습니다.

• 시스템 동작: 기존 AI 시스템은 프롬프트 또는 입력에 응답하는 반면, 에이전트 AI 시스템은 능동적으로 작업을 계획하고 수행합니다. 에이전트는 독립적으로 작업을 수행할 수 있기 때문에 에이전트의 의사 결정이 운영에 직접적인 영향을 미칠 수 있습니다.
• 의사 결정: 기존 AI는 일반적으로 미리 정의된 논리 또는 모델 출력을 따릅니다. 에이전트형 AI는 컨텍스트와 중간 결과를 기반으로 의사 결정을 조정하므로 동작 예측이 어려워지고, 지속적인 모니터링과 가드레일의 필요성이 높아집니다.
• 작업 범위: 기존 AI는 단일 애플리케이션 또는 워크플로 내에서 작동하는 경우가 많습니다. 에이전트형 AI는 여러 시스템, 도구 및 데이터 원본에 걸쳐 작동할 수 있으므로 오류 또는 손상의 잠재적 영향이 커집니다.
• 도구 사용: 기존 AI는 일반적으로 미리 정의된 통합에 의존합니다. 에이전트형 AI는 API, 도구 및 서비스를 동적으로 호출할 수 있어 오용이나 공격에 대한 추가 진입점을 만듭니다.
• ID 및 액세스: 기존 AI는 공유 또는 암시적 서비스 ID로 실행될 수 있습니다. 에이전트형 AI 시스템에는 일반적으로 고유한 ID와 정의된 권한이 필요하므로 ID 거버넌스와 최소 권한 액세스가 필수적입니다.
• 공격 표면: 기존 AI 보안은 주로 모델 입력 및 학습 데이터에 중점을 둡니다. 에이전트형 AI는 도구, 워크플로, 메모리 및 연결된 시스템을 포함하도록 공격 표면을 확장하여 오용 및 손상에 대한 노출을 증가시킵니다.

구조화된 프로세스를 사용하는 조직은 시스템이 직면할 수 있는 위험을 식별하고, 이해하고, 관리할 가능성이 높습니다. 에이전트형 AI 시스템에서 위협을 모델링할 때는 애플리케이션, 인프라 및 데이터 흐름을 넘어 다음 항목까지 확장하는 것이 중요합니다.

에이전트의 목표 및 동작

에이전트가 수행하도록 설계된 작업을 정의하여 잠재적인 의도하지 않은 작업을 식별합니다. 여기에는 다음이 포함됩니다.

• 어떤 목표를 추구할 수 있는지.
• 작업을 어떻게 계획하고 수행하는지.
• 어느 정도의 자율성이 있는지.

ID 및 액세스

지나치게 광범위한 액세스는 손상 또는 오용의 위험을 높입니다. ID를 설정할 때는 다음을 평가하세요.

• 에이전트가 액세스할 수 있는 시스템 및 데이터
• 권한이 최소 권한 원칙을 따르는지 여부.
• 에이전트가 다른 서비스에 인증하는 방식

도구 및 통합

에이전트 시스템은 목표를 완료하기 위해 외부 도구에 의존하며, 이로 인해 공격 표면이 확장될 수 있습니다. 환경을 보호하려면 다음을 정의하세요.

• 에이전트가 호출할 수 있는 API, 플러그 인 및 데이터베이스.
• 도구 입력 및 출력의 유효성 검사 여부
• 작업의 승인 및 제한 방식

입력 및 데이터 원본

에이전트는 사람과 외부 시스템에서 지속적으로 정보를 수집합니다. 신뢰할 수 없는 입력의 위험을 줄이려면 다음을 확인하세요.

• 프롬프트 인젝션 또는 악성 입력에 대한 노출
• 데이터 변조 또는 조작.
• 내부 데이터와 외부 데이터 간의 신뢰 경계.

메모리 및 상태

많은 에이전트가 시간이 지남에 따라 컨텍스트를 저장하므로 공격의 영향이 증폭될 수 있습니다. 이 위험을 줄이려면 다음을 고려하세요.

• 메모리에 어떤 데이터가 저장되는지.
• 중요한 정보가 보존 또는 노출되는지 여부.
• 메모리가 변경되거나 손상되는 방식

작업 완료 및 동작

기술적 위험이 운영 위험으로 전이되는 것을 방지하려면 다음을 평가하세요.

• 에이전트가 사람의 승인 없이 수행할 수 있는 작업.
• 고위험 작업을 제한하는 데 도움이 되는 보호 수단.
• 여러 시스템에 걸쳐 연쇄적으로 작업이 수행될 수 있는 시나리오.

모니터링 및 응답

행동이 동적이므로 가시성이 핵심입니다. 실시간으로 문제를 감지하거나 억제하는 데 도움이 되는 모니터링에는 다음이 포함됩니다.

• 의사 결정과 동작을 기록하기.
• 이상 징후 또는 정책 위반 탐지
• 에이전트를 일시 중지하거나, 재정의하거나, 종료하는 기능 만들기.

설계 및 배포 프로세스 초기에 위험을 해결하면 신뢰성과 운영 무결성을 유지하는 데 도움이 됩니다. 에이전트 AI 시스템에 대한 위협을 모델링하면 다음과 같은 범주에 걸쳐 위험을 식별할 수' 있습니다.

자치 위험

에이전트가 자체적으로 의사 결정을 내리기 때문에 완전히 예상하지 못한 작업을 수행할 수 있습니다. 하나의 오류로 인해 연결된 시스템 전체에서 일련의 자동화된 단계가 트리거되어 의도하지 않은 변경, 데이터 문제 또는 운영 중단이 발생할 수 있습니다. 자율성은 행동의 예측 가능성도 낮춥니다. 에이전트가 새로운 입력 및 조건에 적응함에 따라 모든 시나리오를 테스트하거나 고정 규칙에 의존하기가 더 어려워집니다.

보안 위험

API, ID 시스템 및 외부 도구에 대한 연결은 노출을 증가시킵니다. 공격자가 이러한 통합을 악용할 수 있는 경우 액세스 권한을 상승시키거나 신뢰할 수 있는 시스템을 가장하여 데이터 손실 또는 운영 문제가 발생할 수 있습니다.

안전 및 거버넌스 위험

에이전트형 AI의 자율적 특성으로 인해 감독이 매우 중요합니다. 강력한 거버넌스가 없으면 발생한 상황을 추적하거나, 에이전트가 의사 결정을 내린 이유를 파악하거나, 책임 소재를 결정하기가 어려워집니다.

공급망 및 모델 위험

에이전트형 AI는 종종 타사 모델, 라이브러리 및 도구에 의존하며, 각 요소가 또 다른 위험 계층을 추가합니다. 이러한 구성 요소 중 하나가 손상되면 전체 시스템에 영향을 미칠 수 있습니다. 예를 들어 공격자가 타사 API에 대한 악의적인 업데이트를 사용하여 에이전트 동작을 조작할 수 있습니다.

윤리적 고려 사항

적절한 제어가 없으면 에이전트가 편향된 결과를 생성하거나 개인 정보 보호 또는 규정 요구 사항과 충돌하는 방식으로 데이터를 처리할 수 있습니다. 명확한 표준은 조직이 공정성, 투명성 및 규정 준수를 적용하는 데 도움이 됩니다.

몇 가지 핵심 영역에 집중하면 AI 시스템을 안전하고 안정적으로 유지하며 비즈니스 목표에 부합하도록 할 수 있습니다. 이러한 핵심 요소를 통해 동작, 액세스 및 다른 시스템과의 상호 작용을 제어할 수 있으므로 에이전트가 최소한의 위험으로 의사 결정을 내리고 작업을 수행할 수 있습니다.

ID 및 액세스 관리

책임성과 추적 가능성을 유지하려면 에이전트형 AI 시스템을 일급 ID로 취급하고 기존 ID 거버넌스 프레임워크에 통합하세요. 각 에이전트에 고유한 자격 증명을 할당하고, 최소 권한 액세스를 적용하고, 강력한 인증 메커니즘을 적용합니다.

가드레일 및 정책 적용

정책 기반 제어를 통해 에이전트 동작에 대한 명시적 경계를 설정할 수 있습니다. 가드레일은 에이전트가 액세스할 수 있는 도구, 수행할 수 있는 작업 및 조건을 제한해야 합니다. 실시간 정책 적용을 통해 승인되지 않았거나 안전하지 않은 작업을 방지할 수 있습니다.

가시성 및 모니터링

가시성은 에이전트 동작, 의사 결정, 데이터 액세스 및 도구 사용에 대한 가시성을 제공합니다. 이를 통해 조직은 변칙을 감지하고, 위험을 조사하며, 거버넌스를 적용하여 에이전트가 안전하고 투명하게 정책에 따라 운영되도록 할 수 있습니다. 지속적인 모니터링은 에이전트 동작의 변칙을 감지하는 데 핵심적입니다. 에이전트 작업, 의사 결정 및 도구 사용을 추적하는 분석을 구현하세요.

데이터 보호

에이전트는 작업을 수행하는 동안 중요한 데이터를 처리하는 경우가 많습니다. 유출 위험을 줄이려면 전송 중인 데이터와 미사용 데이터에 암호화를 적용하고, 엄격한 데이터 최소화 관행을 적용하며, 승인되지 않은 데이터 액세스를 모니터링하세요.

모델 및 공급망 보안

소프트웨어 공급망의 보안은 에이전트형 AI 보안에서 중요한 역할을 합니다. 타사 모델, API 및 도구가 신뢰할 수 있고 예상대로 동작하는지 유효성을 검사하는 것이 중요합니다. 외부 구성 요소의 경우 코드 서명, 패키지 유효성 검사, 신뢰할 수 있는 배포 원본 등의 방법을 통해 출처를 확인하세요.

거버넌스 및 사람의 검토

마지막으로 에이전트 AI를 책임 있는 AI 원칙 및 규정 준수 요구 사항에 맞추려면 허용되는 작업, 책임자 및 의사 결정 시행 방법을 결정합니다.

에이전트형 AI를 보호하려면 기술적 과제와 거버넌스 과제를 모두 해결하는 사전 예방적인 다계층 접근 방식이 필요합니다. 몇 가지 모범 사례를 활용하면 위험을 관리하면서 비즈니스 목표를 충족하는 시스템을 구축하고 확장할 수 있습니다.

좁고 범위가 명확한 작업부터 시작하세요

제한된 기능을 갖춘 제어된 환경에서 에이전트형 AI를 배포하는 것부터 시작하세요. 에이전트를 저위험, 명확하게 정의된 작업에 할당하면 문제가 발생할 경우의 영향을 최소화할 수 있습니다.

에이전트 작업에 샌드박스 환경 사용

프로덕션 환경과 중요한 데이터에 대한 위험을 줄이려면 샌드박스 또는 가상화된 환경에서 에이전트 작업을 격리하세요. 민감도 레이블과 같은 데이터 분류 제어를 적용하여 에이전트가 분류 및 민감도에 따라 승인된 데이터와만 상호 작용하도록 하세요.

계층화된 가드레일 구현

동적 시스템을 모니터링하고 제어하기가 까다로울 수 있지만, 에이전트가 액세스할 수 있는 도구, 수행할 수 있는 작업 및 조건을 정의하여 에이전트 동작을 제한할 수 있습니다. 에이전트에 고유한 ID를 할당하고 역할 기반 액세스 제어를 적용하여 에이전트가 액세스할 수 있는 데이터와 시스템을 관리하세요. 최대한의 제어를 위해 정적 정책과 동적 런타임 검사를 결합하세요.

프롬프트 삽입 및 탈옥에 대해 지속적으로 테스트하세요.

에이전트형 AI는 자율적으로 작동하고 여러 작업을 연결할 수 있기 때문에 공격자가 입력 중 하나를 조작하여 안전하지 않거나 의도하지 않은 방식으로 동작하게 만들 위험이 있습니다. 공격자보다 먼저 취약점을 발견할 수 있도록 레드 팀 연습과 적대적 테스트를 정기적으로 수행하세요.

에스컬레이션 경로 및 거버넌스 워크플로 수립

고위험 작업에 대한 명확한 에스컬레이션 절차를 만드세요. 금융 거래 또는 시스템 구성 변경과 같은 중요한 작업의 경우 사람의 검토가 포함된 검사점을 구현하세요.

책임 있는 AI 원칙을 따르세요.

편향 테스트, 설명 가능성 검토 및 규정 준수 유효성 검사를 통합하여 윤리 표준, 공정성 지침 및 규정 요구 사항을 준수하는 에이전트를 구축하세요. AI 및 데이터 개인 정보 보호 관련 법률은 계속 발전하고 있으므로 시스템이 이러한 변화에 얼마나 잘 대응하고 있는지 정기적으로 재평가하는 것이 좋습니다.

에이전트형 AI 사용 사례마다 동일한 위험이 수반되는 것은 아닙니다. 저위험 시나리오와 고위험 시나리오의 차이를 이해하면 어디서부터 시작하고 어떤 제어를 구현할지 우선순위를 정하는 데 도움이 됩니다. 두 가지 일반적인 에이전트형 AI 보안 사용 사례를 통해 차이점을 설명할 수 있습니다.

고객 지원 심사(낮은 위험)

이 시나리오에서 에이전트형 AI 시스템은 수신 티켓을 분류하고, 응답을 제안하며, 적절한 부서로 문제를 라우팅하여 고객 지원 팀을 지원합니다.

• 위험 수준이 낮은 이유:
  • 에이전트는 제어된 환경 내에서 작동합니다.
  • 작업은 티켓 분류 및 응답 제안으로 제한됩니다.
  • 중요한 금융 또는 운영 시스템에 대한 직접 액세스가 없습니다.
• 보안 고려 사항:
  • 에이전트가 승인 없이 티켓을 에스컬레이션하지 못하도록 가드레일을 적용하세요.
  • 티켓 라우팅을 조작할 수 있는 프롬프트 삽입 시도를 모니터링하세요.

금융 거래 자동화(고위험)

여기에서 에이전트형 AI 시스템은 사전 정의된 비즈니스 규칙에 따라 금융 거래를 시작하고 승인할 수 있는 권한을 가집니다.

• 위험 수준이 높은 이유:
  • 에이전트가 금융 시스템 및 중요한 데이터에 직접 액세스할 수 있습니다.
  • 손상될 경우 대규모 사기 또는 운영 중단이 발생할 가능성이 있습니다.
• 보안 고려 사항:
  • 에이전트에 대해 엄격한 ID 및 액세스 관리를 적용하세요.
  • 고액 거래에 대해 사람의 검토가 포함된 승인을 구현하세요.
  • 비정상적인 거래 패턴을 지속적으로 모니터링하세요.

에이전트형 AI 시스템을 배포하거나 확장하기 전에 몇 가지 핵심 영역에서 조직의 준비 상태를 다시 확인하세요.

• 거버넌스 성숙도. 에스컬레이션 경로와 승인 워크플로가 마련되어 있나요?
• ID 제어. 에이전트가 최소 권한 액세스를 가진 고유한 ID로 취급되고 있나요?
• 모니터링 기능. 조직이 비정상적인 에이전트 동작을 실시간으로 감지하고 대응할 수 있나요?
• 위험 허용 범위. 비즈니스가 선택한 사용 사례에서 에이전트 자율성의 잠재적 영향을 이해하고 수용하나요?

저위험 시나리오에서 시작하여 점진적으로 더 복잡한 워크플로에 에이전트형 AI를 도입하면 보안과 규정 준수를 유지하면서 조직의 신뢰를 구축할 수 있습니다.

에이전트형 AI를 보호하는 것은 자율 시스템을 책임감 있게 도입하는 데 핵심적인 부분입니다. 이러한 시스템이 더 많은 의사 결정을 수행하고 여러 환경에 걸쳐 연결됨에 따라 기존 보안 접근 방식으로는 관리하기 어려운 위험이 발생합니다. ID 거버넌스, 명확한 정책 적용, 지속적인 모니터링은 시스템을 비즈니스 의도와 규정 준수 요구 사항에 부합하도록 유지하는 데 중요한 역할을 합니다. 사전 예방적 접근 방식을 취하면 신뢰를 유지하고, 새로운 위협에 대한 노출을 줄이며, 자율 동작을 정의된 범위 내에서 유지하는 데 도움이 됩니다.

조직에서 Microsoft의 통합 에이전트 AI 보안 솔루션 세트를 사용하여 더 안전한 AI 배포를 지원할 수 있습니다. Microsoft Security는 ID 및 액세스 관리, 위협 탐지, 데이터 보호 및 거버넌스 기능을 통합하여 자율 시스템을 제어할 수 있도록 지원합니다. 기본 제공 사이버 보안용 AI를 사용하면 조사 속도를 높이고 팀이 더 효율적으로 협업할 수 있습니다. 이러한 솔루션을 함께 사용하면 위험을 관리하고, AI 시스템을 보호하며, 에이전트형 AI의 책임감 있는 사용을 지원하기 위한 실질적인 기반을 마련할 수 있습니다.