Technical Insights

AI가 ‘답변’을 넘어 ‘행동’을 시작했습니다

썸네일

AI가 ‘답변’을 넘어 ‘행동’을 시작했습니다

AI Agent 시대, 새로운 보안이 필요한 이유

AI Agent는 질문에 답하는 수준을 넘어, 스스로 판단하고 Tool·MCP·API를 호출해 실제 업무를 수행하는 실행 주체로 확장되고 있습니다. 이에 따라 기업 보안의 초점도 “무엇을 답했는가”에서 “왜 그 행동을 선택했고, 실제로 무엇을 실행했는가”까지 넓어져야 합니다.

핵심 메시지

AI Agent 보안은 Prompt와 Response만 보호하는 문제가 아닙니다. Prompt · Context · Memory · Reasoning · Tool Call · Action · Audit으로 이어지는 전체 실행 경로를 연결해 관찰하고, 필요한 경우 실제 행동 이전에 통제할 수 있어야 합니다.

1. AI가 기업의 새로운 ‘실행 주체’가 되고 있습니다

생성형 AI의 기업 활용 방식은 빠르게 변화하고 있습니다. 초기의 생성형 AI는 사용자의 질문에 답하고, 문서를 요약하거나 이메일과 보고서 작성을 지원하는 등 사람의 업무를 보조하는 도구로 활용되는 경우가 많았습니다.

그러나 AI Agent의 등장으로 AI의 역할은 크게 달라지고 있습니다. AI Agent는 사용자의 요청을 이해하는 데 그치지 않고, 주어진 목표를 달성하기 위해 필요한 작업을 판단하고 실행할 수 있습니다. 상황에 따라 외부 Tool이나 MCP Server, 업무 API를 호출하고, 데이터베이스와 파일에 접근하며, 여러 시스템을 연결하여 실제 업무를 수행할 수 있습니다.

즉, 기업이 관리해야 하는 AI의 범위가 ‘AI가 무엇을 답변했는가’에서 ‘AI가 무엇을 판단하고 행동했는가’로 확대되고 있습니다.

그림1

그림 1. 생성형 AI에서 AI Agent로의 변화: 응답 생성에서 실제 업무 실행으로 확장

2. AI Agent가 실제 업무를 수행하면 보안의 질문도 달라집니다

예를 들어 사용자가 사내 AI Agent에게 “이번 달 프로젝트 비용을 분석하고 필요한 후속 조치를 진행해 주세요.”라고 요청한다고 가정해 보겠습니다. 기존의 생성형 AI라면 관련 자료를 분석해 결과를 정리하는 수준에서 업무가 끝날 수 있습니다.

반면 AI Agent는 사내 시스템에서 비용 데이터를 조회하고, 필요한 문서를 불러오며, 외부 Tool을 이용해 데이터를 분석할 수 있습니다. 분석 결과에 따라 담당자에게 이메일을 발송하거나 승인 프로세스를 생성하고, 업무 시스템에 데이터를 입력하는 등의 후속 행동도 수행할 수 있습니다.

이 과정에서 AI는 더 이상 단순한 정보 제공자가 아닙니다. 기업의 데이터와 시스템에 접근하고, 스스로 판단하여 실제 업무를 수행하는 새로운 실행 주체가 됩니다. AI의 활용 범위가 넓어지는 만큼 기업이 고려해야 할 보안의 범위 역시 함께 확장되어야 합니다.

3. 정상적인 권한으로 수행된 행동은 항상 안전할까요?

기업의 기존 보안 체계는 사용자와 애플리케이션을 중심으로 발전해 왔습니다. IAM과 SSO는 누가 시스템에 접근할 수 있는지를 관리하고, WAF와 API Gateway는 요청과 API 통신을 보호합니다. EDR/XDR은 Endpoint에서 발생하는 위협을 탐지하고, SIEM/SOAR는 여러 시스템에서 발생한 보안 이벤트를 수집하고 분석합니다.

이러한 기존 보안 체계는 AI Agent 환경에서도 여전히 중요합니다. 다만 AI가 하나의 실행 주체가 되면서 기존에는 없었던 새로운 질문이 등장합니다.

새로운 질문

“정상적인 권한을 가진 AI Agent가 왜 이 행동을 선택했을까요?”

AI Agent가 정상적으로 인증된 계정을 사용하고, 기업이 허용한 API와 Tool을 호출했다면 기존 접근통제 관점에서는 정상적인 행위로 보일 수 있습니다. 그러나 Agent가 잘못된 Context를 참고했거나, Memory에 저장된 정보가 오염되어 있거나, 외부 입력으로 인해 판단 과정이 왜곡되었다면 결과는 달라질 수 있습니다.

즉, 권한은 정상이어도 행동은 잘못될 수 있습니다. 기존 보안이 사용자·프로세스·네트워크 이벤트를 관찰하는 동안 AI Agent 환경에서는 Prompt → Context → Memory → Reasoning → Tool Call → Action으로 이어지는 판단 맥락까지 연결해 볼 필요가 있습니다.

4. 이제는 AI의 ‘판단’과 ‘행동’을 함께 보호해야 합니다

기존 생성형 AI 환경에서는 Prompt와 Response의 안전성을 확인하는 것이 중요한 보안 영역이었습니다. 하지만 AI Agent 환경에서는 보호해야 하는 범위가 더욱 넓어집니다.

AI Agent가 어떤 Prompt를 받았는지, 어떤 Context와 Memory를 참고했는지, 어떤 판단을 내렸는지, 그리고 그 결과 어떤 Tool을 호출하고 어떤 Action을 수행하려 하는지까지 하나의 실행 흐름으로 살펴볼 필요가 있습니다.

따라서 단순히 “이 API를 사용할 권한이 있는가?”를 확인하는 것에서 나아가 “현재의 근거와 상태, 그리고 기업의 정책을 고려했을 때 이 Agent가 이 행동을 수행하는 것이 타당한가?”까지 확인할 수 있어야 합니다.

또한 위험한 행동을 발견한 뒤 관리자에게 알림만 보내는 것으로는 충분하지 않을 수 있습니다. AI Agent가 직접 업무 시스템을 변경하고 외부로 데이터를 전송할 수 있는 환경에서는 실제 행동이 수행되기 전에 재질의, 사람 승인, 격리 또는 차단과 같은 대응 수단이 필요합니다.

그림2

그림 2. ASH™가 연결해 보는 Model-to-Action 실행 경로와 4개 보안 계층

5. AI의 판단에서 실제 행동까지 보호하는 쿤텍 ASH™

쿤텍의 ASH™는 AI Agent 환경을 위한 AI Agent Security Platform입니다. 기존 기업 보안 솔루션을 대체하는 것이 아니라, 기존 보안 체계만으로는 확인하기 어려운 AI Agent의 실행 계층(Execution Layer)을 보완하는 것이 핵심입니다.

ASH는 AI의 전체 실행 흐름을 MODEL → PROMPT → REASONING → TOOL → ACTION → AUDIT 관점에서 연결하여 보호합니다. 이를 위해 Model Gate, RunWatch, EndForce, Enterprise Edition의 네 가지 보안 계층을 제공합니다.

Model Gate

외부 모델 반입 단계에서 모델을 검증하고 AI-BOM/SBOM을 생성하며, 취약점·악성 요소·무결성·서명 및 Provenance를 확인합니다. 승인된 모델만 Registry와 운영 환경으로 이동하도록 통제합니다.

RunWatch

Agent와 LLM·MCP·Tool 사이의 실행 경로에 연동되어 Prompt · Context · Memory · Tool Call · Action을 관찰하고, 근거성·일관성·정책 적합성을 평가합니다. 상황에 따라 ALLOW · RE-ASK · APPROVE · SHADOW · QUARANTINE · KILL 등의 대응을 적용할 수 있습니다.

EndForce

RunWatch의 판단을 실제 실행 환경의 정책 집행으로 연결합니다. Process · File · Network · Device 등 Endpoint 수준에서 Agent의 행동이 실제 통제로 이어지도록 지원합니다.

Enterprise Edition

AI-BOM · Agent · Tool 등의 자산, 정책, 행동 가시성, Audit 정보를 중앙에서 관리합니다. SIEM/SOAR, IAM/SSO 등 기존 보안 운영 체계와 연계해 기업 전체의 AI 보안을 단일 정책과 감사 체계로 통합합니다.

6. 기존 보안을 대체하는 것이 아니라, 새로운 보안 공백을 채웁니다

AI Agent가 등장했다고 해서 기존 기업 보안 체계가 사라지는 것은 아닙니다. 사용자 Identity와 권한을 관리하는 IAM/SSO, Network와 API를 보호하는 WAF/API Gateway, Endpoint를 보호하는 EDR/XDR, 보안 이벤트를 분석하고 대응하는 SIEM/SOAR는 여전히 중요합니다.

ASH가 보호하고자 하는 것은 이와 다른 영역입니다. User → AI Agent → Reasoning → Tool/API → Action이라는 새로운 실행 경로가 기업 업무 환경에 만들어지면서, 기존 보안 통제 사이에 새롭게 발생한 AI Agent Execution Security의 공백을 보완합니다.

따라서 ASH는 기존 보안과 함께 동작하면서 AI 모델의 반입부터 Agent의 판단, Tool 사용, 실제 행동, 그리고 Audit까지 하나의 흐름으로 연결합니다.

그림3

그림 3. 기존 Enterprise Security를 유지하면서 ASH™가 AI Agent 실행계층을 보완하는 구조

7. AI Agent 보안에서 확인해야 할 핵심 변화

구분 기존 보안의 주요 질문 AI Agent 환경에서 추가되는 질문
Identity / Access 누가 접근할 수 있는가? 왜 그 권한을 사용해 이 행동을 수행했는가?
API / Tool 호출이 허용되어 있는가? 현재 업무 목적과 판단 맥락에서 이 Tool 선택이 타당한가?
Endpoint 어떤 프로세스·파일·네트워크 행위가 발생했는가? Agent의 판단 결과를 실행 전에 어떻게 제한하거나 차단할 것인가?
Audit 어떤 보안 이벤트가 발생했는가? Model → Reasoning → Tool → Action의 전체 실행 경로를 어떻게 추적할 것인가?

8. AI Agent가 확산될수록 ‘무엇을 했는가’를 보호해야 합니다

AI가 답변하는 도구를 넘어 직접 행동하는 실행 주체로 변화하면서 AI 보안의 기준도 변화하고 있습니다. 이제는 AI가 생성한 응답의 안전성뿐 아니라 어떤 근거로 판단했고, 어떤 Tool을 선택했으며, 실제로 어떤 행동을 수행했는지까지 확인하고 통제할 수 있어야 합니다.

특히 AI Agent가 더 많은 기업 데이터와 시스템에 연결되고 자율적으로 수행할 수 있는 업무의 범위가 넓어질수록 이러한 실행 과정에 대한 가시성과 통제의 중요성은 더욱 커질 것입니다.

쿤텍의 ASH™는 모델 반입부터 Agent의 판단과 실행, Endpoint에서의 실제 행동, 그리고 기업 전체의 감사까지 연결하여 AI Agent가 안전하게 비즈니스 가치를 만들어갈 수 있도록 지원합니다.

마무리 메시지

AI Agent는 이미 행동하고 있습니다. 이제 보안도 판단과 행동 사이에 있어야 합니다.

목록으로 돌아가기