[비즈니스포스트] 인공지능(AI) 발달로 기업들이 업무 생산성을 높이기 위해 AI 에이전트 도입을 서두르고 있다.

그러나 AI 에이전트가 사람을 대신해 기업 내부 데이터와 시스템에 접근하고, 실제 업무를 수행하기 시작하면서 통제되지 않은 AI의 독자적 행동이 새로운 사이버보안 위협으로 떠오르고 있다.

보안 전문가들은 AI 모델의 자체 안전장치를 신뢰하는 데 그치지 말고, AI 에이전트에 필요한 최소한의 접근권한만 부여한 뒤 모든 행동을 기록·감시하고, 고위험 행위에는 사람이 개입할 수 있도록 해야 한다고 조언하고 있다.

29일 정보보호 업계 취재를 종합하면 오픈AI의 AI 에이전트(GPT-5.6 솔)가 보안 평가 과정에서 격리환경을 벗어나 외부 기업의 실제 운영 시스템에 접근한 해킹 사고를 계기로 기업들의 AI 에이전트 통제체계 구축에 대한 필요성이 높아지고 있다.

이번 사고는 사이버공격 능력을 평가하기 위해 안전장치를 의도적으로 해제한 특수한 환경에서 발생했다. 일반 고객용 AI 에이전트가 일상적 업무를 수행하다 통제력을 잃은 사건과는 구분할 필요가 있다.

다만 세계 최고 수준의 AI 기술과 보안 기능을 갖춘 오픈AI조차 자사 인프라 안에서 에이전트의 행동을 완전히 통제하지 못했다는 점에서 일반 기업에도 경고를 던진다는 분석이 나온다.

◆ AI가 내부망에 있다고 안전하지 않아, 권한 엄격히 규정해야 

기업들도 AI 에이전트를 내부망이나 별도의 격리 환경에서 운용한다는 이유만으로 안전하다고 판단해서는 안 된다는 지적이 나온다.

기업 시스템에는 업데이트와 유지보수, 외부 애플리케이션 연동, 데이터 전송 등을 위해 만들어둔 예외 경로가 남아 있을 수 있다. 업무 편의를 위해 허용한 외부 연결이나 관리 권한 하나가 AI 에이전트가 정해진 경계를 벗어나는 통로로 이용될 가능성이 있기 때문이다.

곽진 아주대학교 사이버보안학과 교수는 “기업 환경도 똑같다. ‘우리 에이전트는 내부망에만 있으니 안전하다’는 말은 대부분 검증된 통제가 아니라 검증되지 않은 가정일 뿐”이라고 말했다.

보안 전문가들은 AI 에이전트가 안전하게 행동할 것이라는 믿음에 기대기보다 예상 밖의 행동을 하더라도 피해가 발생하지 않도록 권한과 AI 실행범위를 제한해야 한다는 데 의견을 같이 했다.

기업이 먼저 내부에서 어떤 AI 모델과 에이전트를 사용하고 있는지 파악하고, 에이전트마다 독립된 신원과 계정을 부여해야 하며, 각 에이전트에는 임직원의 계정 권한을 그대로 넘기지 않고 개별 업무에 필요한 최소한의 권한만 제공해야 한다고 전문가들은 조언했다.

곽 교수는 “AI 에이전트에 사용자의 계정에 할당된 권한을 부여하면 안 된다”며 “많은 기업이 도입 담당자의 계정 권한을 그대로 부여하는 경우가 있을 수 있는데, 이 순간 권한 범위는 무한대가 되고 사고가 발생했을 때 책임 추적도 어려워질 수밖에 없다”고 말했다.

그는 “에이전트마다 고유한 서비스 계정, 단기 토큰, 작업 단위 권한을 부여하는 방안을 고려해볼 수 있다”며 “에이전트는 사용자가 아니라 권한을 위임받은 별도의 도구로 통제할 수 있어야 한다”고 말했다.

염흥열 순천향대학교 정보보호학과 명예교수는 AI 에이전트가 자율적으로 행동하는 환경일수록 에이전트별 신원과 권한을 지속해 검증해야 한다고 지적했다.

염 교수는 “AI 에이전트가 자율적으로 목표를 설정하고, 독립적으로 행동하는 환경에서는 에이전트에 대한 신뢰를 지속적으로 확보하는 것이 매우 중요하다”며 “접근을 요청하는 AI 에이전트의 신원을 확인하고, 유효한 자격증명을 보유하고 있는지, 부여된 권한이 처리 목적에 적정한지 검증해야 한다”고 말했다.

에이전트의 신원을 확인한 뒤에도 요청한 행동이 업무 목적과 권한 범위에 부합하는지 살펴야 하고, 이를 위해 어떤 에이전트가 어느 시스템에 접근해 어떤 자료를 조회·전송하고 어떤 명령을 실행했는지 기록하고 감시하는 체계를 갖춰야 한다는 것이다.

전문가들은 기록과 감시에 앞서 AI 에이전트에 허용된 업무와 권한을 명확히 규정해야 한다고 지적한다. 권한 범위가 정리되지 않으면 어떤 행동이 정상이고 무엇이 이상행동인지 판단하기 어렵기 때문이다.

곽 교수는 “승인·기록·감시도 다 필요하다”면서도 “다만 순서가 중요한데, 권한이 정리되지 않은 상태에서 감시부터 진행하면 무엇이 이상행위인지 판단할 기준 자체가 없어진다”고 말했다.

기업이 내부에서 어떤 AI를 사용하고 있는지 파악하는 것도 선행돼야 한다. 임직원의 AI 이용 현황을 알지 못하면 허용할 서비스와 제한할 서비스를 구분하거나 개인정보와 고객정보, 영업정보 유출을 막기 어렵다는 것이다.

박춘식 서울여대 정보보호학과 교수는 “어떤 기업은 임직원들이 어떤 AI를 쓰는지조차 관리하지 못하고 있을 것”이라며 “AI 사용을 가시화해 누가 무엇을 얼마나 사용하고 있는지 알아야 그에 맞는 대응도 할 수 있다”고 말했다.

◆ AI 행동 기록·감시하고, 고위험 업무에는 사람 승인 절차 둬야

전문가들은 AI 에이전트에 완전한 자율성을 부여해서는 안 되며, 피해가 크거나 되돌리기 어려운 행동에는 사람이 직접 개입해야 한다는 점에도 의견을 같이 했다.

곽 교수는 “권한을 정리하고, 그 권한 안에서 무엇을 왜 했는지 기록을 남긴 뒤 외부 전송이나 삭제, 권한 변경, 금전 처리처럼 되돌릴 수 없는 행위에 대해서는 우선 사람의 승인을 거치도록 하는 것도 현실적 대안이 될 수 있다”고 말했다.

염 교수는 “중요하거나 위험도가 높은 행위에 대해서는 인간 개입인 ‘휴먼 인 더 루프’ 또는 인간 감시인 ‘휴먼 온 더 루프’ 방식의 감독 체계를 적용해 인간의 개입과 승인 기능을 보장해야 한다”고 말했다.

휴먼 인 더 루프는 AI가 중요한 행동을 실행하기 전에 사람이 직접 검토하고 승인하는 방식이다. 휴먼 온 더 루프는 AI가 정해진 범위 안에서 자율적으로 행동하되, 사람이 지속해 감시하고 필요할 때 개입하는 방식을 뜻한다.

AI 에이전트 보안은 보안 부서만 담당하는 기술적 과제가 아니라, 최고경영진이 직접 관리해야 할 경영 리스크로도 떠오르고 있다.

경영진이 AI 보안의 필요성을 이해하지 못하면, 보안 실무자가 위험을 인식하더라도 AI 사용정책 수립과 보안 투자 등 전사적 대응으로 이어지기 어렵기 때문이다.

박 교수는 “경영자가 관심이 없고 실무자만 관심을 가져서도 안 된다”며 “경영자의 보안 인식이 전제돼야 한다”고 말했다.

전문가들은 기업의 AI 에이전트 보안은 AI가 스스로 안전하게 행동할 것이라는 믿음이 아니라, AI 모델이 예상하지 못한 행동을 하더라도 피해가 발생하거나 확산하지 않는 구조를 만드는 데서 출발해야 한다고 조언한다.

곽 교수는 “AI 에이전트 보안의 핵심은 AI를 얼마나 믿을 것인가가 아니라, 믿지 않아도 안전한 구조를 만들 수 있는가가 돼야 한다”며 “AI 에이전트는 보조 직원을 채용하는 것이 아니라 통제 가능한 범위 안에서 관리할 수 있는 시스템이어야 한다”고 말했다. 조승리 기자