제로데이·인증정보 조합해 스스로 침투…AI 자율 해킹 첫 경고

전쟁 AI까지 확산 우려…'의미 있는 인간 통제' 화두

(서울=연합뉴스) 한상용 기자 = 생성형 인공지능(AI)이 통제된 평가 환경을 스스로 벗어나 다른 기업의 서버까지 침투한 사실이 확인되면서 AI의 자율 행동이 가상 시나리오가 아닌 현실의 위험으로 떠올랐다.

AI가 인간의 직접적인 해킹 지시 없이 제로데이 취약점과 탈취한 인증정보 등을 조합해 실제 정보기술(IT) 인프라를 공격한 데 이어 전쟁과 무기체계에서도 인간의 판단과 책임이 약화할 수 있다는 우려가 나오고 있다.

이처럼 AI의 공격 역량이 빠르게 고도화하면서 '의미 있는 인간 통제' 원칙과 국제 공조를 통한 안전장치 마련이 새로운 과제로 부상하고 있다.

오픈AI [로이터=연합뉴스 자료사진. 재판매 및 DB 금지]

◇ AI, 통제망 뚫고 외부 서버까지 침투…'자율 해킹' 현실화

오픈AI 최신 AI 모델들이 내부 평가 과정에서 통제망을 벗어나 오픈소스 AI 플랫폼 허깅페이스의 생산 인프라를 침해하는 전례 없는 사건이 발생했다.

오픈AI는 최근 GPT-5.6 솔(Sol)과 이보다 성능이 높은 미공개 사전 평가 모델이 사이버 공격 능력을 측정하는 '익스플로잇짐' 시험 도중 허깅페이스의 인프라에 침투했다고 지난 21일 밝혔다.

당시 모델들은 고위험 사이버 활동을 차단하는 상용 안전장치를 일부 제거한 평가용 환경에서 작동하고 있었다.

시험은 AI가 복잡한 공격 경로를 찾아 시스템의 취약점을 이용할 수 있는지를 측정하기 위해 설계됐다.

해당 모델에는 외부 인터넷 접속이 차단된 상태에서 제한된 도구만 사용해 문제를 풀라는 목표를 줬다.

그러나 모델은 정답을 찾는 과정에서 평가 환경의 통제 장치 자체를 우회 대상으로 삼았다.

모델은 먼저 소프트웨어 패키지 설치를 중계하는 프록시에서 알려지지 않은 제로데이 취약점을 찾아 악용했다.

이어 권한을 높이고 내부 시스템 사이를 이동해 외부 인터넷에 접속할 수 있는 경로를 확보했다.

이후 모델은 허깅페이스가 익스플로잇짐 관련 모델과 데이터 세트, 시험 해답을 보유하고 있을 가능성을 추론했다.

탈취한 인증정보와 제로데이 취약점 등 여러 공격 수단을 결합해 허깅페이스 서버에서 원격 코드를 실행할 수 있는 경로까지 찾아냈다.

모델들은 결국 허깅페이스 생산 데이터베이스에서 시험 해답을 직접 확보한 것으로 드러났다.

오픈AI와 허깅페이스 이번 사안의 심각성을 인지하고 현재 침해 범위와 악용된 취약점을 조사하고 보완 작업을 진행 중이다.

이번 초유의 사건을 두고 AI가 취약점 발견과 권한 상승, 내부망 이동, 인증정보 탈취, 외부 서버 공격을 스스로 연결해 수행했다는 점에서 AI 업계에 충격을 줬다.

특히 사용자가 허깅페이스를 해킹하라고 지시한 것이 아니라 AI가 시험 문제를 풀기 위한 수단으로 해킹을 선택했다는 점이 기존의 악성 프롬프트나 단순 오작동 사례와 구별된다.

허깅페이스는 "자율적인 AI 기반 공격이 더는 이론상 개념이 아니다"라며 공격뿐 아니라 방어에도 AI를 적극적으로 활용해 속도를 따라잡아야 한다고 강조했다.

AI 탑재 무인살상 무기 (PG) [정연주 제작] 일러스트

◇ 사이버 넘어 전쟁까지…'인간 통제'가 핵심 과제로

AI가 인간의 통제를 벗어날 가능성에 대한 우려는 사이버 공간을 넘어 전쟁과 무기체계에서도 커지고 있다.

전쟁에서 의사결정과 무기체계 운용에 AI를 활용하는 사례가 늘면서 전쟁 AI가 인간의 자율성과 도덕적 판단을 심각하게 약화할 수 있다는 분석도 나왔다.

홍성욱 서울대 과학학과 교수는 지난 23일 한국과학기술한림원이 개최한 '전쟁과 AI, 인간 통제는 가능한가' 토론회에서 전쟁 AI는 단순한 무기가 아니라며 인간의 자율성을 다양한 측면에서 축소할 수 있다고 지적했다.

AI가 방대한 전장 정보를 빠르게 분석해 공격 여부까지 제안하면 인간 지휘관 입장에서는 충분히 검토할 시간은 줄어들게 된다는 것이다.

여기에다 기계 판단을 맹목적으로 신뢰하는 '자동화 편향'에 빠질 수도 있다고 지적했다.

AI가 제시한 표적을 공격해 민간인 피해나 오폭이 발생해도 개발자와 운용자, 지휘관 사이에서 책임이 분산될 가능성도 있다.

천현득 서울대 교수는 AI가 사실상의 전략적 행위자가 되면서 인간 지휘관의 역할이 축소되고 지휘관이 판단 책임을 기계에 떠넘길 수 있다고 우려했다.

전문가들은 AI가 목표물을 추천하더라도 최종 공격 결정과 결과에 대한 책임은 인간이 지도록 하는 '의미 있는 인간 통제' 원칙을 마련하고 최고 지휘관의 책임을 명확히 해야 한다고 조언하고 있다.

 (서울=연합뉴스) 닉 앤더슨 미 국토안보부 산하 사이버보안 및 인프라보안청(CISA) 청장 대행이 지난 8일 서울 신라호텔에서 열린 '제15회 정보보호의 날 기념식'에서 기조연설을 발표하고 있다. [권하영 촬영]

◇ 공격도 방어도 AI 시대…국제 공조 경쟁 본격화

AI가 복잡한 사이버 공격을 자율적으로 수행하는 단계에 가까워지면서 국제 공조의 필요성도 커지고 있다.

닉 앤더슨 미국 사이버보안 및 인프라보안청(CISA) 청장 대행은 이달 초 서울에서 열린 정보보호의 날 기념식에서 "사이버 위협은 국경을 초월하며 어느 나라도 홀로 이에 맞설 수 없다"고 밝혔다.

그러면서 과학기술정보통신부·국가정보원 등 한국 파트너와 협력을 강화하겠다고 전했다.

이처럼 국가 간 공동 대응이 요구되는 배경에는 AI의 사이버 공격 역량이 예상보다 빠르게 고도화하고 있다는 판단이 깔려 있다.

영국 AI 보안 연구소는 AI가 독자적으로 완수할 수 있는 사이버 작업의 길이가 두 배로 늘어나는 기간이 2025년 추정치 8개월에서 최근 4.7개월로 단축됐다고 분석했다.

다만 이는 모델의 전체 공격력이 단순히 4.7개월마다 두 배가 된다는 뜻이 아니라, 일정 신뢰도로 수행할 수 있는 작업의 시간적 길이를 기준으로 한 평가다.

일부 최신 모델은 다단계 기업 네트워크 침투 시험에서 권한 탈취와 내부망 이동, 네트워크 장악 단계까지 도달했다.

구글도 중국계 해킹 조직이 AI 에이전트에 공격 도구를 연결해 원격 코드 실행과 방화벽 우회 등을 시도한 사례를 공개했다.

다만 AI는 공격자의 역량을 높이는 동시에 취약점 탐지와 악성 네트워크 분석 등 방어 능력을 강화하는 수단이기도 하다.

공격자보다 방어자가 AI를 얼마나 빠르고 안전하게 활용하느냐가 사이버 안보의 새로운 과제로 떠오르고 있다.