AI 에이전트의 목표 이탈·환각 막는 업무 통제 체계
권한 분리·실시간 검증·사람의 승인으로 안전성 강화
챗GPT [노드VPN 제공. 재판매 및 DB 금지]
(서울=연합뉴스) 오지은 기자 = 프롬프트를 정교하게 입력해도 긴 작업을 맡기면 AI가 제멋대로 작업물을 내놓는다면 어떨까.
AI의 통제 불가능성은 기업이 AI 에이전트를 도입할 때 마주하는 한계로 꼽히고 있다.
대형언어모델(LLM)의 성능이 날로 향상되고 있지만 이를 업무에 투입했을 때는 업무의 맥락을 상실하고 AI를 통제할 수 없다는 점이 과제로 남아있다.
이에 AI의 작업을 통제하고 일을 해낼 수 있도록 하는 '하네스 엔지니어링'이 AI 업계에서 주목받고 있다.
◇ 프롬프트·콘텍스트 넘어 '하네스 엔지니어링'으로
하네스는 본래 마차를 끄는 말이나 반려견의 몸통을 감싸 움직임을 안정적으로 제어하는 장치를 뜻한다.
AI 업계에서는 하네스를 '모델이 궤도를 벗어나지 않고 복잡한 작업을 완수할 수 있도록 하는 작업 환경이나 규칙'을 의미하는 용어로 사용하고 있다.
AI 업계는 모델에게 원하는 결과를 입력하는 프롬프트 엔지니어링과 필요한 데이터를 주입하는 콘텍스트 엔지니어링에 집중해왔다.
하지만 AI가 스스로 계획을 세우고 API를 호출하는 등 장시간 작업을 수행하는 에이전트 시대가 되면서 AI의 패러다임 역시 진화하고 있다.
AI가 역량은 뛰어나지만 사내 규정을 모르는 사원이라면 하네스는 업무 매뉴얼, 권한 체계, 최종 검토 절차를 묶어둔 체계로 비유될 수 있다.
그렇다면 하네스는 어떻게 작동하며 AI를 안전하게 붙잡아 주는 걸까.
컴퓨터 시스템 안에서 하네스는 여러 겹의 보호막과 함께 움직인다.
러시아 전통 인형 마트료시카처럼 AI 시스템은 가장 바깥의 컴퓨터 인프라부터 위험 행동을 막는 격리 공간(샌드박스), 지침을 전달하는 하네스, 명령을 실행하는 엔진(런타임), 그리고 가장 안쪽의 두뇌(모델)까지 5개 층이 있다.
이때 하네스와 샌드박스는 서로 정반대의 역할을 하며 AI를 돕는다.
샌드박스는 AI가 회사의 중요한 데이터를 지우거나 망가뜨리지 못하도록 위험한 권한을 하나씩 빼앗는 울타리라면 하네스는 AI가 주어진 일을 해낼 수 있도록 업무 매뉴얼과 필요한 도구를 차례차례 쥐여주는 비서에 해당한다.
위험한 행동은 울타리로 막고 필요한 일은 밀어주는 두 방식이 맞물려야 믿고 쓰는 AI가 완성된다.
◇ 목표 이탈·환각 막고 위험한 결정은 '사람이 승인'
하네스가 필요한 진짜 이유는 AI가 긴 작업을 할 때 드러나는 약점 때문이다.
AI는 일을 오래 하다 보면 처음의 목표를 잊고 삼천포로 빠지는 일관성 상실을 겪는다.
일을 엉망으로 끝내고도 "완벽하게 끝냈다"며 자화자찬하고 일을 덮어버리는 착각에 빠지기도 한다.
하네스는 이런 헛발질을 원천 차단한다.
일을 기획하는 단계와 실제로 코드를 짜는 단계를 나눠서 엉뚱한 순간에 시스템을 건드리지 못하게 도구 권한을 쪼갠다.
또 AI가 거짓말(환각)을 하지 못하도록 최신 문서를 실시간으로 대조해 보게 만들고 일이 끝나면 자기가 한 일에 실수가 없는지 스스로 검사하게 만든다.
하지만 하네스 설계에서 마지막 안전장치는 바로 사람의 승인이다.
데이터 정리나 초안 작성처럼 손이 많이 가는 일은 AI가 스스로 하게 두더라도 코드를 올리거나 핵심 데이터를 지우는 결정만큼은 반드시 인간 엔지니어가 직접 눈으로 확인해야 한다.
이영호 kt cloud 매니저는 "프롬프트를 넘어 AI가 사고를 치지 않고 최고 효율을 낼 수 있는 거버넌스 시스템을 구축하는 게 과도기의 생존법"이라고 강조했다.
