JEIU 소식

인공지능(AI)이 스스로 판단하고 행동하는 시대가 본격화되면서 “AI의 판단을 어디까지 믿고 허용해야 하는가”에 대한 의문은 여전히 남아있다. 이러한 가운데 AI 에이전트의 책임성(Accountability) 문제를 구조적으로 다룬 연구서가 출간됐다.

재능대학교 김명호 교수는 인공지능 에이전트의 책임성에 관한 그간의 연구를 집대성한 영문 신간 『The Accountable Machine: Why AI Must Justify Every Decision It Makes (책임성 있는 기계: AI는 왜 자신의 모든 결정을 정당화할 수 있어야 하는가)』를 아마존 KDP를 통해 출간했다고 29일 밝혔다.

이 책은 김 교수의 연구 프로그램을 구성해 온 9편의 학술 논문과 20여 편의 기술 아티클을 바탕으로 집필됐다. 저자는 AI의 판단이 단순히 ‘정답인지 여부’를 넘어 ‘어떤 근거에 기반했는지, 누가 해당 행동을 승인했는지, 동일한 조건에서 판단 과정을 다시 추적·재현할 수 있는지’를 구조적으로 보장해야 한다고 강조한다.

이를 위해 철학과 인지과학, 수학, 정보이론, 소프트웨어 아키텍처를 결합해 책임성 있는 AI 에이전트를 구현하기 위한 이론적·공학적 기반을 제시한다.

책의 핵심 이론은 ‘구조화된 인지 루프(Structured Cognitive Loop, SCL)’와 ‘풀-게이트 검색(Pool-Gated Retrieval, PGR)’이다. SCL은 대형언어모델(LLM)에 판단과 실행 권한을 전적으로 위임하는 대신 제안·검증·승인·실행·기록의 역할을 구조적으로 분리해 AI의 판단과 실행 과정을 추적할 수 있도록 설계한 시스템이다. PGR은 단순히 검색된 정보와 실제 판단의 근거로 채택된 중요 정보를 구분해 AI가 어떤 근거를 바탕으로 결정을 내렸는지 확인할 수 있도록 하는 접근법이다.

김 교수는 AI가 결과를 도출한 뒤 사후적으로 그럴듯한 설명을 덧붙이는 것만으로는 진정한 책임성을 확보하기 어렵다고 지적한다. 판단 당시 어떤 근거가 활용됐고 어떤 경로를 거쳐 결정에 이르렀는지를 추적하고 재현할 수 있어야 ‘책임성 있는 AI’가 될 수 있다는 설명이다.

특히 책에서는 AI의 ‘성능’과 ‘책임성’이 서로 다른 축이라는 점을 강조한다. 성능이 뛰어난 AI 모델이라고 해서 자동으로 책임성 있는 시스템이 되는 것은 아니며, 책임성은 모델 자체뿐 아니라 시스템 구조와 운영 규칙, 인간의 감독 및 추적 체계 등을 통해 확보할 수 있다는 것이다. 또한 근거 기반 응답, 귀속 가능한 행동, 구조적 재현성 등을 책임성을 측정하기 위한 주요 요소로 제시한다.

김명호 교수는 “이제 AI 개발의 질문은 ‘얼마나 일을 잘해내는가’에서 ‘왜 그 판단이 허용됐는지’를 입증할 수 있는가로 전환되어야 한다”며 “이 책이 안전하고 신뢰할 수 있는 AI 에이전트를 구축하려는 개발자와 연구자, 정책 입안자들에게 실질적인 아키텍처적 이정표가 되기를 기대한다”고 말했다.

]