완성 요원한 XAI 기술…목적과 환경 고려해 제한적으로 규제해야

[컴퓨터월드] 지난 6월 25일, 정의당 류호정 국회의원은 페이스북을 통해 ‘알고리즘 투명화법’을 발의했다고 밝혔다. 알고리즘 투명화법은 ▲알고리즘 설계 시 준수해야 할 원칙 규정, 가이드라인 보급 ▲알고리즘 서비스 이용자의 건강에 명백히 해를 끼칠 경우 조사 및 시정 명령의 근거 마련 ▲알고리즘 서비스 이용자의 알고리즘에 대한 설명요구권 부여 ▲알고리즘 관련 갈등과 분쟁 조정을 위해 방통위 산하 알고리즘분쟁조정위 설치 등을 골자로 하고 있다.

최근 ‘이루다’를 포함해 일부 AI 서비스들이 사회적인 물의를 일으키면서 정부 주도의 제한이 필요하다는 주장이 힘을 얻고 있다. AI의 영향력을 생각하면 인간에게 가져다주는 혜택만큼이나 잘못 사용됐을 때 끼칠 해악도 클 것임을 예상하기는 어렵지 않다. AI 윤리성에 대한 담론도 뜨겁다. 자율주행차가 교통사고를 냈을 때 누구에게 책임을 물을 것인가? 윤리적인 AI는 공정하고 안전하면서도 인간 중심적인 판단을 내려야 하지만, 자율주행 AI의 판단이 운전자나 보행자 중 어느 한 쪽을 경시한다면 심각한 문제를 야기할 수 있다.

윤리적인 AI의 요구사항 중 하나는 투명성이다. 여기서 투명성이란 ▲상호작용하고 있는 상대가 AI라는 것을 사용자가 인지할 수 있을 것 ▲AI의 판단 과정(알고리즘)을 사용자가 알 수 있을 것 등을 포함한다. 여기서 후자인 AI의 판단 과정(알고리즘)을 알 수 있어야 한다는 것은, 중요하기는 하지만 무척이나 어려운 문제다. 그렇기에 대부분의 기업들은 알고리즘의 입력값과 출력값에 문제가 없다면, 판단 과정을 알 수 없더라도 AI 서비스를 출시하고 있다.

류호정 의원이 발의한 ‘알고리즘 투명화법’ (출처: 정의당 페이스북)
류호정 의원이 발의한 ‘알고리즘 투명화법’ (출처: 정의당 페이스북)

AI를 크게 두 가지로 구분하자면 룰 기반의 심볼릭 AI(Symbolic AI)와 신경망 기반의 뉴로 AI(Neuro AI)로 나눌 수 있다. 비교적 전통적인 방식인 심볼릭 AI는 개발자가 AI의 알고리즘을 직접 설계하는 방법이다. 개발자가 AI에 입력될 값을 사전에 예측할 수 있다면 지난한 학습과정 없이도 정확한 출력값을 제공할 수 있다. 알고리즘을 직접 설계하므로 AI가 작동하는 과정도 비교적 정확하게 파악할 수 있다.

뉴로 AI는 오늘날 대부분의 AI에 활용되고 있는 신경망(neural network) 기반의 AI다. AI에 대한 설명에 머신러닝, 딥러닝 등의 단어가 사용됐다면 대개 뉴로 AI라고 봐도 무방하다. 알고리즘을 직접 개발하는 대신, 사전에 개발한 학습 모델에 방대한 데이터를 입력해 AI가 직접 알고리즘을 구축하도록 유도한다. 이를 통해 뉴로 AI는 개발자가 예측하지 못했던 수준까지 고도화될 수 있다. 하지만 학습이 반복되면서 알고리즘의 복잡도가 높아지면 AI의 작동 원리를 이해할 수 없는 블랙박스가 될 위험성이 있다.

최근에는 이러한 뉴로 AI의 블랙박스화를 해결하기 위한 방법들이 연구되고 있다. 심볼릭 AI의 장점을 결합한 뉴로-심볼릭 AI(Neuro-Symbolic AI), AI의 판단 근거를 사용자가 이해할 수 있는 형태로 제시하도록 하는 설명 가능한 AI(XAI, eXplainable AI) 등이 그것이다. 전 세계 정부, 학계, 산업계가 모두 관심을 가지고 투자를 확대하고 있지만 아직 이런 기술들이 완성은 요원하다.

작동 원리를 이해하지 못한 채 AI를 활용하면 분명 위험 요소를 안고 가게 된다. 중요한 것은 작동 원리를 규명해야 할 만큼 미션 크리티컬한 업무와, 상대적으로 중요도가 낮은 대신 고도화된 서비스가 필요한 업무를 구분하는 것이다. AI의 투명성이라는 대명제에 사로잡혀 설명 불가능한 AI를 배제하겠다는 것은, 불의 과학적 원리를 이해하지 못해 사용하지 않겠다는 것과 다름없다. 정부가 윤리적이고 투명한 AI의 등장을 독려하는 것은 바람직하지만, 이제 막 불이 붙은 국내 AI 업계의 발목을 붙잡지는 말아야 할 것이다.

저작권자 © 컴퓨터월드 무단전재 및 재배포 금지