사니예 알래이베이(Saniye Alaybeyi) 가트너 시니어 디렉터 애널리스트

▲ 사니예 알래이베이
가트너 시니어 디렉터 애널리스트

[컴퓨터월드] 아마존, 구글, IBM, 마이크로소프트 등의 기업들은 다양한 작업을 할 수 있는 새로운 AI 기능을 개발하고 있다. 현재 진행 중인 이러한 AI 기술은 자율적으로 관찰하고 학습하고 결정하며, 확장하고 행동하는 정확한 자립형 시스템의 개발에 이용되면서 많은 이점을 제공하고 있다.

안타깝게도 이러한 고급 AI 모델의 대다수는 의사 결정에 도달하는 과정을 제대로 설명하지 못하는 복잡한 블랙박스와 같다. 이러한 복잡한 AI 모델은 이를 신뢰하며 사용해야 하는 사업(line-of-business) 담당자에게 많은 영향을 미치고 있다. ‘설명 가능한 AI’를 정의하기 위한 방안이 마련되어야 하는 이유이다.

애플리케이션 리더들은 설명이 필요한 시나리오에서 더욱 해석하기 쉽고 설명할 수 있는 AI 모델을 어떻게 만들 수 있을까? 가트너는 세 가지 방안을 추천하고 있다.

■ 설명의 필요성을 파악하기 위해 비즈니스 사용자와 논의하고, AI 모델이 운용될 전체 시스템의 맥락을 설명한다.
■ 역대 데이터를 활용하거나, 모델을 설명하고, 결과를 간소화하거나 혹은 사람이 이해할 수 있는 방식으로 기초 데이터를 노출함으로써 이해관계자들에게 트레이닝 데이터에 대한 가시성을 제공한다.
■ 비즈니스 이해관계자들이 그들 상황에 가장 잘 부합하는 방식을 택할 수 있도록 설명 가능한 AI 모델과 더욱 정확한 AI 모델 중 택할 수 있는 권한을 부여한다.


분석
AI 모델이 운용할 전체 시스템의 맥락을 묘사하는 것부터 시작하라
애플리케이션 리더는 비즈니스 영역과 관련된 올바른 질문을 던져 해당 사업부와 논의해야 한다. 데이터 소스와 알고리즘에 대한 투명성 요구사항을 규명해야 한다.

중요한 목표는 애플리케이션 리더가 규제 요구사항을 준수하고, 비즈니스 상 중요한 다른 문제나 제약 요건을 고려하는 모델을 제공하는 것을 보장하는 것이다. 비즈니스 이해관계자들과 협력해 AI 하위시스템에 대한 입력과 입력 경계 조건, 비정상 처리 방법, 모델 교육 방법 및 교육 빈도에 대한 방침을 확립해야 한다.

그 후 애플리케이션 리더들은 편향된 정보를 피할 수 있도록 현재 데이터 소스에 대한 신뢰를 보장해야 한다. 여기에는 AI 위험을 최소화하기 위해 이미 사용된 데이터와 결합할 수 있는 새롭고 색다른, 심지어 모순되는 데이터에 대한 요구가 포함된다.

AI 모델의 적합성에 대한 여러 질문에 답하려면 설계 중인 애플리케이션의 목표에 대해 명확하게 이해해야 한다.

■ 사용 사례와 기능 요구사항으로 시작한다. 필요시 시스템 수준에서 작동을 설명하는 고급 애플리케이션 아키텍처 다이어그램을 제공한다.
■ AI 모델을 적용할 환경의 유형에 대해 논의한다. 여기에는 예상되는 연결성, 지연시간, 신뢰성, 가용성 등 기술 요구사항에 대한 가정이 포함된다.
■ 경계 조건을 확인하고 결정한다. 오류, 하드웨어 고장, 비정상 작동과 같은 조건을 명시한다.
■ 거버넌스, 위험, 규제준수(GRS) 문제를 문서화한다.

제언
■ 규제 요건에 부합하고 비즈니스 상 중요한 다른 문제나 제약을 고려하는 모델을 제공할 수 있도록 비즈니스 영역에 특화된 올바른 질문을 던져 비즈니스 관계자들과 협의하라.
■ 포괄적인 요구사항 문서를 작성하고 이를 지속적인 피드백 루프의 일환으로 구성해 중요한 가정과 경계를 간과하는 일이 없도록 하라.
■ 운영 여건 상 시스템이 AI 모델 사용에서 기존 알고리즘으로 전환될 수 있는 경우를 명확하게 설명하라.
■ 설명을 통해 AI 프론트 엔드 범위를 벗어나는 동작을 허용할 수 있는 견고한 시스템을 설계하라. 예를 들어, 차량에 탑재된 AI가 우산을 쓴 보행자가 사실상 멀리 있다고 판단한다면 이는 부정 오류(false negative)이며, 충돌 방지 레이더가 먼저 작동해야 한다. AI 시스템을 테스트하고 디버깅 및 개선할 때 왜 AI가 부정 오류나 긍정 오류(false positive)를 일으키는지 설명할 수 있는 능력은 유용하다.
■ 이해관계자에 가시적인 교육 데이터를 제공하고, 모델 입출력을 요약하라

기업 이해관계자는 데이터 사이언티스트가 아닌, 애플리케이션 리더나 엔터프라이즈 아키텍트 등의 직무를 맡고 있는 임원일 가능성이 높다. 이들은 데이터를 생성하고 표준화하며 정리하는 방법이나 모델을 교육하는 방법을 이해하지 못한다. 그러나 이러한 모델을 교육시키는데 사용되는 데이터에 대한 이해도가 높다면 이러한 모델을 신뢰하고 사용할 가능성이 높다.

이해관계자와 초기 협의가 마무리되면, 애플리케이션 리더는 비즈니스 사용자가 이해할 수 있는 방식으로 교육 데이터를 볼 수 있도록 해야 한다. 이것이 가장 중요하다. 여기에는 데이터가 수집된 시점부터의 데이터 전략 프로세스, 데이터 내 편향성 테스트, 피쳐 엔지니어링(feature engineering), 누락된 데이터에 대한 보상과 교육 등이 포함된다. 애플리케이션 리더는 다음과 같은 방법을 사용해 데이터세트를 가시화할 수 있다.

■ 익숙한 용어를 사용해 모델 입력 설명: 교육 알고리즘에 사용된 데이터 유형을 공개한다. 사용자들은 의사 결정을 내려야 할 때 고려해 볼 동일한 유형의 변수에 기반해 이뤄진 의사 결정을 볼 수 있다.
■ 데이터세트를 시각화 하는 방법 제공: 머신러닝 알고리즘을 교육하고 해석하는 맥락 내에서 일부 데이터세트가 아닌, 모든 차원의 데이터세트를 설명하는 기법을 사용하라. 이러한 기법으로는 글립스(glyphs), 상관관계 그래프, 2D 투영법, 부분 의존성 플롯(partial dependence plots), 잔차분석(residual analysis) 등이 있다.
■ 역대 데이터 결과 검증: 역대 데이터를 AI 모델에 입력하고 과거 예측을 생성할 수 있다. 그렇게 나온 결과를 이미 알려진 값과 비교할 수 있다.
■ LRP(Layer-wise Relevance Propagation) 실험: LRP는 예측에 대한 개별 입력 변수의 기여도를 시각화하고 이해하는데 도움이 된다.
■ 가능하면 기본 데이터나 적어도 그 중 일부를 노출시켜라.
■ 다른 이들이 자체 머신러닝 모델을 만들 수 있도록 원 데이터에 대한 액세스를 제공하라.

제언
■ 역대 데이터를 활용하고, 모델 입력을 설명하고, 인간이 이해할 수 있는 방식으로 결과를 간소화하거나 기본 데이터를 노출시켜 사용자들에 교육 데이터에 대한 가시성을 제공해야 한다.
■ 모델에 영향을 받지 않거나 모델에 특화된 출력의 해석을 활용해야 한다.


설명가능성 vs 성능/정확성, 타협점을 요약하라
AI 애플리케이션이 다양한 만큼 설명가능성을 갖추기 위한 요구사항도 모두 다르다. 내부 아이디어와 인사이트를 생성하는 AI는 배포 전에 추가로 테스트될 수 있지만 설명가능성에 대해서는 기록이 많이 필요하지 않다. 그러나 사용자에 대한 의사 결정을 내리는 AI는 설명가능성을 요구한다.

자율주행과 같이 중요한 결과로 이어지는 폐회로(closed loop) 내에서 의사 결정을 내리는 AI는 윤리적·법적 이유로 설명가능성을 갖춰야 할 필요성이 크다. 운영부문 사용자는 분야 전문가이며 규제 환경과 다른 사업 상 제약을 익히 알고 있기에, 사용가능성과 정확성 간의 타협점을 만들 수 있는 최적의 위치에 있다.

정확성과 설명가능성을 견주어 보는 것은 균형 잡기와 같다. 심층신경망이나 랜덤 포레스트와 같이 매우 정확한 모델은 해석가능성이 낮은 반면, 규칙 기반 모델은 해석가능성은 있지만 정확성이 떨어진다. 부스티드 트리(Boosted trees), 랜덤 포레스트, 신경망은 대규모로 이뤄지는 시행착오를 통해 정확성을 제공한다.

운영부문 사용자는 랜덤 포레스트와 의사결정나무 중 하나를 선택할 수 없기에, 향상된 정확성을 지원할 데이터를 제공하는 것이 중요하다. 해석가능성이 절대적으로 필요한 경우, 애플리케이션 리더들은 반드시 해석 가능한 모델을 우선시해야 한다(결과가 작업용으로 충분히 정확하다는 가정 하에). 해석 가능한 모델로는 선형 회귀, 로지스틱 회귀, 의사결정나무, 결정 규칙, 룰핏(RuleFit) 등이 있다. 그러나 해석 가능한 모델이 제대로 작동하지 않거나 특정 비즈니스 사용 사례에 사용할 수 있을 만큼 정확하지 않은 경우, 심층신경망이나 부스티드 트리와 같은 블랙박스 모델이 사용된다.

성능과 규모도 고려해야 할 사항이다. 예를 들어 컴퓨터 비전 모델은 사람만큼 정확하지 않을 수 있지만, 비용과 인력 사용 가능성이 제한된 사례에서 대규모로 알고리즘을 수행하는 능력에는 투자해 볼 만 하다.

이들 모델 중 일부가 블랙박스이고 결과 해석이 불가능한 경우라고 해도, 보다 일관적이고 믿음이 가며 실용적인 결과를 만들 수 있는 방법은 있다. 기술적 접근법은 비즈니스 사용자들에 모델 결정을 설명하는데 가장 일반적으로 사용되는 방식이다.

■ 모델에 영향을 받지 않는 접근법: 이 방식은 설명가능성과 블랙박스 머신러닝 모델을 분리한다. 모델에 영향을 맏지 않는 방식이 설명과 머신러닝 모델을 분리하는 것처럼, 해석가능성은 머신러닝 모델 상의 다른 단계가 된다. 이는 다양한 사용자와 모델을 위해 디버깅과 비교, 인터페이스를 향상시킬 수 있다.
■ 모델에 특화된 접근법: 트리인터프리터스(Treeinterpreters)와 신경망 해석기와 같은 알고리즘 특화 기법은 모델의 내부 작업을 설명한다. 이는 비즈니스 사용자에게 더욱 정확하고 향상된 설명을 제공하는데 사용될 수 있다.

제언
■ 비즈니스 이해관계자들에게 사람이 이해할 수 있는 방식으로 더욱 설명 가능한 모델과 더욱 정확한 모델 간 선택권을 제공해 자체 환경에 더 잘 맞는 방식을 결정하도록 해야 한다. 이는 AI 모델에 대한 신뢰와 투명성을 향상시킨다.
■ 블랙박스 모델이 선호되는 경우 특히, 비즈니스 이해관계자들에 모델에 영향을 받지 않는 해석가능성과 모델에 특화된 해석가능성 간 선택권을 제공해야 한다.

저작권자 © 컴퓨터월드 무단전재 및 재배포 금지