[컴퓨터월드] AI는 산업 분야를 막론하고 혁신을 가속화시키기 위한 필수요소로 자리잡았다. 그러나 한편으로 AI의 역할이 커질수록 오작동을 일으켰을 때 발생할 수 있는 사고 규모도 커지고 있다. 마치 불이 인류 문명의 발전에 크게 공헌했지만 때로는 화재를 일으켜 심각한 피해를 입히기도 하는 것처럼 말이다. 특히 딥러닝을 통해 개발된 AI는 여전히 블랙박스 문제를 안고 있어 언제 터질지 모르는 시한폭탄처럼 느껴지기도 한다.

이에 따라 최근 전 세계 정부와 IT 기업들은 신뢰할 수 있는 AI를 만들고 이를 검증할 수 있는 기술과 제도 개발에 많은 관심을 쏟고 있다.

AI가 확산될수록 위험도 높아진다

지난 2016년 3월, 알파고(AlphaGo)가 이세돌 9단을 꺾으면서 AI의 가능성을 전 세계에 알렸다. 이미 6년 전의 일이다. 이제 우리에게 AI라는 단어는 더이상 낯설지 않다. 현대인의 생활 필수품인 스마트폰부터 시작해 자동차나 병원, 쇼핑 등 AI가 적용되지 않은 영역을 찾기 힘들 정도다. 산업계에서도 금융‧제조‧유통 등 분야를 가리지 않고 모든 곳에 AI가 적용되고 있다. 앞으로도 한동안 AI는 인류 발전의 모든 곳에 중요한 역할을 할 것으로 보인다.

그러나 AI가 가져다주는 빛이 밝아질수록 그만큼 그림자도 깊어지고 있다. AI가 더 많은 곳에서 더 중요한 역할을 수행할수록 AI가 오작동했을 때 일어나는 문제 역시 커지기 때문이다. 뉴스나 포털 사이트 등을 통해 오작동한 AI가 일으키는 문제를 심심찮게 만나볼 수 있다.

국내에서 AI가 일으킨 사건 중 가장 큰 주목을 받은 것은 단연 ‘이루다’일 것이다. 이루다는 스캐터랩이 개발한 대화형 AI 챗봇 서비스다. 2020년 6월 페이스북 메신저를 통해 베타 버전을 공개하고, 같은 해 12월 정식 출시됐다. 방대한 일상회화 데이터를 학습해 어떤 주제에 대해서도 자연스럽게 대화를 나눌 수 있는 것은 물론, 사용자에게 먼저 말을 걸거나 이루다 자신의 일상을 공유하면서 진짜 사람처럼 느껴지는 AI를 구현해 주목을 받았다.

그러나 이루다는 정식 출시 이후 성소수자와 장애인에 대한 혐오 발언, 남녀 차별적인 표현, 20대 여성으로 설정된 이루다에 대한 성희롱 등 수많은 물의를 일으켰다. 여기에 학습에 사용한 데이터를 제대로 정제하지 않아 개인정보 유출 문제까지 발생하면서 비난의 목소리는 더욱 높아졌다. 이에 스캐터랩은 아직 이루다의 수준이 부족하다는 것을 인정하고 서비스를 잠정 중단했다.

이루다는 우리 사회가 AI에 대해 경각심을 가지게 하는 계기가 됐다. 알파고가 이세돌 9단을 이겼다지만 AI는 여전히 완전한 기술이 아니며, 언제든 실수를 저지를 수 있다는 것. 특히 이루다는 그저 대화형 AI 챗봇이었기에 개발자가 예기치 못한 문제가 발생해도 서비스 종료 수준에서 마무리될 수 있었지만, 만약 더 중요한 역할을 하도록 만들어진 AI였다면 심각한 사회적 문제를 일으킬 수도 있었을 것이다. 예를 들어 자율주행차를 운전하는 AI가 오작동을 일으켜 횡단보도를 건너는 사람을 인식하지 못하게 된다면?

과기정통부 ‘신뢰할 수 있는 AI 실현전략’ 제시

AI가 사회적 문제를 일으키지 않도록 하려면 어떻게 해야 할까? 가장 간단한 방법은 AI를 완전히 배제하고 그 이전으로 돌아가는 것이다. 하지만 당연하게도 이는 현실적이지 않다. 화재가 무섭다고 불을 쓰지 않을 수는 없듯, AI는 이미 사회 전반에 깊숙이 침투했으며 우리는 AI가 가져다주는 혜택을 너무 경험해버렸다. 이제 와서 AI를 완전히 배제할 수는 없다. 그렇다면 남은 방법은 믿을 수 있는 AI를 만드는 것, AI 신뢰성에 대한 문제를 고민하는 것이다. 이에 전 세계 주요국에서는 AI의 신뢰성 확보를 위한 정책을 앞다투어 내놓고 있다.

우리나라에서도 AI 신뢰성 확보를 위한 제도 마련에 박차를 가하고 있다. 과학기술정보통신부(이하 과기정통부)는 지난해 5월 ‘신뢰할 수 있는 AI 실현전략’을 발표했다. 과기정통부 측은 “사람이 중심이 되는 AI 강국으로 도약하기 위해 ‘신뢰할 수 있는 AI’ 실현을 위한 지원 정책이 조속히 필요하다”며, “(이번 전략에는) 민간 자율적으로 신뢰성을 확보할 수 있도록 지원체계를 구축하며, 재정과 기술이 부족한 스타트업 등에 대한 지원책을 담았다”고 설명했다.

과기정통부는 이번 실현전략을 통해 △신뢰 가능한 AI 구현 환경 조성 △안전한 AI 활용 기반 마련 △사회 전반의 건전한 AI 의식 확산 등의 3대 전략과 구체적인 10대 실행과제를 제시했다. 즉 민간에서 성능과 안정성이 뛰어난 AI 서비스가 나올 수 있도록 지원하는 한편, 이용자들이 AI를 믿고 안전하게 사용할 수 있도록 제도적으로 보완한다. 한편으로는 사회적‧인문학적으로 AI 활용과 윤리에 대한 교육을 강화해 전 국민이 AI에 대한 건전한 의식을 함양할 수 있도록 한다.

과기정통부는 ‘신뢰할 수 있는 AI 실현전략’이 지난 2020년 발표한 ‘AI 윤리기준’의 실천방안을 구체화한 것이라고 설명했다. 구체적인 내용을 살펴보면 정부가 AI 기술을 대하는 방향성이 다소 달라졌음을 느낄 수 있다. ‘AI 윤리기준’은 ‘인간성을 위한 AI’라는 키워드를 내세우며 △인간의 존엄성 △사회의 공공선 △기술의 합목적성 등 AI의 긍정적으로 사용하자는 방향성을 제시했지만, ‘신뢰할 수 있는 AI 실현전략’은 상대적으로 AI의 오작동과 위험성을 경계하며 믿을 수 있도록 만들어야 한다는 수비적인 면모가 돋보인다.

AI는 문제를 일으키지 않는다

그렇다면 AI는 왜 오작동을, 문제를 일으키는가? 사실 AI는 문제를 일으키지 않는다. AI가 문제를 일으켰다고 하는 경우의 대부분은 ‘사람이 의도하지 않은 결과’가 나온 것 뿐이지, AI가 오작동한 게 아니다. AI는 도구에 불과하며 사람과 같은 실수를 하지 않는다. 의도하지 않은 결과가 나오도록 만든 것은 AI가 그렇게 작동하도록 만든 사람이고, 따라서 실수는 문제를 일으킨 것은 사람이다. 이루다가 성소수자 혐오나 남녀 차별적인 발언을 한 것은 이루다가 나쁜 아이이기 때문이 아니라, 사람이 나쁜 데이터를 학습시켰기 때문이다.

AI가 문제를 일으키지 않도록 만들기 위해서는, 사람이 의도한 결과만을 도출하도록 만들기 위해서는 결국 사람이 좋은 데이터를 학습시켜야 한다. 즉 AI의 신뢰성을 확보한다는 것은 학습용 데이터의 신뢰성을 확보해야 한다는 것을 의미한다. 학습용 데이터의 신뢰성이란 데이터에 누락되거나 잘못된 값이 없고 충분한 양을 갖추고 있어야만 성립된다. 정확하고 많은 데이터로 학습한 AI는 신뢰성을 기대할 수 있다.

AI 학습용 데이터가 갖춰야 할 또 하나의 미덕은 편향성이다. 데이터를 수집하고 정제하는 과정에서는 언제든지 편향성이 발생할 수 있다. 정확하고 많은 데이터도 한 쪽으로 치우쳐 있다면 결과물인 AI가 만족스럽지 않을 수 있다. 가령 개의 종류를 분류하는 AI를 만들기 위해 100장의 사진을 학습시켰는데, 진돗개 사진 99장과 치와와 사진 1장으로 학습시킨다면 제대로 된 결과가 나오지 않을 것이다. 따라서 좋은 AI를 만들기 위해서는 학습용 데이터의 편향성을 점검하고, 다양한 데이터를 학습할 수 있도록 해야 한다.

다만 편향성이 무조건 제거돼야 하는 것은 아니다. 경우에 따라서는 편향성이 필요할 수도 있다. 이루다의 사례로 돌아가보자. 이루다는 진짜 사람같은 AI를 목표로 하고 있지만, 진짜 사람들이 하는 말들을 그대로 학습했다가는 욕지거리 같은 나쁜 말을 배울 수도 있다. 따라서 이루다가 물의를 일으키지 않도록 하기 위해서는 착한 말만 하도록 편향되게 학습시킬 필요가 있다. 굳이 다양성을 고려해 나쁜 말까지 배울 필요는 없는 것이다. 혹은 나쁜 표현을 배우더라도 착한 말만 하도록 변수값을 조정해 알고리즘에 편향성을 부여하는 것도 가능하다.

“크기만 한 데이터에는 가치가 없다”
박지환 씽크포비엘 대표

예전에 한 기관에 찾아가보니 약 5만 장의 사진 데이터를 보유하고 있었다. 이렇게 모으는 데에 억 단위의 돈이 들었다고 했다. 5만 장이라고 하면 상당한 양처럼 보인다. 그런데 막상 뚜껑을 열어보니 5만 장처럼 보이는 260장에 불과했다. 비슷하거나 중복된 사진들이 많았기 때문이다. 이런 데이터 5만 장을 학습한 AI는 다양성이 갖춰진 260장만 학습한 AI와 다를 바가 없다.

그동안 우리는 데이터의 양에만 집중했다. 빅데이터라기보다는 빅(big)하기만 한 데이터다. 이런 데이터는 용량은 크지만 가치는 작다. 대부분 데이터를 많이 모으면 어떻게든 되지 않겠느냐고 생각한다. 기업들은 자신들이 보유한 데이터가 얼마나 많은지, 얼마나 오랫동안 모은 것인지 자랑한다. 데이터를 1억 건 모았다, 10년 치를 모았다, 용량으로 따지면 몇 페타바이트나 된다, 이런 식이다. 그런데 데이터가 얼마나 다양하게 있냐고 물어보면 제대로 대답하지 못한다. 데이터의 다양성을 표현할 기준 자체가 없다.

많은 기관들이 일단 양이 많으면 기관의 평가가 높아지고 본인의 치적에도 도움이 되니까 그저 많기만 한 빅데이터를 보유하고 있다. 하지만 이것은 너무나 비효율적이고 구시대적인 방법이다. 시간과 예산의 낭비다. 과거에 AI와 데이터에 대해 잘 모르던 시절에 축적한 데이터들은 그렇다고 쳐도, 이제는 보다 성숙한 시점이니 과거의 잘못된 부분을 바로잡고 보다 효과적인 방법을 시도해야 한다.

데이터를 모을 때는 데이터의 양과 정확성만큼이나 다양성과 밸런스를 갖추는 것도 중요하다. 데이터를 모으는 것은 결국 똑똑한 AI를 만들고 지능정보사회를 만들기 위한 것이다. 그러므로 조금 더 번거롭더라도 모으는 단계부터 제대로 쓰이기 위한 조건을 생각해야 한다.

 신뢰할 수 없는 공공데이터

아직 민간기업 간의 데이터 유통 생태계가 확립되지 않은 현재, 국내 기업들이 데이터를 확보할 수 있는 가장 편리한 창구는 정부다. 각 산업 분야에서 충분히 많은 데이터를 보유하지 못한 기업들에게 있어 정부기관에서 공개하는 공공데이터들은 가장 접근성이 좋고 유용한 데이터로 평가된다.

하지만 공공데이터를 활용하는 기업들은 해당 데이터에 충분한 신뢰성이 갖춰져 있는지에 대해 의문을 제기한다. 공공데이터의 장점 중 하나는 오랜 기간 동안 축적된 방대한 양인데, 과거의 데이터들에 대해서는 신뢰성을 장담할 수 없다는 것이다. 간단한 통계정보를 확인하려고 해도 동일한 항목에 대해 부처별로 수치가 다르고, 통계연보로 모아놓은 것을 확인해도 해당 데이터의 근거가 무엇인지, 어떻게 집계된 수치인지를 확인할 수 없기 때문이다. 한 관계자는 “정부 통계 자료는 2006년도에 국가재정법이 나오면서 그나마 정리가 된 것이지, 그 이전의 데이터는 믿을 수가 없다”고 강경한 목소리를 내기도 했다.

최근 정부가 야심차게 추진한 데이터 댐에 대해서도 불만의 목소리가 높다. 데이터 댐을 조성하는 데에 수조 원의 예산을 투입됐지만 결과물은 만족스럽지 못하다는 이유다. 데이터 댐에는 정부의 지원을 받아 민간기업들이 모아온 데이터들이 대량으로 들어가 있지만, 그 과정에서 제대로 된 기준 없이 제각기 가지고 온 데이터들이 덤핑돼 있어서 활용이 어렵다.

가령 사진을 통해 특정 지역의 식생을 파악하기 위해서는 그 주변의 모든 환경들을 다양하게 촬영한 데이터가 있어야 한다. 식물은 물론이거니와 주변의 날씨 변화나 토양 조건, 수원, 동물 등 식생에 영향을 미칠 수 있는 요소들에 대한 정보들이 갖춰져야 한다. 가능하다면 다른 날씨와 토양에서 자라는 식물에 대한 정보까지 갖춰져야 비로소 원하는 지역에 대한 식생 파악과 분석이 가능하다. 하지만 데이터 댐에 있는 데이터들은 어디에서 찍었는지도 알 수 없는 식물 사진만 덩그러니 있는 셈이다. 이런 사진들은 아무리 많아도 주변 환경이 해당 식생이 만들어지는 데에 어떤 영향을 미쳤는지 알 수 없으니 유용한 인사이트를 얻을 수가 없다.

더 큰 문제는 데이터 댐에 있는 데이터들이 모두 쓸모없는 것은 아니라는 점이다. 데이터 댐에는 제대로 된 데이터도 있다. 신뢰할 수 없는 데이터 가운데에 양질의 데이터가 섞여있는 셈. 그러니 제대로 된 데이터만 보고 믿을만하다고 생각해서 대량으로 덤핑해가게 되면 더 큰 문제에 봉착할 수 있다. 데이터를 가져가려는 기업은 방대한 데이터 풀 한가운데에서 스스로 각 데이터들의 신뢰성을 검증해가며 옥석을 가려내야 한다. 그런 과정 없이 신뢰할 수 없는 데이터로 AI를 학습시켜서는 신뢰할 수 없는 AI가 만들어질 뿐이다.

심지어 정부가 아니라 민간주도로 데이터를 모으고 유통하는 체계가 만들어지기 위해서라도 정부의 가이드라인은 필수적이다. 아직 민간에서 자체적인 데이터 유통 생태계가 만들어지지 못한 상황에서, 완벽하지는 않더라도 어느 정도 수용 가능한 표준 가이드라인이 있다면 그에 맞춰서 데이터를 구축하고 가공해서 거래할 수 있었을 것이다.

데이터 댐은 무작정 비용을 지불해 데이터를 사다가 쌓아놓기 전에, 어떤 데이터를 가져다가 어떤 형태로 쌓아놓겠다는 가이드라인을 먼저 세웠어야 했다. 가이드라인 없이 데이터의 양에만 집착한 결과, 방대한 데이터를 바탕으로 국내 AI 생태계를 가속화시키려던 정부의 목표는 이룰 수 없게 됐다. AI 신뢰성 확보라는 측면에서 현재 국내 데이터 생태계의 신뢰성 수준은 기대치에 못 미치는 게 사실이다.

“디지털 정책 이끌어갈 컨트롤타워부터 마련해야”
부산대학교 빅데이터정책연구센터 권영주 교수

최근 몇 년 사이 정부에서는 디지털 뉴딜이라는 목표를 세워놓고 다양한 사업을 추진했다. 코로나19로 침체된 경기를 회복시키는 한편 디지털 전환이라는 글로벌 추세에 발맞춰 선도적인 입지를 다지겠다는 목표도 있었다.

그렇지만 디지털 뉴딜 사업을 진행하면서 강하게 드라이브를 걸어줄 컨트롤타워가 없었다는 점이 아쉽다. 중앙에서 지휘를 해줄 수 있는 컨트롤타워가 없다보니 부처 간의 혼란이 가중되고, 협력을 해도 모자랄 판에 실적 경쟁구도가 만들어지기도 했다. 가령 데이터 유통에 대한 법안을 만들 때, 과기정통부와 중기부, 산자부 등이 서로 먼저 만들겠다고 나섰다. 민간기업에 대한 데이터 유통 법안이니 세 부처가 다 관련이 있고 나름대로 명분도 갖췄다. 하지만 반대로 생각하면, 세 부처 중 어느 한 군데가 만들어서는 나사빠진 법안이 되기 십상이다. 그러니 각 부처들이 협력할 수 있도록 그보다 윗선에서 지시를 내릴 수 있는 컨트롤타워가 필요하다.

산업계에서는 데이터 댐의 데이터 신뢰성에 대해 불만이 많은 것으로 알고 있다. 하지만 그러한 문제 제기가 사실이라고 해도, 정부는 이미 조 단위의 막대한 자금을 투자해 조성한 데이터 댐이 쓸모없는 데이터를 담고 있다는 것을 쉽게 인정할 수 없을 것이다. 뒤늦게라도 데이터에 대한 신뢰성 검증을 해달라는 요구도 수용하기 어렵다. 확인 결과 신뢰할 수 없는 데이터라는 결과가 나오면 책임자들이 옷을 벗어야 할 테니까. 자체적으로 데이터의 신뢰성을 검증할 수 있는 타임 리미트는 이미 지나갔다고 본다. 결국 이러한 논의는 컨트롤타워의 부재라는 문제로 돌아온다. 데이터 댐에 대한 신뢰성 검증이 필요하다면 이를 권고하거나 필요하다면 강제할 수 있는 집단이 있어야 한다.

예산에 대해서도 마찬가지다. 과거 노무현 대통령 시절에 국가균형발전특별법을 만들 때는 그에 해당되는 회계부터 만들었다. 이를 통해 예산이 지속적으로 확보됐기 때문에 동력을 잃지 않고 끝까지 갈 수 있었다. 반면 최근 몇 년 사이 정부는 디지털 산업계에 막대한 예산을 투자했는데, 이게 앞으로도 쭉 이어질 수 있을지는 미지수다. 앞으로도 디지털 산업에 대한 지원이 힘을 잃지 않으려면 특별회계가 붙을 수 있는 사업이 나와야 한다. 새로운 정부에서는 그에 대한 노력을 해줬으면 하는 바람이다.

어쩌면 디지털 산업계 입장에서는 이번 정권 교체가 중요한 분기점일 수 있다. 큰 변화의 바람이 불어닥치더라도 막을 수가 없으니까. 만약 정부가 디지털 산업에서 명확한 미래의 비전을 보고 있다면, 공공데이터의 신뢰성을 검증하고 상위의 통합법을 만들고, 4차산업혁명위원회 급의 집단을 만들어서 컨트롤타워를 새롭게 세울 수 있는 마지막 기회가 아닐까 생각한다.

 AIIA, 민간 주도의 AI 신뢰성 인증 제시

한편 과기정통부가 ‘신뢰할 수 있는 AI 실현전략’을 제시한 데 이어, 최근에는 민간에서도 AI의 신뢰성 확보를 위한 체계를 마련하기 위한 노력이 이어지고 있다. 지난 3월 10일, 지능정보산업협회(AIIA)는 민간 주도의 AI 신뢰성 인증(Trustworthy AI)을 내놓았다.

이번 인증은 EU에서 제안한 ‘고위험 AI 시스템 요구사항’을 기반으로 AI 기반 제품‧서비스의 신뢰성을 평가하는 제도다. AI 기술이 적용된 디바이스나 SW, 서비스 등 AI와 관련된 모든 시스템들을 포함한다. AI의 성능과 결과물의 정확성은 물론, 해당 AI를 개발한 기업이 AI 워크플로우 전 과정에서 적절한 관리체계를 갖추고 있는지 등을 점검한다.

업계 관계자들은 민간 주도로 AI 신뢰성 인증 제도가 나왔다는 것에 대해 긍정적인 반응을 보내고 있다. 인증이라는 명칭에서 느껴지듯, 자칫하면 AI 제품 출시 전에 정부가 인증 획득을 강제함으로써 기술 개발에 제동을 걸게 될 수도 있기 때문이다. 과기정통부 역시 이러한 우려를 인식하고 있는지 ‘신뢰할 수 있는 AI 실현전략’에서 “AI 신뢰성 인증 단계에서는 민간 자율 인증과 공시를 추진한다”고 밝힌 바 있다.

다행히 AIIA를 통해 민간에서 먼저 AI 신뢰성 인증이 발표되면서 이러한 걱정은 내려놓아도 될 것 같다. 민간기업들을 주축으로 AI 산업계와 실제 현장을 고려한 AI 신뢰성의 요구 수준을 선제적으로 만들 수 있게 됐기 때문이다. 이에 더해 AIIA 정책사업부 안성일 팀장은 “사실 인증이라는 표현을 쓰면 규제처럼 느껴질 것 같아서 다른 명칭을 고려하기도 했다”면서, “AI 신뢰성 인증은 민간기업들의 AI 서비스 출시를 막거나 제한하려는 것이 아니라, 인증을 획득하는 과정에서 협회가 적절한 지원과 컨설팅을 제공해 서비스의 완성도를 높이고 부작용을 미연에 방지하기 위해 마련된 것”이라고 거듭 강조했다.

AIIA는 올해 안에 AI 신뢰성 인증 제도를 통해 4~5개 기업들의 인증 획득을 지원하면서 우수사례를 만들어보겠다는 목표다. 한 번에 거창하고 정교한 인증 체계와 표준을 만들어 탑다운(Top-down)으로 내려가기보다, 현장에서 실제 AI 제품의 신뢰성 확보 과정을 지원하면서 시행착오를 겪어가며 바텀업(Bottom-up)으로 만들어나가겠다는 취지다. 기업들이 AI 신뢰성을 확보하는 과정에서 겪는 어려움들을 듣고 함께 경험하며 AI 신뢰성 인증 체계를 완성해나갈 계획이다.

현재 AIIA는 AI 신뢰성 인증 제도를 실질적으로 이끌어갈 인증위원회를 구성하기 위해 다양한 전문가 단체들과 접촉하고 있다. 국내는 그동안 AI 신뢰성에 대한 인식이 부족했기 때문에 전문적인 역량을 갖춘 인재 자체가 부족한 상황이라, 올해에는 인증을 받을 수 있는 기업의 수를 제한하더라도 시험심사를 진행하면서 인증 프로세스를 다잡아줄 수 있는 소수의 전문가들을 섭외하겠다는 계획이다. 향후 인증 프로세스와 방법론이 표준화되면 추가적으로 인력을 충원하는 한편, 협회 차원에서 AI 신뢰성에 대해 전문성을 갖춘 인재 양성 프로젝트 추진도 검토하고 있다.