평가기관 ‘TTA’ 신뢰성에 의문, 중소SW업계 비용부담도 걱정

[컴퓨터월드] 공공기관의 분리발주 SW를 대상으로 BMT가 의무화됐다. 이에 따라 미래부는 지난 1월 한국정보통신기술협회(TTA)를 평가시험기관으로 지정하는 등 시행을 위한 준비작업에 들어갔으나 SW업계 관계자들은 BMT 시행에 대해 우려를 표하고 있다.

특히 ‘평가시험기관’으로 단독 지정된 TTA의 독점적 지위에 대해서는 불만의 목소리가 높다. 업계 관계자들은 여러 이유를 들어 ▲시험평가기관의 추가 확보 ▲평가기관과 중재·관리기관의 이원화 ▲평가체계의 세분화 등이 필요하다고 주장한다.

혹자는 ‘평가시험기관’ 자체가 ‘TTA를 염두에 두고 공고한 자리’가 아니냐고 의문을 제시하기도 한다. 특히 민간기업들의 경우 BMT수행기관으로서의 참여가 제도적으로 막혀 있는 상황이다. SW테스팅 업계는 유연성 있는 BMT진행을 위해서는 평가기관 다원화가 반드시 필요하다는 입장을 꾸준히 견지하고 있다.

 


TTA, BMT 평가시험기관 단독 선정…업계 우려 높아

공공기관의 SW 품질성능평가시험(이하 BMT)이 올해부터 의무화됐다. 이에 따라 지난 1월 미래창조과학부는 BMT의 원활한 수행을 돕는다는 목적 하에 TTA)를 SW 품질성능 평가시험기관으로 지정했다. 공공기관이 분리발주SW를 구매하는 경우 지정시험기관에 의뢰하거나 직접 BMT를 실시해야 한다.

하지만 정작 SW업계에서는 BMT 의무화에 대해 우려가 끊이질 않고 있다. 업계의 우려는 ▲TTA의 독점적 지위 ▲발주단계의 시간소요 ▲BMT 비용 및 방법에 대한 우려 등 크게 세 가지로 나눌 수 있다.

많은 업계 관계자들이 현재의 TTA가 BMT 수행에 있어 제 역할을 다할 수 있겠는가 의문을 표했다. BMT와 직접적인 연관은 없지만, TTA가 수행하고 있는 GS인증의 경우 시험기간과 가격으로 업계의 불만이 꾸준히 있어왔다.

▲ A모 기업 GS인증 수수료 산정 내역서

한 기업 관계자는 TTA의 GS인증 수수료 산정 내역을 공개하면서 정부에 공급하지 않을 SW의 경우 수수료 자체가 부담이라고 지적했다. “GS인증 수수료 산정 내역서에 어떤 것을 어떻게 평가하는지 밝히지 않아 신뢰가 가지 않았다”며, “신뢰성을 확보하지 못한다면 TTA가 수행하는 BMT는 또 다른 장벽으로 작용할 가능성도 있다”고 우려를 표했다.

얼핏 BMT와 직접적으로 관련 없어 보이는 GS인증이 논란이 되는 이유는 TTA의 독점적 지위 때문이다. 한 업계 관계자는 GS인증 과정에서 겪은 TTA와 겪은 불협화음으로 인해 BMT 과정에서 불이익을 얻을 가능성도 있지 않겠느냐고 반문했다.

TTA는 이러한 주장이 ‘오해’라는 입장이다. 한 TTA 관계자는 “TTA는 시험기관일 뿐이자 평가기관이 아니다”라며, “TTA는 법에 따라 정해진 방법과 기준대로 시험만 진행한다. 평가는 조달청의 영역이다”라고 강조했다. 평가에 관여하지 않는 TTA에게는 큰 권한이 있을 수 없다는 설명이다.

하지만 BMT에 사활을 걸고 있는 영세 사업자 입장에서는 대안책이 없는 ‘단독’ 평가기관이라는 존재 자체가 부담으로 다가오는 상황이다. 업체들은 예컨대 TTA가 평가기준을 경쟁업체에 미리 귀띔하는 것만으로도 BMT에서 상당히 불리한 위치에 놓인다고 주장한다.


올해 예상 BMT 100여 건…TTA단독수행 가능한가

따라서 SW업계는 TTA를 견제할만한 다른 평가기관이 필요하다고 강조한다. 이런 주장을 뒷받침하는 근거 중 하나는 BMT 소요시간이다. 경우에 따라서 5,6개월 이상이 걸리기도 하는 BMT를 TTA 혼자서 수행할 수 있겠냐는 것이다. 업계 관계자들은 TTA가 진행해왔던 ‘GS인증’만 하더라도 시간이 생각보다 많이 소요돼 원활한 비즈니스에 어려움을 겪었다며, BMT도 마찬가지일 수 있다고 염려한다.

▲ BMT 대상

TTA 관계자는 “TTA는 시험평가기관일 뿐 수행 가능성에 대해서는 미래부가 판단할 문제”라고 일축했다. 최우혁 미래창조과학부 소프트웨어산업과장은 “미래부에서는 올해의 분리발주 대상 소프트웨어가 몇백 건 정도로 예측하고 있다. 하지만 분리발주 대상이라고 하더라도 모두 BMT를 진행하는 것은 아니다”라며, “5000만원 이하의 사업 등 비용·시간적 손해가 더 크거나, 증설 사업일 경우 등 발주지관이 예외를 둘 수도 있다. 올해 BMT 진행은 백여 건 정도로 예상한다. TTA의 재원과 인력은 준비된 상태라고 판단한다”고 밝혔다.

이어 최 과장은 “향후 처리해야 할 BMT 물량이 넘칠거라 판단되면 그 때 추가적으로 평가기관을 확보하면 된다. 올해는 BMT 의무화의 첫 해이니 만큼 진행하는 것이 중요하다”고 주장했다.
 

기간이 길어질수록 시험비용은 상승…일부 업체가 부담해야

BMT 실시에 따른 비용 부담도 문제로 지적되고 있다. 미래부의 ‘소프트웨어 품질성능 평가시험에 관한 지침’에 따르면 ‘시험비용은 국가기관 등의 장이 부담한다. 다만, 시험비용 분담의 필요가 있는 경우 국가기관 등의 장은 소프트웨어 공급자와 협의해 분담비율을 정할 수 있다. 이때 국가기관 등의 장은 분담비율을 지정시험기관의 장에게 통지할 수 있다’고 규정하고 있다.

시험비용을 발주기관에서 부담하되, 시험비용의 일부를 소프트웨어 공급자에게도 부담케 한다는 의미다. 미래부 관계자는 공급자가 일정부분을 분담해야 하는 이유로 ‘도덕적 해이’를 들었다. 원칙상으로는 BMT비용을 발주기관이 부담하는 것이 옳지만, 일부 업체가 BMT를 성능테스트에 이용할 가능성이 있다는 이유다. 이러한 시도를 사전 차단하고, 참여 업체의 책임감을 확보하겠다는 전략이다.

업계는 이러한 입장에 대해 일부 이해한다면서도, ‘BMT’자체가 이미 비용이라고 지적한다. 단순히 시험비용뿐 아니라 BMT 참여를 위해 인력과 기술개발비용 등 보이지 않는 제반비용이 꾸준히 들어가기에, BMT를 ‘무료 성능테스트’로 이용하기는 실질적으로 어렵다는 주장이다.

▲ 소프트웨어 품질성능 평가시험 비용 산출 기준

게다가 BMT 모델이 소프트웨어의 종류나 성격에 따라 천차만별로 달라진다는 것도 업체들이 부담을 느끼는 이유중 하나다. TTA는 BMT 시험평가기간이 업체당 평균 2일 안팎일 거라고 언급했지만, 이는 어떤 SW를 평가하는가에 따라, 어떤 모델을 이용해 BMT를 진행하는가에 따라 천차만별로 달라질 수 있다. 이렇게 늘어난 기간은 고스란히 비용의 상승으로 이어지고, 참여업체는 이 비용의 일부를 부담해야 하는 상황이다.


BMT모델, 공정성 확보 어려워

BMT는 그 특징상 모델선정이 굉장히 어렵다는 것이 관계 전문가들의 공통된 설명이다. 무엇을 테스트하고 무엇을 뺄 것인가를 정하는 것이 쉽지 않기 때문이다. 예를 들어 A와 B라는 제품이 BMT를 진행한다고 가정했을 때, BMT의 기준을 둘의 공통점(혹은 교집합)에 둘 것인가, 차이점을 포함할 것인가(합집합)도 쟁점이 될 수 있다. 일반적인 경우라면 단순히 겹치는 부분에서만 성능 평가를 시행하면 되겠지만, 이 경우 각각의 SW의 특장점을 잘 반영할 수 없게 된다.

▲ BMT 절차

아직 TTA에서는 BMT 모델을 어떤 식으로 진행해 나가겠다고 또렷하게 밝힌 바는 없다. 하지만 미래창조과학부고시 제2015-113호 ‘소프트웨어 품질성능 평가시험에 관한 지침’에 따르면 BMT는 위 그림의 순서로 진행된다.

발주기관이 시험평가기관에 BMT를 의뢰하는 경우 사전공개 전에 지정시험기관과 사전협의를 진행해야 한다. 이에 따라 ▲평가시험 실시 여부 및 수행주체 ▲소프트웨어 품목 및 평가시험 일정 ▲기능평가 또는 성능평가 등 평가방식 ▲평가시험에 소요되는 시험비용 ▲제안요청서의 평가시험 안내 등에 관한 사항 ▲그밖에 발주기관의 장이 평가시험 실시에 필요하다고 인정한 사항 등이 사전 협의 단계에서 협의된다.

이후 발주기관은 평가시험 기준에 관해 설명회를 개최하고, 설명회 이후 참여할 의향이 있는 경우에만 참여의향서를 발주기관에 제출하도록 돼 있다. 이의사항이 있다면 설명회에서 공개적으로 평가방법에 대한 의견을 청취한다. 빼거나 추가할 기준이 성립된 후에 BMT가 진행된다. TTA 관계자는 “법제적으로 업체들이 사전 협의를 거치도록 돼 있어 공정성은 문제가 없다”고 말했다.


BMT 발주문화 개선 위해 반드시 필요

이렇듯 BMT의 특성상 의견을 하나로 통일하기가 쉽지 않은 상황이다. 업계에서도 이를 둘러싸고 잡음이 많다 보니 “(지금까지 BMT 없이도 문제가 없었는데) 정부에서 비용 부담만 늘리는 것인 아니냐”라는 BMT 무용론까지 번져 나오기도 한다. 무엇보다 “정부가 제대로 된 준비 없이 무작정 시작하는 것이 아닌가”라는 지적이 많다.

하지만 관계 전문가들은 BMT가 발주문화를 개선하고 기술을 갖춘 기술기업에게 정당한 기회를 부여해주는 최소한의 장치라고 강조한다.

이영석 와이즈스톤 대표는 “어떤 정책이든 장단점이 있기 마련이다. 현재는 BMT를 해야하나 말아야하나 논의할 시기가 아니라 어떻게해야 BMT를 잘 진행할 수 있을지 고민해야 할 때”라며, “짧은 시간 안에 발표실력과 유명세로만 평가받던 기존의 방식을 탈피해야 한다. 말로만 할 것이 아니라 실제로 얼마나 잘 구동되는가 테스트를 해보자는 것이다. 기술경쟁력을 가진 제품이 잘 팔릴 수 있어야 한다”고 강조했다.

▲ BMT 사례

실제로 가격이 더 낮은 중소기업의 제품의 BMT 점수가 높게 나오는 사례도 있었으며, BMT를 통해 꼭 필요한 기능만 합리적인 가격에 도입한 사례도 있었다. 기존 평가방식에서는 심사위원들이 업체들의 PT를 통해 얻은 ‘인상’과 ‘PT실력’ 혹은 ‘유명세’등으로 평가받기 일쑤였다. BMT의 의무화는 이러한 ‘인상평가’를 줄이고 기술력으로 SW를 평가하는 문화를 만들어나가기 위한 사회적인 안전망이라 할 수 있다.


BMT 시험기관 다원화로 유연성 확보해야

한편 SW테스팅 업계는 BMT가 이처럼 국내 SW 문화를 이끌어나가는 중요 정책이라는 판단으로 민간기업의 참여확대가 더욱 필요하다고 주장하고 있다. 지난해 12월 진행된 ‘BMT 시험기관 지정 신청서’에 의하면 ‘BMT 시험기관’ 지정에 신청할 수 있는 대상을 ‘국가표준기본법 제23조제2항에 따라 인정을 받은 시험·검사기관이며, 민법 또는 다른 법률에 따라 설립된 비영리법인’이라고 한정하고 있다.

SW테스팅 업계는 이러한 조치에 대해 지나치다는 입장이다. 산업 발전을 위해서는 국가가 나서서 BMT 기관의 조건을 다는 것은 이해할 수 없다는 주장이다. 이들의 이런 주장에 대해 미래부는 BMT 의무화 원년인 현 시점에서는 시기상조라는 입장이다. 영리 기업의 경우 이해관계가 얽혀있어 BMT 취지가 왜곡될 수 있다는 논리다. 또한 영리 목적으로 움직이는 기업은 BMT 수행 단계에서 시험 항목을 부풀려 수행할 위험이 있다고 주장했다.

하지만 SW테스팅 업계 관계자들은 이런 미래부의 설명을 충분히 납득할 수 없다고 말한다. 테스팅 업계 관계자들은 비영리라고 해서 영리기업보다 더 공정하리란 법은 없지 않느냐고 반문했다. 한 관계자는 “테스팅 업계 자체가 ‘공정함’을 자산으로 삼고 있는데, 국가에서 나서서 ‘영리기업은 공정성이 떨어진다’고 말하는 꼴”이라고 지적했다. 이어 “그러한 문제점들은 제도로 막아야 할 문제이지 ‘영리/비영리’로 가늠할 문제가 아니다”라고 강조했다.

미래부 관계자는 그러한 업계의 입장은 이해하지만 당분간 민간기업의 참여는 어렵다고 못을 박았다. 아직 발주기관의 역량이 담보되지 않아 BMT 진행에도 문제가 생길 수 있으며, 그러한 상황에서는 시험평가기관의 다원화가 오히려 덫으로 작용할 수도 있다고 설명했다.

최우혁 미래부 소프트웨어산업과장은 “현 상태에서는 민간 기업까지 확대할 시기가 아니라고 생각한다. 정책이 올바르게 정착하고, 물량이 늘어나 TTA의 수용이 불가능해지면 그 때 고민할 문제”라고 말했다.


다양한 대안 생각해야

SW테스팅 업계에서도 TTA의 역량에 대해서는 이견을 달지 않았다. 다만 TTA가 특화 산업군에서까지 전문적인 BMT 수행이 가능한 것은 아니라는 점을 지적했다. SW라 하더라도 문화, 예술, 한류, 게임 등 다양한 부분과 지역적 특성, 수치화되기 어려운 정성적인 특성 등이 많은데, 이런 모든 분야에서 TTA가 전문성을 발휘하기는 쉽지 않을 것이란 예측이다.

테스팅기업 중에는 자동차, 원자력, 국방, 수력원자력, 항공우주 등 특화된 산업군에서 전문적으로 활동하는 업체들도 있다. 테스팅 업계 관계자들은 TTA가 진행하기 어려운 특화분야 BMT를 이들과 함께 진행해 시너지를 창출해내야 한다고 주장한다.

그외에도 BMT 수행에 뒤따르는 행정절차 등을 TTA가 수행할 시험절차와 분리하는 방법을 제시하기도 했다. 시험평가절차와 행정절차를 이원화해 TTA를 견제하는 동시에, TTA에게 과중하게 몰린 업무를 분담해 효율을 높일 수 있지 않겠느냐는 것이다.

박진호 숭실대학교 소프트웨어학부 교수는 BMT를 세분화해 단순한 테스트를 넘어 ‘기업을 육성하는’ BMT의 본 목적을 달성해야 한다고 주장했다. 박 교수는 “현재의 BMT는 ‘단기적인 내용’에만 집중하고 있다. 큰 의미의 BMT를 생각해야한다”라고 지적하며, “TTA와 특화 산업군에 강한 테스팅 업체들이 역할을 분담해 유연성을 갖추는 것도 좋은 방법”이라고 강조했다.

저작권자 © 컴퓨터월드 무단전재 및 재배포 금지