[컴퓨터월드] 한국SW테스팅협회가 주관하는 제10회 국제 품질 테스팅 콘퍼런스 ‘베스트콘(BeSTCon 2024)’이 24일 서울 코엑스에서 성황리에 개최됐다. 지난 2014년부터 시작된 베스트콘 행사는 소프트웨어 경쟁력 강화를 위한 필수요소인 ‘소프트웨어 테스팅’을 키워드로, 관련 종사자를 비롯해 약 400여 명 이상이 참여하는 전문 콘퍼런스다. 이날 행사에서는 국내 대기업을 비롯 유수의 소프트웨어 기업들이 대거 연사로 참여해 눈길을 끌었다. 기조강연을 포함, 행사의 주요 발표 내용을 소개한다.

삼성전자 공준진 마스터 “소프트웨어 신뢰성 확보가 최우선 과제”

첫 번째 기조강연을 진행한 삼성전자 공준진 마스터는 소프트웨어 및 시스템 설계의 중요성을 강조하며, “소프트웨어 테스트의 궁극적인 목적은 시스템의 신뢰성을 확보하는 것”이라고 밝혔다.

공 마스터는 “우리가 소프트웨어 개발의 궁극적인 목적은 신뢰할 수 있는 시스템을 구축하는 데 있다”고 강조했다. 그는 시스템의 안정성 확보를 위해 많이 사용되고 있는 기법으로 ‘폴트 토러런스(Fault Tolerance)’ 디자인을 소개하며, “폴트 토러런스는 시스템 내의 오류가 발생하더라도 시스템이 정상적으로 작동할 수 있도록 설계하는 방식”이라고 설명했다. 이 기법은 하드웨어뿐만 아니라 소프트웨어에서도 널리 사용되며, 사용자의 신뢰를 확보하는 데 필수적이라는 점을 언급했다.

공 마스터는 삼성전자에서 36년간 통신 시스템 및 반도체 기술 개발에 매진해온 경력을 바탕으로, 통신과 반도체의 융합을 통한 문제 해결을 오랫동안 연구해왔다고 밝혔다. 그는 소프트웨어 개발자는 아니지만, 소프트웨어 툴을 많이 사용해왔고, 시스템 설계와 하드웨어 구현에서 발생하는 여러 가지 문제를 해결하는 방법을 연구해왔다고 소회했다.

그는 “스마트폰을 통해 영상 통화를 할 때 발생하는 일련의 데이터 처리 과정에서 시스템이 신뢰할 수 있어야 한다”고 말하며, 데이터의 수집, 생성, 저장, 가공 및 통신 과정에서 발생하는 다양한 문제를 해결하기 위한 반도체 기술의 역할을 설명했다.

공 마스터는 “반도체와 소프트웨어는 밀접하게 연결돼 있으며, 소프트웨어는 단순한 코드 이상의 의미를 가진다”며 “소프트웨어는 메모리에 저장된 형태로 물리적인 반도체와 동일하게 시스템의 일부분으로 볼 수 있다”고 강조했다. 그는 소프트웨어와 하드웨어의 상호작용을 통해 시스템이 신뢰성을 갖추게 된다는 점을 강조하며, 시스템 설계 시 이러한 상호작용을 고려해야 한다고 주장했다.

또 그는 “스마트폰에서 사용하는 반도체들이 데이터를 빠르게 처리하고 저장하는 역할을 하지만, 이러한 과정에서 데이터 처리의 신뢰성을 보장하는 것이 무엇보다 중요하다”고 덧붙였다. 그는 HBM(High Bandwidth Memory)과 NAND 플래시 메모리와 같은 반도체 기술들이 데이터를 효율적으로 처리하고 저장하는 데 큰 역할을 한다고 설명했다.

공 마스터는 폴트 토러런스 디자인의 중요성을 강조하며, “완벽한 시스템은 존재하지 않지만, 오류가 발생하더라도 시스템이 정상적으로 동작할 수 있도록 설계하는 것이 핵심”이라고 말했다. 그는 시스템의 복잡성이 증가할수록 개별 컴포넌트의 신뢰성이 전체 시스템의 신뢰성에 큰 영향을 미친다고 설명했다.

그는 “우리가 시스템을 설계할 때, 각 구성 요소의 신뢰성을 일정 수준 이상으로 유지해야만 전체 시스템이 안정적으로 동작할 수 있다”고 덧붙였다. 특히, 반도체 설계 과정에서는 각 구성 요소의 신뢰성을 높이기 위한 방법론이 매우 중요하다고 강조했다. 이와 더불어 공 마스터는 “폴트 토러런스 디자인은 하드웨어뿐만 아니라 소프트웨어에서도 매우 중요한 개념”이라며, “개발자들이 시스템 신뢰성을 확보하기 위한 다양한 방법을 연구하고 적용해야 한다”고 당부했다.

LG전자 황재성 책임 “AI와 소프트웨어 테스트의 패러다임 변화 강조”

두 번째 기조강연을 맡은 LG전자 SW공학연구소의 황재성 책임은 AI 기술이 소프트웨어 개발과 테스트에 미치는 영향을 강조하며, AI와 GPT 같은 대규모 언어 모델(LLM)의 등장으로 소프트웨어 테스트의 패러다임이 급격히 변화하고 있다고 밝혔다.

황재성 책임은 AI 기술이 빠르게 발전하며, 특히 GPT와 같은 대규모 언어 모델이 소프트웨어 개발 과정에 큰 혁신을 가져오고 있다고 말했다. 그는 “AI는 단순한 도구를 넘어서서 개발자들의 일상적인 프로세스에 깊숙이 들어오고 있다”며, “특히 소프트웨어 테스트 영역에서 AI의 역할은 앞으로 더욱 중요해질 것”이라고 설명했다. 이어 GPT 모델을 이용해 자동으로 코드 생성, 버그 수정, 테스트 케이스 설계 등이 가능해졌으며, 이로 인해 개발자들은 보다 창의적이고 복잡한 문제 해결에 집중할 수 있게 됐다고 덧붙였다.

황 책임은 GPT 같은 LLM이 소프트웨어 테스트의 자동화 수준을 크게 향상시켰다고 언급하며, “기존에는 테스트 스크립트를 작성하고, 각종 테스트 시나리오를 수동으로 관리해야 했으나, 이제는 AI가 이 작업을 대신해줄 수 있다”고 말했다. AI가 제공하는 자연어 처리 능력을 활용해 테스트 케이스를 자동으로 생성할 수 있으며, 이로 인해 테스트 효율성과 정확도가 크게 개선됐다는 것이다.

황 책임은 소프트웨어 테스트에서 자동화의 중요성에 대해 특히 강조했다. 그는 “지금까지는 테스트 과정에서 높은 수준의 코딩 기술이 필요했지만, 이제는 AI가 이 부분을 상당히 자동화할 수 있게 됐다”고 설명했다. 프로그래밍 지식이 부족한 개발자나 테스터들도 AI의 도움을 받아 복잡한 테스트 환경을 구축하고, 실시간으로 코드를 점검할 수 있는 시대가 도래한 것으로 해석했다.

그는 GPT와 같은 모델을 활용해 테스트 케이스를 작성하는 방식에 대해 설명하며, 이를 통해 프로그래밍 경험이 부족한 이들도 손쉽게 고도화된 테스트 작업을 수행할 수 있다고 말했다. 특히 프로프트 엔지니어링 기법을 통해 테스트 케이스의 품질을 높이고, 예상치 못한 문제를 빠르게 발견하는 것도 가능해졌다고 덧붙였다. AI가 생성하는 테스트 시나리오는 단순히 코드를 검증하는 데 그치지 않고, 시스템이 실제 상황에서 어떻게 동작하는지에 대한 시뮬레이션까지 가능해, 보다 현실적이고 실질적인 테스트를 제공한다고 강조했다.

황 책임은 AI 기술이 소프트웨어 개발 전반에 걸쳐 혁신을 불러오고 있으며, 앞으로는 AI와 협력하는 소프트웨어 개발이 표준이 될 것이라고 전망했다. 그는 “AI는 이제 단순한 보조 역할을 넘어 소프트웨어 개발의 중요한 파트너가 되고 있다”고 말했다. 예를 들어 GPT를 활용해 코드 작성부터 오류 검출, 성능 최적화까지 다양한 작업을 수행할 수 있게 됐으며, 이러한 기술들은 소프트웨어 개발 시간과 비용을 크게 절감해줄 수 있다고 덧붙였다.

그는 특히 AI와 인간이 협력해 문제를 해결하는 ‘AI-협업 개발’의 중요성을 강조하며, “AI는 개발자의 부족한 부분을 채워주고, 반복적이고 단순한 작업을 대신해줌으로써 개발자는 더 창의적이고 고차원적인 문제 해결에 집중할 수 있게 한다”고 설명했다. 또한 그는 AI를 이용해 코드의 잠재적인 오류를 사전에 발견하고, 테스트 시나리오를 통해 다양한 케이스를 미리 검토하는 것이 가능해졌다고 말했다.

황재성 책임은 앞으로 AI와 소프트웨어 테스트의 관계가 더욱 깊어질 것이라는 점을 재차 강조했다. 그는 “AI가 개발 프로세스에 깊이 들어가면서 테스트의 효율성과 정확성은 더욱 높아질 것이며, 이에 따라 개발자들은 보다 신뢰성 있는 소프트웨어를 만들어낼 수 있을 것”이라고 말했다.

또 그는 “소프트웨어 테스트의 미래는 AI와 밀접하게 연결될 수밖에 없으며, 이를 적극적으로 받아들이는 개발자와 조직만이 경쟁력을 유지할 수 있을 것”이라고 강조했다. AI가 소프트웨어 개발의 새로운 표준이 되는 과정에서 테스트 자동화와 신뢰성 확보는 더욱 중요한 화두가 될 것이라고 전망했다.

덧붙여 그는 “AI를 활용한 소프트웨어 테스트는 아직 초기 단계에 있지만, 그 잠재력은 무궁무진하다”며 “개발자들이 AI 기술을 적극적으로 활용해 소프트웨어 품질을 높이는 데 기여할 수 있도록 해야 한다”고 부연했다.

두루이디에스 장학수 이사 “AI 어시스턴트, 자동화의 새로운 가능성”

두루이디에스 장학수 이사는 최근 개최된 소프트웨어 테스팅 세미나에서 “AI는 테스트 엔지니어의 중요한 어시스턴트가 될 수 있다”며, AI 기술을 활용한 소프트웨어 테스트 자동화의 새로운 가능성에 대해 발표했다. 그는 특히 생성형 AI와 대규모 언어 모델(LLM)의 활용 방안을 제시하며, AI 기술이 테스트 엔지니어의 업무 효율성을 높이는 데 큰 역할을 할 것이라고 강조했다.

장학수 이사는 과거 소프트웨어 테스트는 대부분 수작업으로 이뤄졌다는 점을 언급했다. 이로 인해 시간과 노력이 많이 소요되고, 사람이 직접 테스트를 하다 보니 휴먼 에러가 발생할 가능성이 높았다고 밝혔다. 이러한 한계를 극복하기 위해 자동화 테스트가 도입됐고, 반복적인 테스트를 빠르고 정확하게 수행하는 데 큰 도움을 줬다. 그러나 자동화 테스트에도 한계가 존재한다는 점을 지적했다.

그는 “자동화 테스트의 초기 설정과 유지보수에는 여전히 많은 노력과 시간이 필요하며, 특히 기술적인 진입 장벽이 높다”며 “매뉴얼 테스트 케이스는 신입 엔지니어도 어느 정도의 교육을 통해 작성할 수 있지만, 자동화 스크립트를 작성하는 일은 기술적으로 높은 수준의 전문성을 요구한다”고 강조했다. 이러한 이유로 많은 기업들이 여전히 매뉴얼 테스트에서 자동화 테스트로 전환하는 데 어려움을 겪고 있다고 덧붙였다.

장 이사는 AI와 생성형 언어 모델(LLM)의 도입이 이러한 문제를 해결할 수 있는 중요한 방법이라고 설명했다. 그는 “LLM은 다양한 분야에서 지식을 학습하고 있으며, 이를 활용하면 요구사항 분석과 테스트 케이스 작성에서도 큰 도움을 받을 수 있다”고 말했다. 특히 요구사항이 불명확하거나 변경이 잦은 프로젝트에서도 AI를 활용하면 테스트 케이스를 효율적으로 작성하고 수정할 수 있다는 점을 강조했다.

그는 두루이디에스에서 진행한 연구를 소개하며, AI를 활용한 요구사항 구체화 및 테스트 케이스 설계 솔루션을 개발 중이라고 밝혔다. 이 솔루션은 기술적인 장벽을 낮추고, 경험이 적은 엔지니어들도 AI의 도움을 받아 요구사항을 분석하고 테스트 케이스를 자동으로 생성할 수 있도록 설계됐다고 설명했다.

장 이사는 실제로 생성형 AI를 활용해 테스트 케이스를 작성한 사례를 공유했다. 그는 “LLM을 통해 생성된 테스트 케이스는 사람이 만든 것과 유사한 수준의 품질을 보이며, 때로는 사람이 놓칠 수 있는 예외 상황이나 성능 테스트까지 추가된 경우도 있다”고 말했다. 사람이 작성한 테스트 케이스에는 포함되지 않았던 성능 테스트나 네트워크 장애 시의 처리 등이 LLM이 생성한 테스트 케이스에 추가된 것을 발견했다고 설명했다.

또 단순한 프롬프트를 활용하는 대신, 프롬프트 엔지니어링을 통해 구체적이고 구조화된 지시를 내림으로써 원하는 결과물을 얻을 수 있었다고 밝혔다. 그는 “프롬프트를 어떻게 작성하느냐에 따라 AI가 생성하는 결과물의 품질이 크게 달라질 수 있다”며, 프롬프트 엔지니어링의 중요성을 강조했다.

장 이사는 AI가 생성한 테스트 케이스는 100% 신뢰할 수 있는 단계는 아니지만, 사람과 협력하면 훨씬 효율적인 테스트 작업이 가능하다고 설명했다. 실제로 두루이디에스에서 진행한 파일럿 프로젝트에서, AI를 활용해 400개의 테스트 케이스를 생성하는 데 걸린 시간이 하루도 채 되지 않았으며, 이후 사람이 검토하는 과정에서 테스트 커버리지를 높이는 결과를 얻었다고 밝혔다.

그는 “AI가 생성한 결과물에 대한 검토는 여전히 필요하지만, AI의 도움을 받아 테스트를 준비하는 시간을 크게 줄일 수 있었다”며, “AI와 인간의 협업이 테스트의 효율성과 정확성을 높이는 데 큰 도움이 될 수 있을 것으로 보인다”고 시사했다.

와이즈스톤 최수혁 책임연구원, ‘DQ 인증 통한 데이터 품질 확보 방안’ 제시

와이즈스톤 최수혁 책임연구원은 데이터 품질(DQ) 인증을 통해 데이터 산업에서 품질을 확보할 수 있는 방안에 대해 설명했다. 그는 데이터 품질 관리의 중요성을 강조하며, DQ 인증을 통한 실질적인 사례와 함께 데이터 품질을 향상시키는 방법을 제시했다.

최 연구원은 발표에서 “2023년 데이터 산업 시장은 전년 대비 3.9% 증가한 약 27조 원 규모로 성장했다”고 소개하며, 데이터 산업이 지속적으로 확장되고 있음을 강조했다. 하지만 그는 데이터 품질 문제도 심각하다고 지적했다. 가트너의 2021년 보고서에 따르면, 저품질 데이터로 인해 기업들은 매년 평균 1,290만 달러의 손실을 입고 있다고 전했다.

국내에서도 데이터 품질 문제는 주요 이슈로 떠오르고 있다. 특히 인공지능(AI) 분야에서는 데이터의 오류가 기업의 큰 애로사항으로 지목되고 있다. 최 연구원은 “데이터 품질이 제대로 관리되지 않으면 AI와 같은 고도화된 시스템에서도 성과를 내기 어려울 것”이라며, 데이터 품질 관리의 중요성을 다시 한번 강조했다.

정부는 데이터 품질 문제를 해결하기 위해 다양한 법률과 정책을 마련해 왔다. 2009년부터 국가정보화 기본법을 시작으로, 최근에는 데이터 품질 인증 제도까지 도입해 데이터 산업 육성 및 데이터 기반 사회 구축에 힘쓰고 있다. 최 연구원은 “특히 과학기술정보통신부는 2023년부터 DQ 인증 기관을 지정하고 운영 체계를 마련해 데이터 품질 인증을 본격화했다”고 설명했다.

DQ 인증은 데이터 유통 활성화를 목표로 민간 기업이 보유한 데이터를 검증해 품질을 인증하는 제도다. 이를 통해 데이터의 오류 여부와 품질 관리 체계의 적정성을 평가하고, 정형 및 비정형 데이터를 심사해 품질을 보장한다.

최 연구원은 DQ 인증의 구체적인 기준에 대해 설명했다. “과기정통부는 데이터 품질 인증 기준 10가지를 마련했으며, 이를 국제 표준과 가이드라인을 참고해 개발했다”고 말했다. 그는 데이터 품질을 전형 데이터와 비정형 데이터로 나누어 심사하며, 각 데이터 유형에 맞춘 심사 절차가 있다고 덧붙였다.

정형 데이터는 국제 표준 ISO/IEC 8000-61을 기반으로 심사하고, 비정형 데이터는 ISO/IEC 25024를 참고해 심사를 진행한다. 최 연구원은 “데이터의 복잡도에 따라 심사 등급도 다르다”며, “고객 정보와 같이 복잡한 데이터는 복잡도 높은 심사를, 센서 데이터처럼 간단한 구조를 가진 데이터는 상대적으로 간단한 심사를 받는다”고 설명했다.

최 연구원은 비정형 데이터 심사 항목에 대해서도 설명했다. 비정형 데이터는 필수 심사 항목 9개와 선택 심사 항목 15개로 나뉜다. 필수 항목에는 데이터 파일의 안정성, 메타 데이터의 유효성, 데이터 정확성 등이 포함되며, 선택 항목으로는 데이터 속성 이력성과 범위 유효성 등이 있다.

그는 비정형 데이터의 품질 확보가 매우 중요하다고 강조하며, “특히 AI와 같은 기술을 적용할 때 비정형 데이터가 제대로 관리되지 않으면 시스템의 신뢰성에 큰 문제가 발생할 수 있다”고 말했다.

최 연구원은 실제 심사 사례를 통해 DQ 인증의 과정을 구체적으로 설명했다. 그는 특정 데이터 세트를 대상으로 한 심사 과정을 소개하며, 데이터의 안정성, 유효성, 정확성 등의 항목을 꼼꼼히 심사한다고 밝혔다. 예를 들어, 객체 데이터와 메타 데이터를 기반으로 데이터 파일의 포맷과 메타 데이터의 정확성을 검토하는 방식이다.

심사 과정에서 발생한 오류는 ‘추정 오류’로 분류돼 수정이 필요하다. 최 연구원은 “심사 결과에서 발생한 추정 오류는 신청 기업과 협의해 수정 후 재심사를 진행한다”며, 이를 통해 데이터 품질을 개선할 수 있다고 말했다. 실제로 그는 “초기 심사에서 발견된 품질 문제를 해결한 후, 최종 심사에서 품질 점수가 크게 향상된 사례를 다수 경험했다”고 밝혔다.

최 연구원은 DQ 인증을 통한 데이터 품질 개선이 기업에 여러 가지 이점을 제공한다고 설명했다. △인증 과정에서 발견된 오류를 수정함으로써 데이터 품질을 크게 향상시킬 수 있다는 점 △인증을 통해 기업은 고객과 파트너사에게 데이터의 품질을 증명할 수 있다는 점 △공인된 인증 기관에서 발급된 인증서는 기업의 경쟁력을 높이는 데 기여한다는 점을 가지고 있다고 말했다.

한편 이번 행사에 참여한 기업들은 별도의 전시 부스를 마련, 자사가 개발한 AI 솔루션들을 소개해 참가자들의 이목을 끌었다. 베스트콘은 다양한 산업 전문가들이 참석해 최신 기술과 혁신을 공유하는 자리였으며, AI 기술이 소프트웨어 개발과 테스트에 미치는 영향을 구체적 사례와 솔루션을 통해 제시했다. 또한 소프트웨어 테스트 자동화와 데이터 품질 관리의 중요성을 재확인하는 자리로서, 대한민국 소프트웨어 경쟁력 강화에 기여하고 있기도 하다. 종합적으로 이번 행사는 AI 시대 소프트웨어 테스트 분야에 대한 새로운 인사이트를 제공하며, 업계 관계자들에게 향후 방향성을 제시한 의미 있는 행사로 평가된다.