* DISCLAIMER: 강좌의 내용은 필자의 개인적 견해이다. 일부 사례는 설명을 위해 각색되었을 수 있다.

[컴퓨터월드] 필자가 가장 최근 진행한 기상 위성 영상 분석 사례를 통해 도메인 지식의 중요성과 이를 인공지능 모델 개발에 활용하는 예시를 살펴보고자 한다. 기상 위성 영상 분석은 기상청 국가기상위성센터와 함께 진행했던 국가 용역 과제로, 매년 과제 수행 내용이 제안 요청서를 통해 공개되고 제안서 평가를 거쳐 선정 후 약 8개월간 과제를 수행하는 방식으로 진행되고 있다. 과제 기간 중 착수보고, 중간보고, 최종보고 등 총 세 차례 발표와 더불어 최종 보고서 및 결과 검증을 위한 결과물 제출 등이 요구되었다.

연구실에서 진행한 연구 과제의 제안요청사항은 크게 기상 위성에서 촬영한 과거 수증기 영상을 학습해 미래 6시간 동안의 수증기 영상을 생성하는 것이었으며, 그 외 세부 사항으로 최신 인공지능 방법론의 조사 및 적용 등이 의무사항으로 포함되어 있었다.

앞서 언급하였듯 과제의 목표 및 일정이 명확하게 주어졌기 때문에, 초기에는 진행 방향이 명확하다고 판단해 데이터 수집과 인공지능 방법론 조사 및 구현 등을 진행하며 착수 보고를 준비했다. 그러나 한 달 뒤 진행된 착수보고에서 처음 생각과는 다른 부분이 일부 있음을 확인했다.
 

자유스럽게 의견 나누는 착수보고회

과제 제안 당시 생성되는 수증기 영상의 정량 목표와 측정 방법을 구체적으로 제안하였으며, 이를 달성하기 위한 목적함수를 설계하여 모델을 학습하는 중이었다. 그러나 착수보고에서 국가기상위성센터의 담당 연구사 및 다른 연구진들과 논의한 결과, 진행 방향의 수정이 필요했다.

기상 위성 영상 예측에서는 단순한 정량 지표의 우수성 뿐만 아니라 새롭게 생성/소멸하는 대류운의 예측 또한 중요한 요소였다. 그 외에도 착수보고 자리에서 위성센터의 연구진들과의 질의응답을 통해 연구 진행의 방향성 및 개발해야하는 요소들, 그리고 제안요청서 상에서 불명확한 부분들을 명확히 하였다.

특히 착수보고의 형식으로 진행되었지만 일방적인 발표가 아닌 과제 진행에 대하여 상호 여러 의견을 자유롭게 나누는 자리가 만들어졌으며, 인공지능 전공자들로 구성되어 있어 기상 도메인에 대한 지식이 부족한 연구진에게는 매우 큰 도움이 되었다.

착수보고 이후 담당 연구사와 긴밀히 소통하여 대류운의 생성/소멸 예측을 강화할 수 있는 인공지능 알고리즘을 본격적으로 개발하기 시작했다. 특히 기상 도메인 지식과 관련된 도움을 받아 대류운 생성/소멸에 영향을 주는 요인들을 추가적으로 확인하고, 상/중/하 층 수증기, 적외 채널, 대기 불안정 지수 등의 데이터를 수집하여 입력 변수에 추가했다. 기상 데이터는 공개된 데이터로 기상청 애플리케이션 프로그래밍 인터페이스(API)를 통해 다운로드 받을 수 있으며, 해외 데이터가 필요한 경우 위성센터의 협조를 받아 수집했다.

모델 개발의 경우 앞서 언급한대로 최신 알고리즘 동향 조사를 위해 다양한 영상 시계열 및 동영상 예측 알고리즘들을 알아보고, 그 중 우수하다고 알려진 여러 알고리즘을 비교 실험해 최종 모델을 선정했다. 최종적으로 선정된 알고리즘은 당시 최신 학술대회에서 발표된 일반적인 동영상 예측 방법론으로 기상 위성 영상 분석에 그동안 사용한 적이 없는 방법이었으나, 과제에 적용되었을 때 우수한 성능을 보이는 것을 확인했다.

과제 수행 중에도 지속적으로 발표되는 알고리즘들을 적용해 성능을 확인했으나, 처음 선정했던 방법론이 가장 우수한 성능을 보여 계속 해당 방법론을 기반으로 예측 알고리즘을 구축했다.

해당 과제는 다수의 고해상도 영상을 입력받아 다수의 영상을 출력해야했다. 지난 회까지 소개되었던 산학협력 과제들 중 가장 큰 규모의 모델이 필요했다. 구체적으로 학습하고자 하는 모델의 파라미터 수는 대략 1,300만여 개였으며, 따라서 효율적인 학습을 위해 클라우드 컴퓨팅 기반의 고성능 AI 학습 서버를 임차하고 사용했다.

본 과제의 경우 전부 공개된 기상 데이터를 사용했기 때문에 퍼블릭 클라우드를 사용하는 데 문제가 없었으나, 만일 과제에서 사용하는 데이터가 공개하기 어려운 경우에는 프라이빗 클라우드 혹은 고성능 로컬 서버를 임차해야하는 상황이 있을 수 있다.

이 후 중간보고까지 모델 구조를 조정하고 다양한 입력 변수들을 실험하며, 정량적인 지표와 정성적인 부분을 동시에 만족하는 예측 모델을 완성하기 위해 노력했다. 다만 대류운 생성/소멸은 정량적으로 정의하기 어려운 면이 있어 정성적으로 평가할 수 밖에 없는 한계점이 존재했다. 따라서 다양한 시나리오들의 실제 예측 결과를 확인하며 모델을 평가했다. 다만 정량적인 지표와 정성적인 결과가 상충되는 경우가 있어, 다양한 학습 결과를 위성센터와 공유하며 최종 모델을 확정했다.

중간 보고 이후에는 실제 기상 시나리오를 폭넓게 살펴보며, 모델의 결과를 검증하고 세부적인 부분들을 보완하는 과정을 거쳤다. 특히 갑자기 집중호우가 발생하여 해당 사례들에 대한 결과를 검증하는 등 현실의 상황을 구축된 모델이 적절히 반영하고 있는지 확인하는 절차를 진행했다.

최종보고를 위해 학습에 사용된 코드와 사용 설명서를 제작하였으며, 망 분리 환경의 위성센터에서 결과에 대한 검증이 가능하도록 연구원들이 직접 방문하여 코드 탑재를 진행했다. 아울러 공개되어있는 객체 탐지 모듈을 개선하여 수증기 및 대류운의 생성, 이동, 소멸을 탐지할 수 있는 추적 모듈 또한 개발해 제공했다.

1차년도 과제를 마치고, 2차년도에도 유사한 목표의 과제를 진행했다. 2차년도에는 1차년도의 한계점들을 파악하여 본격적으로 대류운의 생성과 소멸을 예측할 수 있는 모델을 구축하고자 하였다. 과제 초기부터 담당 연구사와의 소통 및 착수 보고에서의 논의를 거쳐, 위성 영상 중 수증기가 적어 어둡게 나타나는 건조역(암역) 부분의 강도 및 움직임이 신규 대류운 생성의 핵심적인 단서가 된다는 사실을 알게 되었다.
 

도메인 지식과 인공지능 방법론의 성공적 결합

과제 진행에서 가장 중요한 부분은 이러한 도메인 지식을 어떻게 인공지능 모델에 반영할 것인가였다. 영상에서의 건조역 정보를 반영하기 위해 두 가지 시도를 했다.

첫 번째는 경계 탐지 알고리즘을 활용해 영상에서 건조역과 습윤역의 경계를 찾아 그 움직임을 파악하는 방법이었으며, 두 번째는 군집화 방법을 이용해 건조역을 세분화해 그 변화 강도를 파악하는 방법이었다. 이 중 군집화 방법이 건조역의 움직임과 변화를 더욱 잘 나타냈기에, 적절한 군집화 수준을 결정하여 군집화된 위성 영상을 구축했다.

다음으로 이렇게 구축된 군집화 영상을 어떻게 모델 학습에 활용할지에 집중했다. 단순히 추가 입력으로 활용할 수 있었지만, 그것보다는 군집화된 영상의 영향을 더 강하게 반영하기 위해 다중작업학습(multi-task learning) 기법을 사용했다.

다중작업학습 기법을 통해 모델이 위성 영상뿐만 아니라 군집화된 영상까지 같이 출력하도록 학습해, 모델이 군집화된 영상의 영향을 더욱 많이 받고 위성 영상의 지나치게 세밀한 부분에 의존하지 않도록 만들 수 있었다. 그 결과 새로운 대류운의 생성 및 소멸에 대한 성능을 기존 모델보다 향상시킬 수 있었다.

이 사례는 산업계 전문가의 문제 해결을 위한 도메인 지식 전달과 그 지식을 모델이 학습에 적절히 반영될 수 있도록 데이터와 학습 방식을 결정한 도메인 지식과 인공지능 방법론이 성공적으로 결합된 사례로 볼 수 있다.

본 연구 과제는 기상 위성 영상을 활용한 수증기 예측에서 오랫동안 해결되지 못한 문제였던 생성/소멸과 관련된 문제의 해결 실마리를 제공하였으며, 그 공로로 2024년 말 환경부장관 표창을 받았다.

위와 같이 2년 간의 과제 수행에서 어느 정도의 성과를 거두었지만, 여전히 한계점은 남아있다. 특히 장기 예측에서 영상이 흐려지는 문제가 발생하는데 이는 정량적으로 평균적인 예측을 수행하려는 인공지능 모형의 특성에 기인한다.

이를 해결하기 위해 생성적 적대 신경망(GAN), 확산 모형 등 다양한 생성 모형의 기법이 적용되었지만, 선명도를 높이면 정량적인 예측 성능이 하락하는 문제가 발생했다. 현재 진행 중인 유사 과제에서 손실 함수의 조정을 통해 이 문제를 일부 해결했지만, 여전히 정량 성능과 시각 품질 사이의 적절한 균형을 결정하는 문제가 남아있는 상황이다.

지금까지 총 3회에 걸쳐 AI 기술 도입을 위한 산학협력에서의 주의사항과 사례들을 살펴보았다.

특히 제조 기업의 사례를 통해 소통의 중요성을 국가기상위성센터의 사례를 통해 도메인 지식과 이를 인공지능 방법에 적절히 결합해 성공한 사례를 확인해보았다. 이 외에도 IT 회사, 조선업체, 농산물 관리 등 필자가 경험한 다양한 산학협력 과제들은 성공 실패 여부를 떠나 모두 현장의 문제와 인공지능이 결합되어 큰 가치를 만드는 의미 있는 과제였다.

마지막으로 다시 한 번 성공적인 AI 기술 도입을 위한 핵심적인 요소들, 명확한 문제 정의, 데이터 및 제약조건의 파악, 그리고 소통의 중요성을 강조하며 글을 맺는다.