SFAW 2024 참관후기 - MLOps 범람의 시대

 

 

매년 3월 서울 삼성역 코엑스에서 이루어지는 Smart Factory Automation World(이하 SFAW)는 2015년도부터 진행된 행사이다.

 

단일 주제는 아니며 "국제공장자동화전", "스마트공장엑스포", "한국머신비전산업전" 및 각종 컨퍼런스가 세부 구성을 이루고 있다.

아래의 그림처럼 다양한 주제의 컨퍼런스를 만나볼 수 있다.

 

 

제조업 베이스의 Data/AI 관련 직군이나, 

Data/AI 관련 프로젝트를 수행하시는 분들에게는 다양한 사례 및 기술들을 접할 수 있는 기회의 장이다.

제조업이나 제조업을 대상으로 사업하는 IT 회사에 취직을 희망하는 준비생분들도 참관을 적극 권장드린다.

하드웨어부터 소프트웨어까지 정말 많은 내용들이 다루어지기에 최소 2일 방문을 추천드린다.

 

이번 글에서는 SFAW의 전반적인 내용을 모두 다루는 것이 아니다.

바로 제조업 비전 도메인의 MLOps에 대한 내용을 다루려하며, 이에 대한 글쓴이의 생각을 정리해보려고 한다.

 

1. MLOps란 무엇일까?

 

ML 모델의 개발(데이터 분석, 전처리, 모델 구현, 학습 등)의 전반 프로세스와

Ops(모델 배포, 모니터링, 관리, 재배포 등)의 전반 프로세스를 아우르는 방법론이다.

방법론을 실제 쉽게 구현하게 도와주는 것이 MLOps 플랫폼이다.

 

대표적으로는 

GCP Vertax

MS Azure

AWS Sagemaker

Dataiku

DataRobot

등이 있다.

 

해당 글에서는 이에대해 더 자세히 다루지는 않으며,

대신 읽어보면 해당 내용을 이해 할 수 있는 링크를 달아둔다.

 

솔루션과 플랫폼의 차이

https://csshark.tistory.com/184

MLOps는 무엇이고 왜 필요한가?

https://csshark.tistory.com/77

 

2. SFAW 2024에서의 MLOps 플랫폼들

2022년도부터 많은 기업이 MLOps 플랫폼을 공개했으며

2024년도에는 해당 기업들이 자사의 MLOps등을 발전시킨 내용들을 공개했다.

(라온피플, 세이지, AiV, Cognex 등)

 

해당 기업들을 살펴보면 제조업을 대상으로 솔루션을 제공해주던 회사들이라는 것을 알 수 있다.

 

"응? MLops나 플랫폼은 구글 같은 기업들에서 하는게 아닌가?" 하는 생각이 드는 분들도 있을텐데.

AI를 적용하고자 하는 분야는 매우 다양하며 수천/수만가지의 다양한 환경들이 존재한다.

또한 제조업에 대해서는 원활하지 않는 네트워크(보안문제 등)과 IT에서 고려되기 힘든 생산 환경등이 존재하며,

이러한 부분에서 기존 글로벌사의 완성도 높은 MLOps 제품들이 한계를 맞이하기도 한다.

 

많은 솔루션 기업들이 보여주는 대표적인 트렌드는

si성으로 어떠한 솔루션을 만들어 납품해주던 것에서,

비슷한 주제의 여러 프로젝트를 범용적으로 수행 할 수 있는 솔루션을 개발하고,

이러한 솔루션들을 묶어서 자사의 MLOps 플랫폼을 개발하고 있는 상황이다.

 

그렇기에 MLOps라는 단어는 이제 어느 부스를가도 보이는 흔한 단어가 됐지만,

그 이면의 완성도와 방향성은 정말 천차만별이라는 것을 알 수 있다.

 

3. 당사의 MLOps의 목적과 타겟은 무엇인가요?

항상 MLOps 키워드가 나오면 글쓴이가 하는 질문이다.

마치 AI가 대두되고 모든 기업이 AI를 외쳤듯이,

현재는 많은 기업들이 MLOps를 외치고 있다.

 

MLOps는 방법론인 만큼 MLOps 플랫폼이 어떠한 방향성을 가지고 어떠한 문제들을 해결하고자 하는지가 사용자 입장에서는 중요할 것이다.

 

개발(ML)과 배포 및 운영(Ops)를 제공하는 플랫폼을 도입한다는 것은

프로젝트의 전반적 프로세스가 쉬워진다는 큰 장점을 가져오지만

반대로 프로젝트가 MLOps 플랫폼에 종속된다는 단점도 가져온다.

 

사실, 플랫폼이 사용자의 니즈와 완벽히 들어맞는다면 이는 단점이 아닐 것이다.

(금액이슈 제외)

각 회사들의 MLOps 플랫폼이 개발 및 서비스 된지 3~5년이 지나서 완숙의 경지에 이르렀다면,

사용자는 완성품을 꼼꼼히 살펴보고 구매할 것이다.

하지만, 한창 개발중이기 때문에 이 방향성을 명확히 파악하지 못한다면 미래에는 다른 플랫폼을 새로 알아보고 있을 수도 있다.

(일이 두배!!)

 

4. 제조업 비전 분야의 MLOps

수치형 데이터와 이미지 데이터의 프로젝트에서 요구되는 기능들은 비슷하면서도 다르다.

수치형 데이터의 경우에는 명확한 숫자값이라는게 존재하지만,

이미지 데이터에서는 이미지는 명확하나, 여기부터 추가적인 정의를 내려야한다.

 

제조업에서 비전 도메인으로 MLOps를 도입하려 하신다면 아래의 내용들은 한번쯤 고민해보면 좋겠다.

 

4.1 오토라벨링

추가적인 정의에는 대표적으로는 라벨링 작업이 있다.

라벨링 작업은 상당한 시간이 소요되는 구간으로 플랫폼의 효용성이 높은 부분 중 하나이다.

그렇기 때문에 비전 분야를 타겟으로 한 MLOps에서는 라벨링 기능이 항상 들어가고 있다.

 

오토라벨링이라는 단어 또한 우후죽순으로 등장하고 있는데,

각 플랫폼이 어떠한 방법으로 사람의 공수를 최소화 하는지 꼼꼼히 살펴보면 좋을 것이다.

또한, 해당 기능이 구현되기까지 어떠한 선행 조건들이 필요한지 살펴야한다.

※ 사람의 공수가 0에 수렴하는 오토라벨링은 없다. 모두 Semi Auto Labelling이다.

※ 사람의 공수가 들어가지 않게 자동으로 모델이 결함에 B-Box를 쳐줍니다!

    단, 해당 모델을 학습시켜야해서 이때는 라벨링을 하셔야합니다 등.

 

4.2 커스텀 기능

많은 비전 MLOps들이 다양한 전처리와 ML모델을 빌트인으로 제공하고 있다.

이를 통해서 코드를 짜지 않고도 전처리를 수행하고

하이퍼 파라미터 세팅만으로 모델을 학습하고 사용 가능하게 제공해준다.

 

한두 과제에 대해서만 MLOps를 사용하고 운영한다면 문제가 되지 않지만,

이를 확대전개해나가게 되면 문제가 발생 할 수 있다.

우리도 어떠한 과제가 생길지 완벽히 예측할 수 없듯이

MLOps 개발사도 어떠한 기능을 제공해야하는지 모두 예측할 수는 없다.

 

이럴때 필요한 기능이 커스텀 기능이다.

제공된 빌트인 모델을 뜯어보는 것은 해당 MLOps 개발사의 노하우가 담긴 코드를 달라는 것이기에 당연히 안되는 부분이다.

단, 해당 MLOps 플랫폼이 요구하는 제약사항을 기반으로 코드를 만들어서 삽입했을 때 돌아가게 하는 기능을 글쓴이는 커스텀이라고 지칭한다.

※ 하이퍼파라미터 등을 커스텀이라고 표현하는 플랫폼들이 있는데 이는 커스텀이 아니다.

 

비싼돈을 주고 MLOps 플랫폼을 들여오고 상부에도 MLOps 플랫폼으로 회사의 프로젝트들을 관리하겠다고 보고하였는데, 확대전개 할 수록 예외가 되는 프로젝트가 한두개씩 생긴다면 난감할 것이다.

예외 프로젝트들을 구현 및 운영하기 위해 코드 베이스로 구현하거나 타 플랫폼을 도입하면 이에 대한 운영 및 관리가 더욱 어려워 지는 것은 필연이다.

 

4.3 협업

ML 프로젝트에는 한명이 수행하기도 하지만,

여러명이 참가하여 수행되기도 한다.

MLOps 플랫폼이 제공되는 ML 기능에 집중하여 협업에 대한 내용을 놓치기도 하는데

사실상으로 이 부분도 매우 중요한 기능이다.

 

플랫폼 내에서 여러명이 프로젝트를 수행 할 때 기존의 로컬 개발환경 대비 어떠한 기능들을 지원하는지 꼼꼼히 챙겨보아야한다.

기존의 깃을 통한 관리 등에서 플랫폼의 GUI 기반의 협업 지원 기능들이 추가되면,

고급개발자들도 편해지겠지만 초급 개발자 및 도메인 전문가(협업하는 현업부서)의 접근성이 매우 용이해질 수 있다.

이는 ML 프로젝트의 사내 확산에 큰 도움이 될 것이다.

 

---

 

MLOps 범람의 시대라는 거창한 제목을 적어놓고 

글의 내용은 MLOps에 대한 머릿속 생각들을 마구잡이로 꺼내어 놓은 것 같다.

 

개인적인 의견으로는 많은 기업들이 자사의 니즈에 맞는 MLOps 플랫폼을 구매해서

프로젝트의 수행 및 관리에 많은 도움을 받았으면 좋겠다.

 

물론 우리회사도!!