
[ML Design Pattern] 추론 시스템 / 6. 직렬, 병렬 마이크로서비스 패턴
MLOps
2022. 12. 13. 14:38
마이크로서비스 패턴 클라우드의 등장 이후 서비스를 구성하는 기능을 작은 독립된 서비스로 분할하는 MSA(Micro Service Architecture)가 확산되고 있다. MSA는 서비스 간 결합도를 낮춰 독립성을 높임과 동시에, 각 서비스를 최적의 라이브러리나 프로그래밍 언어로 개발할 수 있게 한다. 이번 포스팅에서는 MSA 방법론을 머신러닝의 추론기에 적용한 마이크로서비스 패턴에 대해 알아보자. (직렬 마이크로서비스 패턴은 이전 포스팅인 전처리 추론 패턴과 구현방식이 매우 비슷하기 때문에 짧게 넘어가고 병렬 마이크로서비스 패턴으로 넘어간다.) 직렬 마이크로서비스 패턴 1. Use Case 여러 개의 추론기로 구성되는 시스템에서 추론기 사이의 의존성이 명확한 경우. 여러 개의 추론기로 구성되는 시스템에..