본 포스팅은 MLOps를 위해 필요한 k8s 지식을 정리하는 것을 목적으로함 MLOps에서 k8s가 필요한 이유. MLOps를 위해서는 크게 다음과 같은 작업이 필요하다. Reproducibility - 실행 환경의 일관성 & 독립성 Job Scheduling - 스케줄 관리, 병렬 작업 관리, 유휴 자원 관리 Auto-healing & Auto-scaling - 장애 대응, 트래픽 대응 자동화 -> 이것들을 Docker(Containerization), k8s(Container Orchestration)를 통해 해결할 수 있다. Kubernetes Identity - Container Orchestration 여러명이 함께 서버를 공유하며 각자 모델학습을 돌리고자 할때 스케줄을 미리짜거나 gpu자원을 ..

DVC는 Data Version Control의 약어로 머신러닝 프로젝트의 Open-source Version Control System이다. DVC는 터미널에서 명령어로 동작하며 Git과 명령어가 굉장히 유사하기 때문에 빠르게 DVC를 습득할 수 있다. DVC는 데이터 버전관리 외에도 MLOps의 구성요소인 ML experiment management, Deployment & Collaboration 기능을 제공하지만 이번 포스팅에서는 데이터를 원격저장소에 저장하고 다운받고 깃과 함께 버전관리 하는 것을 집중해서 다루려고한다. 또한 Dockerfile을 DVC를 활용하여 이미지로 build 해볼 것이다. 1. Install git 설치: https://git-scm.com/downloads dvc 설치..