MLOps
3 posts
- Updated:
MIG 모드와 인스턴스의 재부팅 동작을 구분하고, 호스트에서 분할 구성을 자동 복원하는 systemd와 kubelet 설정을 설명합니다.
- Updated:
Strata의 Expert 캐시와 메모리 배치를 살펴보고, A100 80GB 한 장에서 모델과 API 서버를 구동하는 과정을 정리합니다.
- Updated:
Kubernetes에서 NVIDIA GPU가 컨테이너에 연결되는 과정과 GPU Operator, MIG Manager, Device Plugin의 역할을 정리하고 A100 MIG 스케줄링 시 주의할 점을 살펴봅니다.