본문으로 건너뛰기
Systems Notebook

Systems Notebook.

인프라를 운영하고 원리를 살펴보고.
그 과정을 남기는 기술 노트.

구성과 원리를 함께 살펴보는 기록
OPS직접 실험약 15분

서버 구축을 넘어 플랫폼까지 지원하기 위해

인프라에서 플랫폼까지 지원 범위를 넓히기 위해 준비한 사내 실습 환경. 단계별 시작점부터 모델 배포, 요청과 관측, 복원 범위를 살펴봅니다.

홍범

글 읽기
구성 살펴보기 / 01 플랫폼 서비스와 GPU가 실행되는 위치

물리 장비의 배치에서 클러스터와 실행 위치로 범위를 좁혀 봅니다.

장비별 실행 경계 · 박스 안은 해당 장비의 구성

  1. KVM 호스트 A
    • control-plane VM
    • CPU worker VM 01
  2. KVM 호스트 B
    • CPU worker VM 02
    • CPU worker VM 03
  3. 베어메탈 GPU 서버
    • GPU worker
    • A100 PCIe 80GB × 1
두 KVM 호스트의 VM 네 대와 별도 GPU 서버

각 KVM 호스트가 VM 두 대씩을 실행합니다. GPU 서버는 VM으로 만들지 않고 베어메탈 worker로 참여시켰습니다.

구분할 점KVM 호스트 자체와 그 위의 Kubernetes VM 노드는 서로 다른 관리 대상입니다.

두 KVM 호스트의 VM 네 대와 별도 GPU 서버. 각 KVM 호스트가 VM 두 대씩을 실행합니다. GPU 서버는 VM으로 만들지 않고 베어메탈 worker로 참여시켰습니다.

단계를 선택해 설명을 읽는 도식입니다. 실시간 서버 상태나 패킷 흐름을 표시하지 않습니다.

전체 구성 텍스트로 읽기
  1. 두 KVM 호스트의 VM 네 대와 별도 GPU 서버

    각 KVM 호스트가 VM 두 대씩을 실행합니다. GPU 서버는 VM으로 만들지 않고 베어메탈 worker로 참여시켰습니다.

    장비별 실행 경계 · 박스 안은 해당 장비의 구성 KVM 호스트 A (control-plane VM · CPU worker VM 01) / KVM 호스트 B (CPU worker VM 02 · CPU worker VM 03) / 베어메탈 GPU 서버 (GPU worker · A100 PCIe 80GB × 1)

    KVM 호스트 자체와 그 위의 Kubernetes VM 노드는 서로 다른 관리 대상입니다.

  2. VM 네 대와 GPU 서버가 하나의 클러스터를 구성

    논리적으로는 Kubernetes 노드 다섯 대입니다. control-plane은 한 대이며, CPU worker와 GPU worker는 서로 다른 역할의 워크로드를 실행합니다.

    Kubernetes 클러스터의 노드 구성 Control-plane × 1 (VM · API server / etcd) / CPU worker × 3 (VM · 플랫폼 서비스) / GPU worker × 1 (베어메탈 · 모델 실행)

    단일 control-plane 구성입니다. API 고가용성을 구현한 사례는 아닙니다.

  3. 플랫폼은 CPU worker에, 모델은 GPU worker에

    서비스가 실패했을 때 먼저 어느 노드의 워크로드인지 구분합니다. 모델 파일의 로컬 읽기 경로도 GPU 서버에 있습니다.

    플랫폼 서비스 실행 위치 CPU worker VM (세 노드에 서비스 배치) → 실행 → 플랫폼 Pod (GitLab · Harbor · 인증 · 관측)

    모델 실행 위치 GPU worker (containerd · NVIDIA runtime) → 실행 → vLLM Pod (A100 · GPU 서버의 모델 캐시 사용)

    베어메탈 GPU 서버의 OS와 모델 캐시는 KVM VM 스냅샷에 포함되지 않습니다.

OPS 서버 구축을 넘어 플랫폼까지 지원하기 위해 SEC TLS 1.3의 동작 과정 AI 추가 계산을 어디에 쓸 것인가 AI 학습에서 모델 서빙까지

전체 기록 22

22개의 글이 있습니다.

OPS / AI 직접 실험 약 15분

서버 구축을 넘어 플랫폼까지 지원하기 위해

인프라에서 플랫폼까지 지원 범위를 넓히기 위해 준비한 사내 실습 환경. 단계별 시작점부터 모델 배포, 요청과 관측, 복원 범위를 살펴봅니다.

홍범플랫폼 실습 기록
SEC 개념 설명 인터랙티브 10~15분

TLS 1.3 Handshake와 Record Protocol

ClientHello부터 암호화된 응답까지 흐름을 따라가며, HTTPS가 보호하는 범위와 저장한 JSON만으로는 확인할 수 없는 것을 살펴봅니다.

홍범zkTLS
OPS / AI 자료 정리 15분

재현 가능한 ML을 위한 스토리지와 버전 관리

PVC·S3/MinIO·MLflow의 역할을 구분하고, 같은 실험을 다시 확인할 수 있도록 데이터·코드·이미지·Python 의존성·모델을 함께 기록하고 고정하는 방법을 설명합니다.

HPE 엔지니어 자료 기반MLOps Notes
OPS / AI 자료 정리 15분

GitOps와 ML 파이프라인이 만나는 지점

GitLab CI·Harbor·GitLab Chart Repo·Argo CD의 배포 흐름을 RayJob·MLflow·KServe와 연결하며, 각 단계에서 저장하고 확인할 내용을 살펴봅니다.

HPE 엔지니어 자료 기반MLOps Notes

자료 정리 표시는 외부 자료를 바탕으로 정리한 글입니다. 바탕이 된 자료는 각 글에 표시하며, 직접 수행한 실험과 구분해 기록합니다.