여러분의 GPU, 지금 열심히 일하고 있나요?

32MB, 64MB 메모리를 사기 위해 용산 전자상가에 가보신 적 있으신가요?

인텔의 창립자 고든 무어의 말처럼 수십 년 동안 하드웨어의 성능은 기하급수적으로 발전해 왔습니다. 그 결과 CPU, 메모리, 디스크는 가격 대비 성능이 매우 높아졌고, 최근에는 하드웨어 가격이 전반적으로 하락하면서 기업의 컴퓨팅 파워가 실제 필요 이상으로 구성되어 있는 사례를 종종 접하게 됩니다.

ChatGPT의 등장 이후, 우리는 그 어느 때보다 빠르게 기술이 발전하고 있다는 것을 실감하고 있습니다. 최신 기술 뉴스나 컨퍼런스에서는 AI 관련 소식이 대부분을 차지하고 있으며, 수많은 기업이 AI 서비스를 개발하고 자사 서비스에 적용하기 위해 노력하고 있습니다.

AI 시대에 GPU는 필수 자원이 되었지만, 다른 장비에 비해 월등히 높은 가격으로 인해 보다 효율적인 사용을 위한 정책과 솔루션의 필요성이 대두되고 있습니다.

모니터링 전문 솔루션을 제공하는 와탭에서는 고객의 니즈를 반영하여 인프라 및 쿠버네티스를 위한 GPU 모니터링 기능을 출시했습니다. 고객의 값비싼 GPU가 제대로 활용되고 있는지, 문제가 발생하고 있지는 않은지를 실시간으로 확인할 수 있습니다.

물론, 쿠버네티스를 제공하는 플랫폼이나 GPU 자원을 할당하는 일부 솔루션에서도 기본적인 GPU 상태를 확인할 수 있는 기능은 제공됩니다.

하지만, 모니터링 전문 솔루션인 와탭의 GPU 모니터링은 어떤 차별점을 가지고 있을까요?

첫 번째, 모니터링 대상의 특성을 이해하고, 고객의 니즈를 빠르게 수용합니다

대규모 GPU Farm을 구성하고 조직 및 개인에게 할당 할 경우 별도의 자원 관리 시스템이 필요합니다. 서버 모니터링에서는 GPU 인벤토리 기능을 제공하여,

• 모든 GPU(MIG)의 상태 및 현황
• 부서/프로젝트별 활용 현황
• 장애 대응이나 유지보수 대상 GPU 필터링

등을 한눈에 확인할 수 있습니다. 또한, 쿠버네티스 모니터링과 연동하여, 인벤토리 정보를 함께 활용할 수 있습니다.

💡 MIG (Multi-Instance GPU): 하나의 GPU를 여러 개의 독립적인 가상 GPU 인스턴스로 분할해 동시에 다양한 워크로드를 실행할 수 있도록 해주는 기술

두 번째, 대규모 GPU 팜의 개별 장비 상태를 빠르게 확인하고 관리 할 수 있습니다.

GPU 활용률의 편차나 특정 워크로드의 병목·부하 구간을 파악해 리소스 재배치를 통한 비용 절감 및 가용성 확보가 필요합니다. 서버 모니터링에서는 MIG 환경을 지원하며, 실시간 핵심 지표를 통해 GPU 상태 및 사용률을 빠르게 확인할 수 있습니다.

세 번째, 다수의 자원을 한눈에 파악할 수 있는 시각적인 화면을 제공합니다.

GPU 대시보드에서는 GPU가 할당된 노드, 파드, GPU(MIG)에 대한 종합적인 정보를 시각적으로 제공합니다. GPU의 상태나 사용률을 GPU Map 화면을 통해 확인하고, 해당 리소스를 사용하는 실제 애플리케이션까지 연결해 파악 할 수 있습니다.

네 번째, 인프라부터 애플리케이션까지 연계된 분석 정보를 제공합니다.

수많은 지표를 일일이 확인하지 않아도 사용자의 분석 흐름에 따라 원인을 빠르게 추적할 수 있도록 도와줍니다. 단편적인 수치가 아닌 하드웨어부터 애플리케이션까지 전 구간의 연계 분석이 가능합니다. 예를 들어, 컨테이너맵 기능을 활용하면 GPU 활용 기준으로 컨테이너를 시각화 할 수 있고, APM 기능이 함께 구성되어 있다면 애플리케이션 레벨까지 종합적으로 확인할 수 있습니다.

다섯 번째, 필요한 지표만 선택하여 연관 관계를 빠르게 파악할 수 있습니다.

NVIDIA GPU에서 수집되는 데이터는 매우 다양합니다.

GPU 사용률이나 메모리 사용률 같은 주요 지표는 대시보드에 기본 제공되지만, 조직별 또는 운영 목적별로 중요하게 여기는 지표는 다를 수 있습니다. 기존에 제공되는 매트릭스 익스플로러 기능을 통해 원하는 지표만 선택해 시각화하고 연관 관계를 빠르게 분석할 수 있습니다.

마무리

클라우드 및 하이퍼바이저 솔루션으로 한 대의 서버를 VM으로 나누듯, GPU도 MIG 기능을 통해 논리적으로 분할해 활용하는 사례가 늘고 있습니다. 자원을 효율적으로 활용하려면 먼저 현황을 정확히 파악할 수 있는 데이터와 가시성이 필요합니다. 와탭은 고객의 GPU가 제대로 활용될 수 있도록 모니터링 및 분석 기능을 지속적으로 고도화해 나갈 예정입니다.

와탭 GPU 모니터링을 통해 GPU 리소스를 더욱 효율적이고 명확한 가시성을 기반으로 운영해보시기 바랍니다.