데이터베이스 모니터링을 사용하신 경험이 있으신가요?

기존의 데이터베이스 모니터링이라 하면, SQL 쿼리를 통해 데이터를 조회하는 방식을 사용해 모니터링을 수행하였습니다. 그러나 데이터의 양이 많아질수록 DB 서버에 부하가 커지며, 때로는 시스템 성능 저하를 초래할 수 있습니다. 이러한 한계를 극복하기 위해 최근에는 더 빠르고 효율적인 DMA(Direct Memory Access) 방식이 주목받고 있습니다.

이번 글에서 기존 SQL 쿼리 방식과 DMA 방식의 차이를 비교하고, 각 방식의 장단점에 알아보는 시간을 갖도록 하겠습니다.

1. 기존 쿼리 방식의 특징

1) 쿼리 기반 데이터 수집

기존 방식에서는 모니터링 에이전트가 SQL 쿼리를 통해 데이터베이스에 직접 요청하여 데이터를 조회합니다. 이 과정에서 에이전트는 데이터베이스 서버와 지속적으로 통신해야 하며, 데이터 요청과 응답 과정에서 많은 리소스를 사용하게 됩니다.

2) 처리 과정

1. SQL 쿼리 전송: 모니터링 에이전트가 SQL 쿼리를 작성하여 데이터베이스 서버로 전송합니다.

2. 쿼리 실행 및 결과 생성: 데이터베이스 서버가 쿼리를 실행하고 결과를 생성합니다.

3. 결과 전송: 생성된 결과를 네트워크를 통해 에이전트로 전송합니다.

4. 데이터 처리: 모니터링 서버가 에이전트로부터 받은 데이터를 처리하여 사용자에게 제공합니다.

3) 한계점

대량의 데이터를 조회할 때 데이터베이스 서버에 상당한 부하를 주며, 이는 시스템 성능 저하로 이어질 가능성이 큽니다. 또한, 시스템 장애나 Hang 상황에서의 데이터 수집이 어려울 수 있습니다.

2. DMA(Direct Memory Access) 방식의 특징

1) DMA 방식 개요

DMA(Direct Memory Access) 방식은 데이터베이스 서버의 메모리에 직접 접근하여 필요한 데이터를 추출하는 방식입니다. 이 방식은 특히 대량의 데이터를 빠르게 처리해야 하는 환경에서 유용합니다.‍

2) 처리 과정

1. 메모리 접근: DMA 방식은 데이터베이스 서버의 메모리에 직접 접근하여 필요한 데이터를 추출합니다.

2. 데이터 전송: 추출한 데이터를 네트워크를 통해 에이전트로 전송합니다.

3. 데이터 처리: 모니터링 서버가 에이전트로부터 받은 데이터를 처리하여 사용자에게 제공합니다.

3) 장점

• 대용량 데이터 처리에 적합: 대규모 데이터 분석 및 실시간 스트리밍 처리에 효과적
• 장애 상황에서도 수집 가능: 시스템 장애나 Hang 상황에서도 데이터 수집 가능

3. 기존 쿼리 방식과 DMA 방식의 차이점

‍‍

🧐 쿼리 기반 방식은 왜 네트워크나 CPU 자원률이 더 많이 소모되나요?

쿼리 기반 방식에서 네트워크와 CPU 자원률이 많이 소모되는 이유는 주로 지속적인 데이터베이스 쿼리 실행과 결과 전달 과정 때문입니다.

• SQL 쿼리 실행: 에이전트가 데이터를 수집하려면 SQL 쿼리를 작성하고 실행해야 합니다. 이때 데이터베이스는 쿼리를 처리하고, 결과를 생성하는 데 CPU 자원을 소모하게 됩니다.

• 네트워크 트래픽: SQL 쿼리 결과는 네트워크를 통해 에이전트로 전달됩니다. 데이터가 많을수록 네트워크 트래픽도 커지게 되어, 결과를 전송하는 데 네트워크 자원이 많이 소모됩니다.

• 자주 실행되는 쿼리: 모니터링 주기가 빠를 경우, 반복적으로 쿼리를 실행하면서 계속해서 CPU와 네트워크 자원을 사용하게 됩니다. 특히, 데이터베이스 서버가 다수의 쿼리를 처리해야 하므로 부하가 크게 발생할 수 있습니다.

결국, 데이터 조회와 결과 반환을 위해 여러 번의 데이터베이스 연산이 필요하고, 주기적으로 실행되는 쿼리들이 리소스를 많이 소모하게 되는 겁니다.

‍

🧐 DMA 방식이 좋으면 모두 DMA 방식을 쓰면 되지 않나요? 쿼리를 써야 하는 이유는?

DMA 방식이 성능 면에서는 확실히 빠르고 효율적이지만, 모든 상황에서 최선의 선택은 아닙니다. 쿼리 방식이 여전히 필요하거나 유리한 경우도 있습니다.

1) 간단한 쿼리에는 쿼리 방식이 유리

• 데이터베이스의 메모리에 직접 접근하는 DMA 방식은 복잡한 구현이 필요하고, 모든 데이터베이스에서 지원되는 방식이 아닙니다. 반면, SQL 쿼리는 대부분의 데이터베이스에서 지원하므로, 간단한 조회나 작은 규모의 데이터 처리에는 쿼리 방식이 더 적합할 수 있습니다.

2) 지원되는 데이터베이스의 제한

• DMA 방식은 Oracle과 같은 특정 데이터베이스에서만 지원되는 경우가 많습니다. 모든 데이터베이스에서 DMA 방식이 지원되지 않으므로, 다양한 데이터베이스를 사용하는 환경에서는 쿼리 방식을 써야 할 경우가 많습니다.

3) 리소스 소모가 적은 경우

• 데이터베이스가 작은 규모이거나, 자주 변경되지 않는 데이터를 모니터링하는 경우 굳이 DMA 방식의 복잡성을 감수할 필요 없이 쿼리 방식으로도 충분히 안정적인 모니터링이 가능합니다.

4) 정확한 쿼리 결과를 원할 때

• SQL 쿼리는 조건절을 통해 정확한 필터링과 정렬이 가능하기 때문에 복잡한 조회 조건이 필요한 경우에는 쿼리 방식이 더 적합합니다. DMA 방식은 메모리에서 데이터를 빠르게 추출하지만, 복잡한 조건 처리에는 제약이 있을 수 있습니다.

4. 데이터베이스 모니터링, 어떻게 시작하나요?

와탭에서는 쿼리 방식과 DMA 방식을 모두 지원하고 있습니다.

• 쿼리 방식 지원 DB: MySQL, SQL Server, Tibero, CUBRID, Redis, MongoDB, Oracle
• DMA 방식 지원 DB: Oracle Pro

와탭 데이터베이스 모니터링은 오픈소스부터 클라우드 기반 데이터베이스까지 다양한 환경을 지원하며, 초단위로 수집되는 핵심 성능 지표를 통해 여러 DB 인스턴스의 상태를 실시간으로 한 화면에서 모니터링할 수 있도록 돕습니다.

에이전트 설치 위치를 유연하게 구성할 수 있어 DB 서버에 부담 없이 도입 가능하며, 애플리케이션, 서버, 로그와 연계된 통합 분석을 통해 문제의 근본 원인을 빠르고 정확하게 추적할 수 있습니다. 실시간 세션 추적, SQL Elapse Map 시각화, 로그 통합 뷰 등 와탭만의 고유 기능을 통해 데이터베이스의 성능을 직관적이고 효율적으로 관리할 수 있습니다.

와탭 데이터베이스 모니터링 바로가기 →

5. 결론

데이터 처리 방식은 애플리케이션의 성능과 효율성을 결정짓는 중요한 요소입니다. 기존 SQL 쿼리 방식은 일반적인 데이터 조회에 적합하지만, 대용량 데이터를 빠르게 처리해야 하는 경우 DMA 방식을 고려하는 것이 좋습니다.

특정 환경에서 최적의 성능을 내기 위해서는 각 방식의 특성을 이해하고 환경에 맞는 전략을 선택하는 것이 중요합니다. 두 방식의 장단점을 균형 있게 고려해 상황에 맞는 모니터링 방식을 선택해보시기 바랍니다.