Datamart 및 BI 리뉴얼

노후화된 기존 데이터 분석 환경을 Azure Databricks 기반으로 개편한 프로젝트입니다. 국내외 사업장 데이터를 통합 관리할 수 있는 분석 환경을 마련하고, 경영 지표 활용과 사용자 모니터링을 위한 Power BI 리포트를 구축했습니다.

기존 데이터 분석 환경은 서버 노후화와 용량 부족으로 효율이 떨어진 상태였습니다.

• 서버·시스템 노후화: On-premise 기반 DB가 Windows 서버와 호환되지 않는 문제가 생겼습니다.
• 서버 용량 부족: 사업 확장과 회원 증가로 서버 용량이 부족해졌습니다.
• 글로벌 분석의 한계: 국외 사업장을 포함한 데이터 관리 수요가 생겼지만, 기존 구축 범위에서는 글로벌 분석이 어려웠습니다.

이에 노후 시스템을 클라우드 환경으로 옮기고, 국내외 사업장 데이터를 함께 관리할 수 있는 분석 환경이 필요해졌습니다.

Azure Databricks를 중심으로 데이터 관리 체계와 Power BI 리포트, 네트워크 환경을 구성했습니다.

1. Databricks 기반 분석 환경 리뉴얼: 노후화된 기존 시스템을 Azure Databricks 기반으로 개편했습니다. 국내 사업장 데이터 리포트는 고도화하고, 해외 사업 데이터 분석은 새로 수행했습니다.
2. 계층형 데이터 관리: Bronze-Silver-Gold 계층 구조의 ELT 체계로 데이터를 수집하고 정제합니다. 계층별로 정제 수준을 분리해 수집 데이터가 늘어나도 대응할 수 있게 했습니다.
3. 국내외 사업장 데이터 통합 관리: IBM DB2, MSSQL, Redis, 공공데이터 API 등의 데이터를 Databricks 계층 구조에서 통합 관리합니다.
4. Power BI 리포트 20종: 경영 지표 활용과 사용자 모니터링을 위한 Power BI 리포트 20종을 구축했습니다.
5. 네트워크 환경 구성: Azure DNS Private Resolver와 Virtual Network를 기반으로 구성해, VM 기반 DNS 서버를 따로 배포하지 않고도 On-premise 환경에서 DNS Private 영역을 조회할 수 있게 했습니다. 고가용성과 개발 확장성(DevOps 파이프라인 구축 용이, 엔드포인트 고성능 지원)을 고려한 구성입니다.

이번 개편으로 데이터 관리 환경을 Azure 클라우드로 옮겼고, 국내외 사업장 데이터를 Databricks에서 관리하게 되었습니다. 구축 전후 비교는 아래 표에 정리했습니다.

경영 지표 활용과 사용자 모니터링을 위해 구축한 Power BI 리포트 화면입니다.