Data Engineering

데이터 마트에 대한 정말 간단한 정리

potatode 2024. 12. 18. 00:42

아직 데이터의 데자도 모르는 감자 ..

 

조만간 데이터 마트와 관련된 지식이 필요할 것 같아 갖고있는 책을 보며 간단히 정리하고자 한다.

 

인터넷으로 이것저것 찾아봤는데, 굉장히 이해하기 쉽고 재미있게 작성해주신 글이 있어 함께 첨부하고자 한다!

 

 

데이터 마트에서는 뭘 파나요?(feat. OLTP, OLAP)

자~데이터 담으러 가자(feat.안내상님, 송곳) - 들뜬 마음으로 마트에 방문한 A씨. - 어라? 그런데 구매하려고 했던 바나나가 없다. - 바나나 다 팔렸나요? 질문을 남긴 안씨. 직원C씨는 알아 보고 오

gibles-deepmind.tistory.com

 


 

 

데이터 마트는 단일 하위 조직, 부서에 초점을 맞춰 분석 및 보고서를 제공하도록 설계된 웨어하우스의 정교한 하위 집합

- 데이터 웨어하우스는? 보고 및 분석에 사용되는 중앙 데이터 허브

 

정말 더 쉽게 말하자면 필요하고 보고싶은 데이터를 한 곳에 모은 것

 

각 부서는 필요에 따라 고유한 데이터 마트를 만든다. 

광범위한 조직, 비즈니스에 서비스를 제공하는 전체 데이터 웨어하우스와는 대조직이다.

 

이러한 데이터 마트가 필요한 이유는

1. 분석가와 보고서 개발자가 데이터에 더 쉽게 접근 가능

2. 초기 ETL,ELT 파이프라인이 제공하는 것보다 더 많은 변환 제공 가능

-> 보고서, 분석 쿼리에 복잡한 조인이나 집계가 필요한 경우, 성능 향상 가능

-> 단순화가 되어 이해하기 쉬움

 

 

워크플로를 그려보면 아래와 같다!

 

BI 도구에서 대화형으로 데이터를 참고하고자 한다면 데이터 마트가 필수적이다.

- 시각화를 위한 데이터 마트를 만든다는 것은 'BI 도구를 위한 비정규화 테이블을 만드는 프로세스'를 의미한다.

 

 


갖고 있는 책에 데이터 마트에 대한 설명이 별로 없군...

 

 

내가 지켜보며 이해한 데이터 마트에 대해 이야기해보자면

 

우선 raw 데이터를 저장하는 저장소는 따로 있다. 하지만 해당 데이터는 말그대로 raw이기 때문에 데이터가 굉장히 많거나, 건드리면 위험할 수 있다. 원본을 수정하면 되돌릴 수 없듯이

 

그래서 raw를 정제를 거쳐(ETL 등) 웨어하우스라는 다른 저장소에 저장한다.

우리가 원하는대로 고치거나 그대로 가져와서 다른 이름으로 저장하는 것과 비슷해보인다.

 

이렇게 웨어하우스에 가져온 데이터를 정말 분석에 용이하게 더 정리한 것이 데이터 마트!

 

라고 생각한다.

데이터의 세계는 어렵다 ...

반응형