ChatGPT라고 하는 인공지능을 기반으로 한 시스템이 연일 뉴스의 메인을 장식하고 있습니다.

다들 너나 할 것 없이 ChatGPT를 테스트하고 그 결과물에 많은 사람이 놀라움을 금치 못하고 있는데요.

역사나 사실관계에 대해서는 아직 잘못된 답을 보여주긴 하지만, 컴퓨터 언어의 코딩에서만큼은 비전공자의 실력은 충분히 뛰어넘고도 남을 레벨이라 인정해야 할 것 같습니다.

 

이는 파워비아이에서도 아주 유용하게 쓰일 것 같습니다.

아래와 같은 컴퓨터 언어를 능수능란하게 사용할 수 있다면 파워비아이를 좀 더 효율적으로 사용할 수 있겠죠

  • Python
  • R
  • M
  • DAX

Python은 이젠 더 이상 설명이 필요 없는 언어가 되었죠.파워비아이 에서는 Pandas라는 데이터분석 라이브러리를 이용해 데이터 전처리를 선행하면 시간과 공간을 절약할 수 있었습니다.

아직 사용해 보지는 않았지만, R 역시 데이터 분석에 최적화된 언어로 알고 있으며 파이썬 못지않게 쉬운 구성으로 되어있다고 알고 있습니다.

M은 파워쿼리를 구성하는 언어로 파워쿼리 에디터를 주로 사용하여 코딩을 공부해야 한다는 필요성을 크게 느끼지는 않지만 그래도 한 번씩 파워쿼리를 수정하는 작업을 할 때 코딩의 필요성을 느끼는 언어입니다.

마지막에 언급한 DAX는 엄밀히 말하자면 언어라기보다는 전처리된 데이터를 다시 한번 가공시키기 위한 수식이라 할 수 있겠습니다.


전공자가 아닌 이상 위에 말씀드린 언어를 제대로 공부한다는 것이 과연 효율적일 것일까 하는 생각이 드는 것도 사실이나, 그래도 모르는 것보다는 아는 것이 낫지 않을까 하는 마음으로 발을 들여놓았으나 아직 아주 기본적인 것만 할 수 있는 단계를 벗어나지 못하고 있는데, ChatGPT의 등장으로 이러한 고민이 한순간에 해결되었네요.

 내가 필요한 것을 아주 상세히 제대로만 입력하면, 원하는 결과치를 바로 만들어주고, 거기다 자세한 설명까지 알려주니 실로 엄청난 기술의 발전이 아닐까 합니다.

그리고 ChatGPT가 제시한 코드에 오류가 있더라도 이를 다시 입력하면 오류까지 바로잡아주니, 마치 선생님을 앞에 두고 작업을 하는듯한 생각마저 들었습니다.

 

그동안 아주 얕은 지식으로 여기저기 사이트를 돌아다니며 다른 분들이 이미 만들어 놓은 코딩을 복사해서 몇 날을 제 상황에 맞도록 수정해 가며 결국 원하는 바를 이루었을 때 느끼는 희열이 대단했는데, 이제는 나의 질문을 ChatGPT가 제대로 이해해서 제대로 된 코딩을 받았다면 그 질문의 내용에 대한 희열을 느껴야 할 것 같습니다.

 

이러한 기술의 발전이 하나의 고민을 해결해 주었으니, 이젠 그만큼의 시간을 다른 곳에 투자할 여력이 생긴 것 같아 좋긴 합니다.

 

데이터 전처리는 파워비아이로 데이터를 시각화하기 위해 반드시 거쳐야 하는 부분입니다. 보통 데이터 시각화에서 원본 데이터를 어떤 식으로 처리를 할 것인가에 상당히 많은 시간을 할애하게 되는데요, 이는 데이터 전처리가 잘 되었을 때 파워비아이에서 작업을 수월하게 하며 또 데이터를 가지고 DAX 수식을 적용하기가 훨씬 쉽기 때문에 상당히 중요한 부분입니다.

 

회사에 다니시는 분들이라면 대부분이 엑셀에 저장된 데이터를 파워비아이로 가지고 와 데이터 시각화 작업을 하실 거라 생각이 듭니다. 이 엑셀에 저장된 파일을 아무 수정 없이 사용하게 된다면 가장 좋은 시나리오가 되겠지만 현실은 그렇지 않다는 것이 문제죠. 엑셀에 저장된 수많은 파일을 자르고 붙이며 파워비아이에서 사용할 수 있도록 변환이 되어야만 비로소 의미 있는 데이터로 바뀌게 되는 것입니다.

 

데이터 전처리를 위한 방법은 여러 가지가 있지만 가장 많이 사용하는 것은 파이썬 (Python)과 파워쿼리 (Power Query)라 생각합니다.

파이썬은 컴퓨터 언어이지만 다른 언어에 비해 좀 더 쉽게 배울 수 있는 데다, 판다스 (Pandas)나 넘파이 (Numpy) 같이 데이터 처리에 알맞은 강력한 라이브러리를 제공하고 있어 많이 사용되고 있습니다.

여기에 더해 파이썬으로 만든 코딩을 그대로 파워비아이에 사용할 수 있어 연계성이 좋다는 것도 한몫하는 듯합니다.

파워쿼리도 독자적 M Code라는 컴퓨터 언어를 사용하지만, 파워쿼리 에디터라는 도구를 제공해 코딩 기술이 없더라고 여러 명령 툴을 이용해 엑셀과 비슷한 환경 속에서 데이터를 눈으로 하나하나 확인해가며 변환이 가능한 툴입니다. 어려운 데이터 분석을 누구나 쉽게 할 수 있도록 도와주는 변환 툴인 셈이죠.

두 가지의 장점은 다음과 같습니다.

파이썬

  • 데이터의 처리속도가 빠르다.
  • 데이터 불러오기에서 파이썬 코딩을 그대로 이용할 수 있다
  • 파이썬에서 전처리를 거친 뒤 파워비아이로 불러오기 때문에 데이터 정렬이 쉽다

파워쿼리

  • 특별히 코딩을 몰라도 에디터의 명령 툴을 이용해 데이터 처리가 가능하다
  • 다양한 데이터 소스를 제공해 거의 모든 형태의 데이터를 불러올 수 있다
  • 하나하나의 과정이 기록되기 때문에 수정이 용이하며 쉽게 오류를 찾아낼 수 있다.

 

개인적으로 많은 파일을 지속적으로 업로드해야 하는 경우는 파이썬 코딩을 선호하며, 간단히 단발적으로 작업이 진행될 경우는 파워쿼리를 사용하고 있습니다. - 아주 복잡한 코딩을 이야기하는 것이 아니라 데이터 변환을 위한 간단한 코딩입니다.

둘 다 데이터 분석이라는 목적을 위해 사용되기 때문에 비슷한 개념을 가지고 있으며, 하나를 잘 다루게 되면 다른 쉽게 다가갈 수 있습니다.

 

일단 좀 더 쉬운 파워쿼리를 이용한 데이터 전처리를 먼저 다루고 다음에 파이썬을 이용한 방법을 알아보겠습니다.

꼭 데이터 분석가가 아니더라도 간단히 파워쿼리로 데이터 전처리 진행하는 방법을 알아두시면 엑셀보다 몇 배는 강력한 도구가 될 수 있으며, 회사에서 많은 엑셀 파일을 가지고 일할 때 큰 도움이 될 수 있으니 이번 기회에 잘 알아두시면 좋겠습니다.

 

+ Recent posts