[AI 모델 탐험기] #20 미래에는 데이터 분석가가 대체될 수 있을까? SAM

8 min readNov 2, 2021

이번 글에서는 코드 작성 없이 스프레드시트 데이터를 분석할 수 있는 프로젝트인 “SAM”을 소개하겠습니다. SAM은 “Simple Analysis Machine”의 약자로, 첫 번째 Global Ainizer인 Eniola가 제작을 하였습니다.

프로젝트를 확인해보고 싶다면 아래 링크를 참조해주세요!

배경

최근들어 빅데이터의 중요성이 높아짐에 따라 데이터 분석가에 대한 관심도 높아지고 있습니다. 데이터 분석가란 더 나은 결정을 내릴 수 있도록 데이터로부터 의미있는 정보들을 도출하는 역할을 하는데요, 때문에 기업의 입장에서 사업을 성공적으로 이끌기 위해서는 데이터 분석가들이 필수적으로 있어야 합니다.

그러나 AI에 대한 수요가 증가하면서 기업들은 데이터 분석가를 고용하는 것 보다는 회사 내의 데이터 분석가를 육성하는 방향으로 변화하고 있는데요, 이는 자본이 많지 않은 소규모 기업에서 자주 볼 수 있습니다.

이러한 변화가 꾸준히 이루어지면서 AI 소프트웨어는 매우 복잡해 보일 수 있고, 이로인해 1~2명의 데이터 분석가가 소프트웨어까지 사용하게되는 일이 발생할 수 있습니다.

하지만 회사 내의 누구나 사용할 수 있는 AI 기반 소프트웨어가 있다면 어떨까요? 데이터 분석이 더 쉬워지지 않을까요? 이러한 상황에 도움이 될 수 있는 프로젝트인 SAM을 소개합니다.

SAM은 무엇일까요?

대부분 기업들이 투자 도구, 챗봇, 가상 비서와 같은 AI 기반 시스템들을 활용하고 있지만, 여전히 많은 기업들은 의미있는 정보를 얻기 위해 큰 용량의 데이터를 정제하고, 분석하는 능력이 충분하지는 않습니다. 이러한 문제는 자본이 부족하고 다른 기업들과 경쟁해야 하는 소규모 기업에서 더 자주 일어납니다.

SAM은 이러한 문제에 대해 도움이 될 수 있습니다. SAM을 사용하면 사용자는 데이터에서 정보들과 이를 시각적으로 표현한 모습을 빠르게 생성할 수 있고, 이를 사용자 친화적이면서 빠르고 효율적인 형식으로 표시할 수 있으므로 모든 사람이 순식간에 데이터 분석가가 될 수 있습니다.

SAM은 파이썬 라이브러리들인 Streamlit, pandas, altair, matplotlib를 활용하여 제작되었으며 Excel 스프레드시트를 입력으로 받습니다.

SAM을 어떻게 사용하나요?

SAM은 파이썬 프레임워크인 Streamlit을 이용하여 만들어진 웹앱입니다. 사용자들은 웹앱에서 버튼, 드롭다운, 슬라이드와 같은 컴포넌트들을 이용하여 여러 가지 옵션들을 선택할 수 있고, 이에 대한 결과를 시각적으로 바로 확인할 수 있습니다.

과정을 하나하나 살펴보겠습니다. 먼저 왼쪽 사이드바에서 맨 위의 메뉴에서 Start를 선택하면, 스프레드시트 데이터를 입력할 수 있는 부분이 나타납니다. 저는 Github에 있는 예시 데이터인 soccer.csv를 입력해보겠습니다.

파일을 입력하면 Start 메뉴가 나타납니다. Start 메뉴의 값으로 Yes를 선택하면 다양한 메뉴들이 나타나는데, 메뉴 선택을 통해 다양한 옵션들을 설정할 수 있습니다.

저는 10명의 축구선수에 대해서 어시스트 횟수를 막대 그래프로 표현해보겠습니다. Set Index from unique columns 메뉴는 "Name"으로 설정하고, Main Options은 "Draw Graph", Pick a graph은 "Bar Graph", Sample size는 "10", Choose a column to display는 "Assist"로 설정하였습니다.

위와 같이 메뉴를 설정하면 막대 그래프를 쉽게 제작할 수 있습니다.

SAM으로 무엇을 할 수 있나요?

SAM은 유저가 스프레드시트 데이터들을 조작하도록 할 수 있습니다. 또한 데이터에 있는 속성에 대해서 통계치들을 표시할 수가 있고, 선 그래프, 막대 그래프, 산점도 등을 통해 이를 시각화 할 수 있습니다.

첫 번째 Global Ainizer와의 미팅

얼마 전, Global Ainizer인 Eniola와의 미팅이 AI Network 게더타운에서 진행되었습니다. 이번 미팅에서는 위에서 소개드린 프로젝트인 “SAM”에 대한 얘기를 나누었습니다. 아래는 Eniola와 진행된 미팅 내용입니다.

SAM은 무엇인가요?

SAM은 “Simple Analysis Machine”의 약자입니다. SAM은 모든 사람들이 데이터 사이언티스트가 될 수 있도록 도와줄 수 있는 프로젝트입니다.

SAM을 제작하게 된 계기는 무엇인가요?

제가 대학교에서 컴퓨터 과학을 전공하면서 데이터 분석과 수학을 부전공 하였는데, 많은 사업들이 더 나은 데이터 기반 결정을 내리기 위해 기업의 데이터들을 분석해야된다는 것을 알게 되었습니다.

그러나 분석해야하는 일이 비교적 간단하다면, 해당 작업을 위해 데이터 사이언티스트를 고용하는 것은 비용이 많이 소요됩니다. 게다가 데이터를 분석하기 위해서는 엑셀이나, SQL과 같은 도구들을 다룰 수 있어야 하는데, 이것은 이러한 도구들을 학습할 시간이 많지 않은 작은 기업에게는 큰 걸림돌이 됩니다. 바로 이러한 부분이 웹 기반으로 데이터들을 시각화하고, 정보들을 얻을 수 있는 SAM이 도움을 줄 수 있는 부분입니다.

Pandas와 같은 데이터 분석 툴과 다른 점은 무엇인가요?

SAM은 단순한 시각화 도구가 아닙니다. 사용자는 랜덤 샘플 또는 n번째 샘플을 얻을 수 있고, 커스텀이 가능한 다양한 그래프들을 표시할 수 있고, 데이터셋의 각 속성들에 대한 통계값들을 확인할 수 있습니다. 또한 이러한 작업들을 소스코드 작성 없이 할 수 있다는 것이 큰 차이점인 것 같습니다.

SAM이 AI 개발자에게 어떤 도움이 될 것 같은가요?

처음에는 AI 또는 데이터 사이언스에 깊은 지식이 없는 사람들을 돕기 위해 SAM을 개발하였습니다. 하지만, 현재 SAM은 오픈소스로 개발이 되었기 때문에, 다른 개발자들도 도움이 필요하다면 이용할 수 있을 것이라 생각합니다.

결론

약 10년 동안 AI 기술은 매우 빠르게 발전하였으며 소프트웨어에 AI를 적용하는 경우가 점점 많아지고 있습니다. AI 기반의 소프트웨어는 여러가지 판단을 사람이 아니라 AI에 의존하는 것이라 할 수 있습니다. 하지만 많은 기업들은 여전히 AI에 의존하는 것보단 사람들과의 상호 작용과 감독을 더욱 선호하고, 어플리케이션을 전적으로 믿는 것을 아직 꺼립니다. 만약 잘못된 데이터로 인해 추천 시스템이 이상하게 만들어지면 데이터 분석가는 이를 수정할 수 있고, 잘못된 데이터 권장 사항이 만들어지면 데이터 분석가가 직접 잘못된 것을 고칠 수 있기 때문입니다.

하지만 직접 만든 AI 어플리케이션이 아니라 외부에서 제작된 AI 어플리케이션이 있다면, 이러한 과정은 불가능 할 수 있습니다. 따라서 가까운 미래에 기업들은 AI 기반 소프트웨어의 도움을 받아 결정을 내리기 위해 여전히 데이터 분석가가 필요할 수 있습니다.