잡월드ON

인공지능(AI), 사물인터넷(IoT), 자율주행, 메타버스. 우리는 이미 4차 산업혁명 시대에 살고 있다. 4차 산업혁명의 중심에는 빅데이터가 자리하고 있다. 빅데이터는 기존 데이터보다 방대해 지금까지의 방법이나 도구로는 수집·저장·분석 등이 어려운 정형 및 비정형 데이터들을 의미한다.
“데이터와 빅데이터의 차이는 ‘데이터 양(Volume)’, ‘빠른 속도(Velocity)’, ‘다양성(Variety)’에 있습니다. 디지털 환경이 조성되면서 데이터의 양이 많아졌고, 연산 기술의 발전으로 데이터 생성과 처리 속도가 빨라졌어요. 데이터의 출처도 소셜 미디어, 사물 인터넷, CCTV, 공장의 센서, 기업 문서 등으로 확대되었고 데이터의 형식도 숫자가 대부분이던 과거와 달리 텍스트, 이미지, 동영상 등으로 다양해졌어요.”

“아직도 놀랍고 신기해요.” 빅데이터가 주목받는 이유를 묻자 조성준 교수에게서 의외의 답이 돌아왔다. 서울대학교 산업공학과 교수이자 대한민국 최고의 데이터 마이닝 전문가인 그가 빅데이터가 주목받는 것이 놀랍고 신기하다니. 사실 조성준 교수가 처음 데이터 분석에 첫발을 내디뎠을 때는 아직 데이터의 가치가 제대로 인정받지 못했다. 이후 진로를 바꿀 정도로 첫눈에 반한 머신 러닝(인공지능의 한 분야. 컴퓨터가 데이터에서 패턴을 찾아 목표를 분류하고 예측하게 하는 학습 체계) 역시 수십 년간 주목받지 못한 것은 마찬가지.
“컴퓨터공학과에서 박사를 받았는데 취직이 안 되는 거예요. 충격적이었지만 구글도 네이버도 없던 때였으니 어떻게 보면 당연한 사실이었죠.(웃음) 그에 비해 지금은 빅데이터의 영향력도 대단하고, 초중고 학생들도 머신 러닝 AI 학습을 할 정도니 놀라울 수밖에요.”

조성준 교수도 놀랄 만큼 최근 10년간 빅데이터의 위상은 크게 높아졌다. 빅데이터를 어떻게 활용하는지에 따라 미래의 모습이 좌우될 것이라는 전망이 나올 정도다. 빅데이터가 우리 일상 곳곳에 자리 잡은 지도 오래다. 인터넷으로 상품 하나만 검색해도 비슷한 추천 제품이 뜨고, 넷플릭스에는 알고리즘에 의한 추천작 리스트가 줄을 잇는다.
“광고·마케팅, 투자, 제조 등 여러 산업 분야에서 빅데이터가 활용되고 있습니다. 현재는 광고 마케팅 분야에서 가장 활발하게 사용되고 있습니다. 제품이나 서비스, 콘텐츠를 불문하고 우리의 소비 행태가 개인화되고 있기 때문이죠. 예전에는 저녁 9시면 온 가족이 TV 앞에 모여 뉴스나 드라마를 봤잖아요. 하지만 지금은 각자 유튜브나 넷플릭스에서 보고 싶은 콘텐츠를 즐기는 것과 같은 맥락이에요. 이제 TV가 주는 획일화된 콘텐츠가 아니라 나라는 ‘개인’에게 맞춘 맞춤형 콘텐츠를 보는 거죠.”

우리가 알지 못하는 사이 우리 일상은 모두 데이터가 된다. 카드 사용 내역부터 포털사이트 검색어, SNS 속 해시태그, 이메일과 문자메시지, 휴대폰 위치 정보, 곳곳에 설치된 CCTV 등 열거하기도 힘들 정도로 많은 것들이 디지털 기록으로 남는다. 이 방대한 데이터는 어떤 작업을 거쳐 활용되는 걸까?
“빅데이터는 요리 재료예요. 다양한 재료가 대량으로 존재하는 거죠. 가령 파스타를 만든다고 하면 빅데이터가 식재료가 되고, 데이터 과학자는 파스타를 만드는 요리사가 되어 데이터를 분석해요. 이 과정을 거쳐 인사이트(Insight, 통찰)를 도출함으로써 가치를 창출할 수 있는 것이죠.”

비즈니스에서의 빅데이터 활용

분석
Data Scientist 애널리틱스
(AI 통계, 시각화)

액션
Decision Makers 엔지니어, 마케터, 투자자

방대한 데이터 속에서 도출된 가치 있는 데이터는 기업이나 기관의 의사 결정을 이끌어내며 매출이나 고객 서비스 등에 영향을 미치게 된다. 이런 작업을 진행하기 위해서는 빅데이터 전문가들이 필요하다. 이에 조성준 교수는 2021년 발간한 <빅데이터 커리어 가이드북>을 통해 빅데이터 관련 직무를 6가지로 분류했다.

<빅데이터 직무 6가지>

데이터 기획자 기업·기관 관리자급 이상으로, 빅데이터를 경영에 접목하는 프로젝트를 기획하고 비즈니스 사이클의 계획과 원활한 운영을 책임지는 인재.

데이터 엔지니어 데이터 자체와 데이터 시스템을 수집하고 쌓는 역할. 데이터 관리뿐 아니라 수집·보관·처리 시스템의 개발, 구조 설계, 유지 보수를 담당한다.

데이터 사이언티스트 데이터를 통한 통계 방법론, 머신 러닝, 데이터 마이닝 지식을 바탕으로 한 정량적이고 과학적인 데이터 분석을 통해 데이터 인사이트를 발굴한다.

데이터 리서처 데이터를 분석하기 위한 새로운 알고리즘과 방법론을 연구, 개발하는 일을 담당한다(대학에 근무하는 관련 학과의 교수 및 연구원, 대학원생도 포함).

데이터 애널리스트 데이터를 시각화하고 경영진 및 비 IT 직무 임직원에게 인사이트를 도출해 효율적으로 전달하는 업무를 담당한다.

시티즌 데이터 사이언티스트 현업 실무자이면서 데이터 분석 기술을 연마해 기존 업무에 빅데이터를 결합하는 인재.

“100년 전에는 농사꾼이 글을 배우겠다고 하면 ‘그런 걸 왜 배우냐’고 했어요. 또 30년 전에는 대학에서 문과를 전공하는 학생이 컴퓨터를 배운다고 하면 의아하게 쳐다봤고요. 하지만 지금은 어떤가요? 빅데이터도 마찬가지라고 생각해요. 빅데이터에 대한 이해는 결국 빅데이터로 승부하는 세상에서 어떻게 살아갈 것인지를 고민하는 기본 소양이 될 거예요.”

빅데이터는 경제, 경영, 의료, 과학, 인문, 사회 등 많은 분야에 적용된다. 그만큼 현명하게 활용하는 법도 알아야 한다. 조성준 교수는 ‘데이터 해석 능력’을 키워야 한다고 강조했다. 데이터 대중화라는 급류에 휩쓸리지 않고 스스로 데이터를 해석해 무엇이 맞고 그른지 정확하게 알아야 참과 거짓을 판단할 수 있다는 것이다. 열린 마음을 갖고 새로운 방식으로 문제를 보는 사고방식도 꼭 필요하다.

“빅데이터 분야가 유망 직종으로 꼽히고 있습니다. 그렇다고 꼭 빅데이터나 인공지능 분야의 전문가만 살아남는 건 아니에요. 나는 기자가 되고 싶은데 엄마가 데이터 과학자가 유망하다고 해서 양자택일을 고민할 필요는 없다는 거예요. 기자가 좋으면 기자를 하되, 데이터 공부를 기사에 활용할 수 있으면 더 훌륭한 기자가 될 수 있지 않을까요? 데이터는 목표가 아니라 하나의 도구로 생각하면 좋겠어요.”

“빅데이터 전문가가 되고 싶다면, 일반적인 머신 러닝 지식과 기본적인 수학, 통계학 지식은 공통으로 많은 도움이 돼요. 관련 수업을 듣거나 각종 대회에 참가해보는 것도 좋고요. 무엇보다 대부분의 신기술이 미국에서 나오는 만큼 영어 공부를 열심히 하는 것도 도움이 될 거라고 생각합니다.”