빅데이터, 미래의 문을 열 시대의 유산

빅데이터가 이슈다. 대체 빅데이터가 뭐길래? 어떻게 쓸 수 있길래?

Esquire Korea
글/최태형 사진/장현우

작금의 모든 싸움에서 승패를 결정하는 건 정보다. 누가 어떤 정보를 가지고 있는가는 게임의 승자와 패자를 판가름한다. 정보전에서 승리하는 것은 싸우지 않고도 서열 상위에 오르는 것과 같다. 더 많은 정보를 가지려는 싸움은 그래서 모든 승패의 바로미터이기도 하다. 정보가 중요하다는 것은 사실 병법이라기보다는 명언에 가깝다. 적을 알고 나를 알면 백전백승이라는 말이 철학에 가깝듯이 말이다.

2012년 세계 경제 포럼은 떠오르는 10대 기술 중 첫 번째로 빅데이터 기술을 꼽았다. 대한민국 지식경제부 R&D 전략기획단 역시 10대 핵심 기술 가운데 하나로 빅데이터를 선정했다. 2012년부터 세계는 빅데이터에 주목하고 있다. 하지만 어쩌면 빅데이터라는 단어를 발굴해 주목하고 있는지도 모른다.

빅데이터란 단어가 유행하면서 대부분의 분야에서 빅데이터를 거론하고 대응해야 한다고 했다. IT 회사뿐 아니라 공공기관까지 모두 빅데이터를 들먹이고 있지만 빅데이터란 사실 명확한 개념의 단어는 아니다. 여기저기 빅데이터를 논하는 지금도 여전히 모호하다. 무엇을 ‘빅’이라 표현할 수 있을까? 상대적인 개념의 단어를 두고 명확함을 논할 순 없다. 빅데이터에 대한 환상과 경외는 그래서 일정 부분 미디어가 붐업시킨 영향이라고도 볼 수 있다.

데이터를 가장 많이 가지고 있는 포털 사이트의 예를 보면 쉽다. 지난 2012년 말 포털 사이트 다음은 대대적인 메인 페이지 개편을 진행했다. 일 년여를 준비한 개편 TFT는 스마트폰 등을 통해 새롭게 바뀐 IT 시장의 개념들을 새로운 페이지에 적절하게 담아내려 애썼다. 기획팀과 개발팀, 데이터 마이닝팀과 디자인팀 등 실무자들이 모인 자리에서 빅데이터에 대한 얘기가 나왔음은 자명하다. 하지만 포털에서도 어떻게 사용해야 할지 명확히 알지 못했다. 유저가 시스템상에서 활동하며 남기는 모든 기록에 미래 가치가 있다고 한들 무엇을 취해야 하는지 몰랐던 거다. 매일같이 쌓이는 방대한 데이터를 삭제하지 않고 쌓아두고 있지만 어떻게 활용해 돈을 만들어야 하는지 알지 못했다. 유저의 움직임을 분석해 성향이 비슷한 다른 유저에게 자동으로 콘텐츠를 추천하는 시스템을 기획했다가도 효과적이지 않다고 판단했다. 이유는 국내 소비자들이 자동 추천 콘텐츠를 싫어하기 때문이다. 국내 유저는 사람이 직접 편집한 콘텐츠를 소비하는 것에 익숙하다. 세계적인 추세와는 반대다.

포털 사이트의 메인 페이지에 오르는 콘텐츠는 대부분 운영자에 의해 선정되고 변경된다. 사람의 손을 통한 편집을 지양하고 자동화를 원하는 해외 사이트와 달리 국내 포털의 롤 모델은 네이버다. 그들의 방식은 유저가 원하는 정보를 사람을 동원해 미리 만들어놓는 것이다. 이슈를 따라 혹은 이슈를 만들어가며 콘텐츠를 적절히 메인 페이지에 배치하는 것. 국내 IT 시장에서 클릭을 이끄는 건 기계보다는 사람이 낫다는 확신이 깔려 있다. 비록 구시대적 방법을 쓴다고 할지라도 말이다. 이는 웹의 핵심성과지표(KPI)를 판단하는 기준이 광고 단가를 결정하는 요소인 클릭, 페이지 뷰 등으로 정형화된 데이터이기 때문에 생긴 방식이다. 그렇기 때문에 ‘유저의 편의’라는 비정형적이고 모호한 개념을 만족시키기 위해 인력을 투입하는 건 사치다. 포털들의 성과도 이를 증명했다. 네이버 방법을 좇아갈 수 있는 포털은 살고 그렇지 못한 곳은 망했다.

그렇다고 포털이 데이터를 전혀 활용하지 않은 것은 아니다. 우리가 포털 하면 생각하는 ‘실시간 검색어’ 역시 빅데이터를 분석해 활용하는 하나의 예다. 실시간 검색어는 유저의 방대한 검색 패턴을 정리해 제공함으로써 미디어와 대중에게 새로운 가치를 제공했다. 미디어 이슈의 흐름을 ‘실시간 검색어’의 탄생 전과 후로 뚜렷하게 나누었다고 말할 수 있을 정도다. 이미 빅데이터를 분석하고 활용하고 있었다는 얘기다. 빅데이터란 유행처럼 뚝 떨어진 게 아니다. 빅데이터 세상이라는 개념은 관심을 두면 가까이 있었을 수도 있다. 동시에 맹목적인 가치가 아닐 수도 있다. 그저 새로운 용어가 생긴 것일 뿐.

하지만 새로운 단어는 개념을 만들고 전파시킨다. 그게 뭔지 몰라도 이미 빅데이터는 대세다. 빅데이터의 개념을 정립하기 위해서는 데이터를 알아야 한다. 모든 기록은 데이터다. 온도를 기록해놓은 것, 키, 몸무게, 날씨, 날짜 등 모든 기록들은 데이터다. 그렇다면 빅데이터는? 말 그대로 더 크고 더 많은 데이터라고 볼 수 있다. 지금까지 가치 있는 데이터를 정형화된 데이터로 봤다면 빅데이터 시대에는 비정형화된 불특정 형식의 데이터까지 모두를 의미한다. 예를 들어 사람에 대한 정보를 저장한다고 할 때 그동안은 1. 키, 2. 몸무게, 3. 생일 등으로 형식을 나눠 그에 맞는 데이터만을 취했다. 그러나 빅데이터 시대에서는 침대에서 일어나며 듣는 음악, 칫솔질할 때 습관, 말할 때 나오는 추임새 등 정형화되지 않고 분석하기도 힘든 모든 데이터를 말한다. 이 데이터가 가능한 건 컴퓨터 연산 기술의 발전으로 더 많은 데이터와 더 큰 데이터를 저장하고 연산할 수 있게 됐기 때문이다. 스마트폰과 같은 개인용 디바이스들로 인해 인터넷에 쌓이는 정보들이 크고 많아진 것도 한몫했다. 또한 SNS의 유행으로 어떤 형식으로도 쉽게 구분할 수 없는 트윗 같은 데이터들이 기하급수적으로 쌓이는 이유이기도 하다. 이렇게 쌓은 비정형 대형 데이터들을 어떻게 활용할 수 있을까? 이들을 분석하면 어떤 패턴이 보일까?

포털 사이트 데이터 인사이트팀의 기획자는 말한다. “빅데이터라는 단어가 유행하기 전에도 이미 데이터를 분석하고 패턴을 찾아 경향을 만들었어요. 기획에 반영하고 수정 보완한 것도 디지털 데이터가 쌓이면서 시작된 일이고요.” 서울시 정보기획단 정보시스템 담당관 서병철 팀장의 설명은 이렇다. “우리가 가게를 차릴 때 가장 먼저 하는 건 시장조사예요. 가게 앞에 유동 인구는 얼마나 되는지, 유동 인구의 구성은 학생이 많은지 회사원이 많은지…. 좀 더 나아가서는 김씨 아줌마는 오전에 커피숍에 들르는지 슈퍼마켓에 들르는지 등 정형, 비정형의 모든 정보를 모아서 과연 이 자리에 빵집을 차려도 될지 결정해요. 개인이라는 한계를 벗어나 수십 수백의 사람들의 데이터를 정리해 분석할 수 있다면 효과는 더 높아지겠죠. 또 이 정보를 마을버스의 순환 시간과 조합해보면 또 다른 면이 보일 거고요. 새로운 개념이 아닐 수 있어요. 시장 조사를 확장하자면 빅데이터 분석이고 활용인 거죠.”

빅데이터에 대한 분석은 2008년 미국의 인디애나 주립대학의 조한 볼렌(Johan Bollen) 교수에 의해 처음 시도되었다. 그는 트위터에 올라온 글에서 개인과 관련된 정보가 포함되어 있음을 확인했다. 이러한 데이터를 종합하여 분석하면 어떠한 거대한 흐름을 발견할 수 있을 것으로 기대하였다. 그는 2008년 상반기 트위터에 올라온 모든 데이터를 분석해 이용자들의 집단적 기분 변화가 전국적인 행사와 일치한다는 사실을 발견했다. 추수감사절이 다가올수록 트위터에 올라온 기분 변화는 행복 지수를 나타내고, 반대로 사람들이 불안감을 느끼면 며칠 뒤 주가가 하락한다는 사실도 발견했다. 이는 수치화된 데이터가 아닌 비정형 감정 데이터들을 조합해 새로운 가치를 만든 것이다.

하지만 아무나 이런 빅데이터를 모으고 활용할 순 없다. 거대한 양의 비정형 데이터라 할지라도 그 면면은 개인이 쌓은 사생활의 축적이다. 트위터, 페이스북, 카카오톡 등 비정형적인 데이터일수록 그럴 가능성이 높다. 또한 이런 데이터는 특정 데이터 하나만으로 가치를 갖기 힘들다. 그렇기 때문에 데이터들의 융합을 통해 새로운 가치를 봐야 한다.

한국에서는 박원순 시장이 비정형 데이터를 시정에 활용했다. 그가 트위터를 통해 불특정 다수의 사람에게 불편 사항을 제보받아 고장 난 신호등을 고치거나 도로를 수리한 것도 작지만 비슷한 맥락이다. 그 경험은 빅데이터 활용에 도움이 됐다. 서울시가 최고의 치적 중 하나로 삼는 심야 버스가 빅데이터 활용의 단적이고 명확한, 그러니까 훌륭한 예다. 서울시는 0시부터 5시까지 운행할 심야 버스 노선을 만들면서 빅데이터를 이용했다. KT와의 업무 협약을 통해 심야 통화량 데이터를 받아 서울시 교통 데이터와 융합해 분석했다. 서울시를 지름 1킬로미터 단위 1252개의 구역으로 나누어 심야 버스 시간대 통화량이 많은 지역을 골라냈다. 그 후 요일별, 노선별 패턴을 분석하고 유동 인구가 많은 정류장 단위로 통행량을 산출해 심야 버스 노선을 확정했다. 1차적인 거주 인구 데이터만으로는 도출하기 힘든 결과다. 쌓아만 두던 거대한 양의 정형, 비정형 데이터를 어떻게 융합하고 활용해야 할지 쉽게 풀어냈다고 볼 수 있다. 이는 사기업이나 개인이 아닌 국가 기관이었기 때문에 수월했을 수 있다. 사기업이 스스로 축적한 빅데이터를 다른 기업과 공유하고 협의하기는 힘들다. 두 사기업 간의 협력 문제뿐 아니라 개인정보에 관한 법률 등 넘어야 할 산이 많기 때문이다. 개인이 빅데이터를 모으고 활용하는 것은 불가능에 가깝다.

그렇기 때문에 빅데이터는 국가가 풀어야 할 숙제이기도 하다. 서울시는 심야 버스 성공에 힘입어 좀 더 적극적으로 빅데이터를 활용하기 위해 준비 중이다. 빅데이터를 통한 빅브라더를 지양하고 서민들이 빅데이터를 활용할 수 있도록 하는 새로운 서비스를 개발 중이라고 한다.

서민이 데이터를 취합하고 분석해야 하는 경우는 뭘까. 서울시는 생활 밀접형 빅데이터 서비스를 생각했다. 자영업자들이 새로운 사업을 시작하기 전 하는 유동 인구 상권 분석을 빅데이터를 통해 제공하려 준비 중이다. 골목 상권, 전통시장 상권 분석, 유동 인구 분석을 교통량, 통화량 등 빅데이터를 가지고 제공할 예정이다. 이에 더해 창업 컨설팅을 함께 묶어 서민에게 제공하려는 계획을 세우고 있다. 개인이 하기에는 주먹구구에 불과했던 지역 상권 분석을 체계적으로 제공해 서민 창업주의 승률을 높이겠다는 거다. 또 다른 서비스인 ‘택시 매칭 메이킹 서비스’도 고려 중이다. 택시 승합차 위치, 유동 인구 데이터, 신호 데이터 등 방대한 데이터를 분석해 기사 입장에서는 어느 곳에서 승객을 태울 수 있는지, 승객은 어느 곳에 택시가 많은지 정보를 제공받을 수 있다.

우리 모두가 모호하게나마 빅데이터를 분석하고 활용해왔다. 시험에서 모르는 문제는 3번 답안으로 찍는 게 정답일 확률이 높다는 것 역시 축적된 빅데이터의 분석이다. 현재 빅데이터에 대한 논의가 이와 다른 점이라면 이에 대한 관심이다. 가치를 논하기 힘든, 거대한 데이터들을 활용해야겠다는 생각들, 분야가 다른 비정형 데이터를 융합하고 분석하려는 시도들이다. 거기에 더해 발전된 컴퓨터 기술과 하나둘 창의적으로 활용되는 데이터들…. 비로소 모호하기만 한 빅데이터로 세상 작은 곳곳에 큰 변화를 줄 수 있을 거란 기대가 든다.