인터넷속의 엄청난 정보 "빅데이터"란..

 

오늘은 4차 산업혁명의 중요한 요소인 빅데이터에 대해 이야기해보려 합니다. 디지털 경제의 확산으로 우리 주변에는 규모를 가늠할 수 없을 정도로 많은 정보와 데이터가 생산되는 '빅데이터(Big Data)' 환경에 살고 있습니다. 빅데이터란 과거 아날로그 환경에서 생성되던 데이터에 비해 그 규모가 방대하고, 생성 주기도 짧으며, 그리고 형태도 수치 데이터뿐 아니라 문자와 영상 데이터를 포함하는 방대한 대규모 데이터를 뜻합니다. IT 기술의 발달로 PC와 인터넷, 모바일 기기 이용이 생활화되면서 사람들이 도처에 남긴 발자국(데이터)은 기하급수적으로 증가하고 있습니다.

---

예로 쇼핑을 들어보자면 데이터의 기록수집으로 볼 경우 과거에는 상점에서 물건을 살 때만 데이터가 기록되었습니다. 반면 인터넷을 통한 쇼핑몰의 경우에는 구매를 하지 않더라도 방문자가 여러 쇼핑몰사이트를 웹 서핑하여 남긴 기록들까지 자동적으로 데이터로 저장이 됩니다. 어떤 상품에 관심이 있는지, 얼마 동안 쇼핑몰에 머물렀는지 대한 기록들이 말입니다. 그리고 오늘날 많은 사람들은 쇼핑뿐만 아니라 은행이나 증권과 같은 금융거래, 교육과 학습, 자료검색과 이메일 등 또 사진이나 동영상 콘텐츠를 PC를 통해 이용하는 것은 이미 일반화되었고 방송 프로그램들도 TV를 통하지 않고 PC나 스마트폰으로 시청하고 있습니다.

 

한 예로 트위터에서만 하루 평균 1억 5500만 건의 업로드가 있고 유튜브의 하루 평균 동영상 재생건수는 40억 회에 이릅니다. 이와 같이 많은 시간을 PC와 스마트폰 등 인터넷 세계에 소비하면서 여러 많은 데이터들이 쌓이고 있습니다. 
사람과 기계, 기계와 기계가 서로 정보를 주고받는 사물인터넷의 확산도 디지털 정보가 폭발적으로 증가 이유 중 하나입니다. 그리고 사용자가 직접 제작하는 UCC를 비롯한 동영상 콘텐츠, 휴대전화와 SNS에서 생성되는 문자 등은 데이터의
증가 속도뿐 아니라, 형태와 질에서도 다른 양상을 보이고 있습니다. 특히 블로그나 SNS에서 유통되는 텍스트 정보는 내용을 통해 글을 쓴 사람의 성향뿐 아니라, 소통하는 상대방의 연결 관계까지도 분석이 가능한 여러 속성의 데이터들이 생겨나고 있는 것입니다. 또 주요 도로와 공공건물은 물론 심지어 아파트 엘리베이터 안에까지 설치된 CCTV가 촬영하고 있는 영상 정보의 양도 상상을 초월할 정도로 엄청납니다. 그야말로 일상생활의 행동 하나하나가 빠짐없이 데이터로 저장되고 있는 것입니다.

 

 

빅데이터 플랫폼은 빅데이터 기술의 집합체이자  기술을 잘 사용할 수 있도록 준비된 환경이며 기업들은 빅데이터 플랫폼을 사용하여 빅데이터를 수집, 저장, 처리 및 관리 할 수 있습니다. 빅데이터 플랫폼은 빅데이터를 분석하거나 활용하는 데 필요한 필수적인 인프라이며 빅데이터라는 원석을 발굴하고, 보관, 가공하는 일련의 과정을 통합적으로 제공해야 합니다. 그리고 이러한 안정적 기반 위에서 처리된 데이터를 분석하고 이를 다시 각종 업무에 맞게 가공하여 활용함으로써 사용자가 원하는 가치를 정확하게 얻을 수 있는 것입니다.

 

 

특히 빅데이터에 기반한 분석방법론은 과거에 불가능했던 일을 가능하게 만들고 있습니다. 예로 구글은 독감과 관련된 검색어 빈도를 분석해 독감 환자 수와 유행 지역을 예측하는 독감 동향 서비스를 개발했는데 이는 미 질병통제본부보다 예측력이 뛰어난 것으로 밝혀졌습니다. 또 데이터의 규모가 중요하다는 것을 확인시킨 사례로는 구글의 자동번역 
시스템이 있습니다.  구글은 수천만 권의 도서 정보와 유엔과 유럽의회 웹 사이트의 자료를  활용해 64개 언어 간 자동번역 시스템 개발에 성공했습니다. 이처럼 기술의 차이보다는 사용 데이터의 규모 차이에 의해서 정확히 만들수 있는
사례도 있습니다. 앞으로도 계속 쏟아지고 있는 엄청난  데이터의 정보는 앞으로 편리하고 행복한 인간의 삶을 이룰 수 있는 인터넷 세상의 중요한 요소로 활용될 것입니다.