1. 빅데이터란?

빅데이터란?

빅데이터(Big Data)란 기존의 데이터베이스 관리 도구, 관리시스템의 능력을 넘어 대량의 (수십, 테라바이트 단위 이상) 정형, 반정형, 비정형 데이터 셋, 이를 포함한 데이터로 부터 의미 있는 가치를 추출하고 원하는 결과를 분석하는 기술입니다.

통상적으로 사용되는 데이터 수집, 관리, 처리 등을 위한 소프트웨어의 수용 한계를 넘어서는 엄청난 용량의 데이터를 말하기도 합니다. 빅데이터의 크기는 데이터 셋의 크기가 테라, 페타 바이트에 이르는데, 수십 수백 수천만 그리고 억단위의 데이터들로 끊이없이 크기가 변화하는 것이 특징입니다.

정형, 반정형, 비정형, 다양한 종류의 대규모 데이터에 대한 생성, 수집, 분석, 표현 등의 특징을 갖는 빅 데이터 기술의 발전은 복잡하고, 다변화된 현대 사회를 더욱 정확하게 예측하여 효율적으로 작동케 하고 개인화된 현대 사회 구성원 마다 맞춤형 정보를 제공, 관리, 분석 가능케 하며 과거에는 불가능했던 기술을 실현시키기도 합니다.

빅데이터 등장과 배경

1990년 이후 인터넷이 전세계로 확장되면서 정형화된 데이터와 비정형화된 데이터들이 엄청 양으로 발생하면서 정보 홍수개념, 정보화 시대 라는 개념들이 등장하였고 이것이 지금의 빅데이터 개념으로 이어졌습니다. 

SNS 등의 개인화 서비스들의 확산으로 기본적인 인터넷 서비스 환경이 재구성 되었습니다.

전 세계의 디지털 데이터의 양이 제타 바이트 단위로 2년마다 2배씩 증가하여 20202년에는 약 40 제타 바이트가 될것이라는 예상하고 있습니다. 

특히 스마트폰의 보급으로 데이터가 매우 빠르게 축적됭고 있어 제타바이트시대를 스마트 시대라고도 합니다.

잠깐! 빅데이터를 간혹 소셜미디어 데이터로 오인하기도 하는데, 소셜미디어의 반정형, 비정형 데이터를 다룰 수 있게 되어 이러한 오해가 있기도 합니다.

데이터양의 증가로 인해 기존의 데이터 기반의 서비스들의 데이터베이스 관리 시스템(DBMS)들의 저장, 관리, 분석, 처리에 SW, HW 적인 한계가 있어 테라 단위의 데이터 셋들을 위한 패러다임들도 변화하게 되었습니다.

빅데이터 차세대 이슈

불과 10년 전까지만 하여도 IT 시대, 정보화사회라는 용어들로 설명을 하였다면 이러한 정보 통신 기술의 주도권이 정보에서 데이터로 넘어갔다. 그러면서 데이터 처리의 포커스도 변화하게 되었습니다.  

데이터의 표현 범위 역시 넓은 의미로 확장되어 공간, 시간, 관계, 사회, 세상 등을 담은 빅데이터가 되었습니다. 

이같이 빅 데이터는 정치, 사회, 경제, 문화, 과학 기술 등 전 영역에 걸쳐서 사회와 인류에게 가치있는 정보를 제공할 수 있는 가능성을 제시하며 미래 경쟁력과 가치 창출의 원천, 가능성이 되었습니다.

세계 경제 포럼은 2012년 떠오르는 10대 기술 중 그 첫 번째를 빅 데이터 기술로 선정했으며 대한민국 지식경제부 R&D 전략기획단은 IT 10대 핵심기술 가운데 하나로 빅 데이터를 선정하기도 했습니다.

빅데이터의 문제점

하지만 빅데이터의 문제점은 바로 사생활 침해와 보안 분야가 있습니다. 빅데이터는 공공데이터, 여러분야의 정보와 수많은 개인들의 수많은 정보의 집합도 포함을 합니다. 그렇기에 빅데이터를 수집, 분석 처리할 때에 개인들의 사적인 정보까지 수집하여 관리하는 빅브라더의 모습이 될 수도 있습니다. 그렇게 모은 데이터가 보안 문제로 유출된다면, 이 역시 빅데이터만큼의 수많은, 어쩌면 거의 모든 사람들의 정보가 유출되는 것이기에 큰 문제가 될 수 있습니다.