이끼의 생각

빅데이터의 규모와 다양성 빅데이터를 처리할 때 데이터 집합의 크기와 데이터의 종류에 따라 각각의 특징을 갖을 수 있습니다. 정형 데이터는 쉬운 예로 DBMS에서 주로 사용하는 SQL을 이용한 테이블, 릴레이션을 갖는 데이터셋으로 이해하면 됩니다. 이러한 데이터셋을 수십년간 사용한 방식으로 당연히 테라, 페라 단위의 데이터를 갖는 경우는 거의 없습니다.(국가기반, 전세계 규모는 예외). 데이터 규모가 작으면 이러한 전통적인 방법의 비즈니스 모델을 갖게 되지만 만약 비정형의 경우 소프트웨어 수준에서 간단한 분석, 작은 분석값들을 얻을 수 있으며 비즈니스 가치를 갖는다고 말하기는 어렵습니다. 빅데이터인 경우 처리 연산이 비례하기 되므로 전통적인 방식에서는 확장성이 떨어져 숨은 가치를 추출하기 어려워집니다. 그..

기존 데이터와 빅데이터의 차이 1. 빅데이터는 다양한 방법과 원천, 환경에서부터 수집된 데이터와 데이터 집합을 의미하지만 여기서 비정형화된 데이터에 더 큰 초점을 맞춥니다. 2. 빅데이터는 병렬 처리를 위한 컴퓨터 시스템들이 필요할 정도의 큰 데이터셋을 말합니다. 3. 빅데이터는 비지니스 혹은 연구에서 유용한 가치를 창출하여야 합니다.(원하는 의미를 갖춘 결과물) 4. 빅데이터가 창출하는 가치를 보장하기위해서는 타당성 (Validity), 신뢰성(Veracity)을 확보하는데 노력해야됩니다.(어려움) 5. 빅데이터는 오랫동안 저장되어 계속 가치를 창출할 수 있어야 하며, 단기간 활용보다는 장기적 활용에 초점을 맞춥니다. 빅데이터의 속성 3V, 4V, 5V 요즘엔 7V? 빅데이터가 갖는 특징으로 3V, 4..

빅데이터란? 빅데이터(Big Data)란 기존의 데이터베이스 관리 도구, 관리시스템의 능력을 넘어 대량의 (수십, 테라바이트 단위 이상) 정형, 반정형, 비정형 데이터 셋, 이를 포함한 데이터로 부터 의미 있는 가치를 추출하고 원하는 결과를 분석하는 기술입니다. 통상적으로 사용되는 데이터 수집, 관리, 처리 등을 위한 소프트웨어의 수용 한계를 넘어서는 엄청난 용량의 데이터를 말하기도 합니다. 빅데이터의 크기는 데이터 셋의 크기가 테라, 페타 바이트에 이르는데, 수십 수백 수천만 그리고 억단위의 데이터들로 끊이없이 크기가 변화하는 것이 특징입니다. 정형, 반정형, 비정형, 다양한 종류의 대규모 데이터에 대한 생성, 수집, 분석, 표현 등의 특징을 갖는 빅 데이터 기술의 발전은 복잡하고, 다변화된 현대 사회..