이끼의 생각

전 편에서 빅데이터 처리에 관한 특징들과 간단한 처리과정에 대해 알아보았습니다.이번엔 조금 더 자세함 처리과정과 여기서 필요한 기술들에 대해 설명하겠습니다. 빅데이터 처리 과정과 기술들 마지막으로 빅데이터 인프라의 아키텍쳐가 되는 처리과정과 기술에 대해 설명해드리겠습니다. 1단계 [데이터소스] : (1)DBMS나 시스템의 내부데이터 그리고 (2) SNS 등의 소셜미디어, 공공데이터와 같은 데이터웨어하우스 등의 외부데이터, (3) 이미지, 영상 등의 미디어들이 처리를 위한 소스가 됩니다. 2단계 [수집] : 비즈니스 목적에 알맞은 데이터 소스를 수집합니다. 시스템이나 소프트웨어를 이용하여 로그를 수집하거나, 크롤링, 하드웨어를 이용한 세싱이 있습니다. 3단계 [저장] : 수집한 데이터들은 정형, 비정형, ..

빅데이터의 규모와 다양성 빅데이터를 처리할 때 데이터 집합의 크기와 데이터의 종류에 따라 각각의 특징을 갖을 수 있습니다. 정형 데이터는 쉬운 예로 DBMS에서 주로 사용하는 SQL을 이용한 테이블, 릴레이션을 갖는 데이터셋으로 이해하면 됩니다. 이러한 데이터셋을 수십년간 사용한 방식으로 당연히 테라, 페라 단위의 데이터를 갖는 경우는 거의 없습니다.(국가기반, 전세계 규모는 예외). 데이터 규모가 작으면 이러한 전통적인 방법의 비즈니스 모델을 갖게 되지만 만약 비정형의 경우 소프트웨어 수준에서 간단한 분석, 작은 분석값들을 얻을 수 있으며 비즈니스 가치를 갖는다고 말하기는 어렵습니다. 빅데이터인 경우 처리 연산이 비례하기 되므로 전통적인 방식에서는 확장성이 떨어져 숨은 가치를 추출하기 어려워집니다. 그..

기존 데이터와 빅데이터의 차이 1. 빅데이터는 다양한 방법과 원천, 환경에서부터 수집된 데이터와 데이터 집합을 의미하지만 여기서 비정형화된 데이터에 더 큰 초점을 맞춥니다. 2. 빅데이터는 병렬 처리를 위한 컴퓨터 시스템들이 필요할 정도의 큰 데이터셋을 말합니다. 3. 빅데이터는 비지니스 혹은 연구에서 유용한 가치를 창출하여야 합니다.(원하는 의미를 갖춘 결과물) 4. 빅데이터가 창출하는 가치를 보장하기위해서는 타당성 (Validity), 신뢰성(Veracity)을 확보하는데 노력해야됩니다.(어려움) 5. 빅데이터는 오랫동안 저장되어 계속 가치를 창출할 수 있어야 하며, 단기간 활용보다는 장기적 활용에 초점을 맞춥니다. 빅데이터의 속성 3V, 4V, 5V 요즘엔 7V? 빅데이터가 갖는 특징으로 3V, 4..

빅데이터란? 빅데이터(Big Data)란 기존의 데이터베이스 관리 도구, 관리시스템의 능력을 넘어 대량의 (수십, 테라바이트 단위 이상) 정형, 반정형, 비정형 데이터 셋, 이를 포함한 데이터로 부터 의미 있는 가치를 추출하고 원하는 결과를 분석하는 기술입니다. 통상적으로 사용되는 데이터 수집, 관리, 처리 등을 위한 소프트웨어의 수용 한계를 넘어서는 엄청난 용량의 데이터를 말하기도 합니다. 빅데이터의 크기는 데이터 셋의 크기가 테라, 페타 바이트에 이르는데, 수십 수백 수천만 그리고 억단위의 데이터들로 끊이없이 크기가 변화하는 것이 특징입니다. 정형, 반정형, 비정형, 다양한 종류의 대규모 데이터에 대한 생성, 수집, 분석, 표현 등의 특징을 갖는 빅 데이터 기술의 발전은 복잡하고, 다변화된 현대 사회..

파이썬이란? 파이썬은 1989년 귀도 반 로썸(Guido van Rossum)에 의해 개발된 고급 프로그래밍 언어로, 2018년 현재 실무와 교육 양쪽 모두에서 엄청난 인기를 끌고 있는 언어입니다. 파이썬의 이름의 유래는 귀도 판 로썸이 즐겨보던 영국 코미디 그룹 몬티 파이썬에서 따왔다고 합니다. 대표적인 프로그래밍 언어인 C, C++, Java 같은 언어와 비교하여 쉬운 문법과 직관적이며 프로그래밍이 쉬워 높은 생산성을 가지고 있습니다. 배우기 쉬운 동시에 속도도 빠르며 다양한 확장성을 가진 파이썬은 그 중요성을 인정받아 4차 산업혁명에 대비한 대한민국 2015년 개정 교육과정에 포함되었습니다. 파이썬 활용 분야는? 쉬운 문법과 빠른 습득 시간, 확장성으로 인해 여러 분야에서 사용되는데 대표적으로 3곳..