이끼의 생각

빅데이터 표현 기술 분서결과물이라는 데이터들 그대로 표현을 할 수 있지만, 데이터들의 수치 등을 이용하여 도식화할 수 있으며, 디자인적인 요소를 결합하여 인포그래픽 등 수많은 방법들로 표현할 수 있습니다. 이렇게 표현하기 위해서 여러가지 툴을 사용할 수 있었는데 전편에서 계속 설명드린 R, 최근 떠오르는 언어인 Python의 Plot 모듈로 그래프 표현이 가능합니다. 표현단계는 개발자, 엔지니어들만의 작업 영역이 아닌 그 비즈니스 시스템의 이해관계자들의 공동의 작업도 필요합니다.

전 편에서 빅데이터 처리에 관한 특징들과 간단한 처리과정에 대해 알아보았습니다.이번엔 조금 더 자세함 처리과정과 여기서 필요한 기술들에 대해 설명하겠습니다. 빅데이터 처리 과정과 기술들 마지막으로 빅데이터 인프라의 아키텍쳐가 되는 처리과정과 기술에 대해 설명해드리겠습니다. 1단계 [데이터소스] : (1)DBMS나 시스템의 내부데이터 그리고 (2) SNS 등의 소셜미디어, 공공데이터와 같은 데이터웨어하우스 등의 외부데이터, (3) 이미지, 영상 등의 미디어들이 처리를 위한 소스가 됩니다. 2단계 [수집] : 비즈니스 목적에 알맞은 데이터 소스를 수집합니다. 시스템이나 소프트웨어를 이용하여 로그를 수집하거나, 크롤링, 하드웨어를 이용한 세싱이 있습니다. 3단계 [저장] : 수집한 데이터들은 정형, 비정형, ..

빅데이터 처리의 속성 빅데이터, 엄청난 크기의 데이터셋을 처리하는 빅데이터 처리의 속성들을 알아보겠습니다. - 의사 결정 속도 : 빠른 의 결정이 상대적으로 덜 요구되어 장기적, 전략적인 접근이 필요합니다. - 처리복잡도 : Processing Complexity, 다양한 데이터 소스, 복잡한 로직 처리, 대용량 데이터 처리로 처리 복잡도가 높아 분산 처리 기술이 필요한 지 판단합니다. - 데이터 규모 : 처리할 데이터 규모가 방대합니다. 고객 정보를 수집 및 분석을 장기간에 걸쳐 수행해야 하므로 처리해야 할 데이터양이 더욱더 방대해집니다. - 데이터 구조 : 비정형 데이터의 비중이 높습니다. 소셜 미디어 데이터, 로그 파일 스트림 데이터, 콜센터 로그 등 비정형 데이터 파일의 비중이 높다는 것에 포커스..