4. 빅데이터 처리 (1) 특징, 처리과정

빅데이터 처리의 속성

빅데이터, 엄청난 크기의 데이터셋을 처리하는 빅데이터 처리의 속성들을 알아보겠습니다.

- 의사 결정 속도 : 빠른 의 결정이 상대적으로 덜 요구되어 장기적, 전략적인 접근이 필요합니다.

- 처리복잡도 : Processing Complexity, 다양한 데이터 소스, 복잡한 로직 처리, 대용량 데이터 처리로 처리 복잡도가 높아 분산 처리 기술이 필요한 지 판단합니다.

- 데이터 규모 : 처리할 데이터 규모가 방대합니다. 고객 정보를 수집 및 분석을 장기간에 걸쳐 수행해야 하므로 처리해야 할 데이터양이 더욱더 방대해집니다.

- 데이터 구조 : 비정형 데이터의 비중이 높습니다. 소셜 미디어 데이터, 로그 파일 스트림 데이터, 콜센터 로그 등 비정형 데이터 파일의 비중이 높다는 것에 포커스를 맞춥니다.

- 분석 유연성 : Analysis Flexibility, 처리/분석 유연성이 높습니다.. 잘정의된 데이터 모델, 상관관계, 절차 등이 없으므로 기존의 데이터 처리 방법에 비해 높은 처리, 분석 유연성이 특징입니다.

- 처리량 : Throughput, 동시 처리량이 낮습니다. 대용량 + 복잡한 처리가 가능하기에 동시에 처리할 수 있는 데이터양이 적어 실시간 처리로 인한 서비스와 같은 비즈니스 모델, 데이터분석 모델에는 부적합하거나 사전의 처리를 진행한 후 실시간이 이루어져야 합니다.

빅데이터 속성과 처리 특징

아래의 그림은 지금까지의 설명을 빅데이터라는 개념을 기준으로 도식화 하였습니다.