이끼의 생각

3단계 처리 단계에서 사용되는 기술들과 기법들에 대해 알려드리겠습니다. 빅데이터 처리 기술들 • 맵리듀스 ‒분산 병렬 데이터처리 기술의 표준, 일반 범용 서버로 구성된 군집화시스템을 기반으로 입력데이터 분할 처리 및 처리 결과 통합 기술, job 스케줄링 기술, 작업분배 기술, 태스크 재수행 기술 이 통합된 분산컴퓨팅 기술입니다. • R ‒R 언어와 개발환경으로 기본적인 통계 기법부터 모델링, 최신 데이터 마이닝 기법까지 구현 및 개선이 가능합니다.- R언어는 통계용 언어로 데이터를 처리, 분석, 시각화에 모두 사용할 수 있습니다. • 하둡‒정형·비정형 빅데이터 분석에 가장 선호되는 솔루션입니다.- 하둡을 기반한 하둡 에코시스템을 구축하여 Zookeeper(주키퍼), Oozie(우지), Avro(에이브로..

전 편에서 빅데이터 처리에 관한 특징들과 간단한 처리과정에 대해 알아보았습니다.이번엔 조금 더 자세함 처리과정과 여기서 필요한 기술들에 대해 설명하겠습니다. 빅데이터 처리 과정과 기술들 마지막으로 빅데이터 인프라의 아키텍쳐가 되는 처리과정과 기술에 대해 설명해드리겠습니다. 1단계 [데이터소스] : (1)DBMS나 시스템의 내부데이터 그리고 (2) SNS 등의 소셜미디어, 공공데이터와 같은 데이터웨어하우스 등의 외부데이터, (3) 이미지, 영상 등의 미디어들이 처리를 위한 소스가 됩니다. 2단계 [수집] : 비즈니스 목적에 알맞은 데이터 소스를 수집합니다. 시스템이나 소프트웨어를 이용하여 로그를 수집하거나, 크롤링, 하드웨어를 이용한 세싱이 있습니다. 3단계 [저장] : 수집한 데이터들은 정형, 비정형, ..

빅데이터 처리의 속성 빅데이터, 엄청난 크기의 데이터셋을 처리하는 빅데이터 처리의 속성들을 알아보겠습니다. - 의사 결정 속도 : 빠른 의 결정이 상대적으로 덜 요구되어 장기적, 전략적인 접근이 필요합니다. - 처리복잡도 : Processing Complexity, 다양한 데이터 소스, 복잡한 로직 처리, 대용량 데이터 처리로 처리 복잡도가 높아 분산 처리 기술이 필요한 지 판단합니다. - 데이터 규모 : 처리할 데이터 규모가 방대합니다. 고객 정보를 수집 및 분석을 장기간에 걸쳐 수행해야 하므로 처리해야 할 데이터양이 더욱더 방대해집니다. - 데이터 구조 : 비정형 데이터의 비중이 높습니다. 소셜 미디어 데이터, 로그 파일 스트림 데이터, 콜센터 로그 등 비정형 데이터 파일의 비중이 높다는 것에 포커스..