이끼의 생각

정보화 시대에서 데이터 시대로 넘어온 지금 방법론보다 데이터를 확보하고 데이터들에 숨은 가치를 끄집어 내는 것이 중요해졌다고 생각하네요. 데이터는 무한히 증가하고 이미 많은 데이터들이 저장되어있지만, 활용가능한 것들은 불확실하고 예측할 수 없습니다. 데이터의 영역을 상호 협력적으로 확장해야되죠. 빅데이터는 많이 데이터를 수집하는 것도 중요하지만 무엇을 분석 할지 명확한 목적의식과 숲과 나무를 모두 바라보는 통합적인 사고와 해석을 통해 이 거대한 시스템 활용할 수 있겁니다. 흔히들 하는 인공지능, AI, 머신러닝, 딥러닝 등 인간의 뇌가 반복적인 상황을 통해서 일정한 규칙을 찾아 학습을 하는 메커니즘을 모델링하였습니다. 구글이나 페이스북 등에서 훌륭한 인공지능 프레임워크들을 제공하지만, 그 누구도 학습할 ..

맥킨지에서 제시한 빅데이터 활용 분야 활용 분야 •공공분야 - 국가적 차원에서 방대한 양의 데이터로 수자원 관리, 스마트그리드, 재난방재 영역 등을 포괄적으로 포함. •과학분야 – 산발적으로 흩어진 과학데이터를 국가차원에서 수집, 가공, 유통, 재활용할 수 있는 기반을 마련 •의료분야 - 의료기록의 전자화, 병원 간 연구데이터 공유로 빅데이터도입과 활용이 확대 됨 •도소매분야 – 이미 데이터를 활용 중이며 빅데이터 분석으로 수요 예측 및 선제적 경영 지원에 초점을 둠 •제조분야 – 보유 데이터양이 많고, 불량품 개선 비용 등 적용효과를 계량화하여 빅데이터의 유용성을 확인할 수 있는 분야 •정보통신분야 – 이동통신의 발전과 개인단말기의 증가로 생성된 디지털공간의 개인데이터로 목표마케팅, 개인화 서비스 확대..

빅데이터 표현 기술 분서결과물이라는 데이터들 그대로 표현을 할 수 있지만, 데이터들의 수치 등을 이용하여 도식화할 수 있으며, 디자인적인 요소를 결합하여 인포그래픽 등 수많은 방법들로 표현할 수 있습니다. 이렇게 표현하기 위해서 여러가지 툴을 사용할 수 있었는데 전편에서 계속 설명드린 R, 최근 떠오르는 언어인 Python의 Plot 모듈로 그래프 표현이 가능합니다. 표현단계는 개발자, 엔지니어들만의 작업 영역이 아닌 그 비즈니스 시스템의 이해관계자들의 공동의 작업도 필요합니다.

빅데이터 분석 기술 (1) 텍스트 마이닝 Text Mining- 자연어처리 NLP 기술로 인간의 언어로 쓰인 비정형 텍스트에서 유용한 정보를 추출하거나 다른 데이터와의 연계성을 파악하면, 분류나 군집화 등 빅데이터에 숨겨진 의미 있는 정보를 발견하는 분석방법입니다. (2) 웹 마이닝 Web Mining- 인터넷에서 수집한 정보를 데이터 마이닝 기법으로 분석합니다. (3) 오피니언 마이닝 Opinion Mining - 평판 분석이라하며, 다양한 온라인 뉴스, SNS, 사용자가 만든 콘텐츠에서 표현된 의견을 추출, 분류, 이해와 자산화하는 컴퓨팅 기술입니다.- 텍스트 속의 감성과 감동, 여러가지 감정 상태를 식별하려고 감성 분석을 사용합니다.- 마케팅에서는 버즈 Buzz(입소문) 분석이라고도 불립니다. (4..

3단계 처리 단계에서 사용되는 기술들과 기법들에 대해 알려드리겠습니다. 빅데이터 처리 기술들 • 맵리듀스 ‒분산 병렬 데이터처리 기술의 표준, 일반 범용 서버로 구성된 군집화시스템을 기반으로 입력데이터 분할 처리 및 처리 결과 통합 기술, job 스케줄링 기술, 작업분배 기술, 태스크 재수행 기술 이 통합된 분산컴퓨팅 기술입니다. • R ‒R 언어와 개발환경으로 기본적인 통계 기법부터 모델링, 최신 데이터 마이닝 기법까지 구현 및 개선이 가능합니다.- R언어는 통계용 언어로 데이터를 처리, 분석, 시각화에 모두 사용할 수 있습니다. • 하둡‒정형·비정형 빅데이터 분석에 가장 선호되는 솔루션입니다.- 하둡을 기반한 하둡 에코시스템을 구축하여 Zookeeper(주키퍼), Oozie(우지), Avro(에이브로..

빅데이터 소스 생성과 수집 기술 1단계 데이터 소스의 생성과 2단계 수집을 위한 기술에 대해 설명하겠습니다. 내부 데이터를 수집하는 경우 자체적으로 보유한 내부 파일시스템, 데이터베이스 관리시스템 센서 등으로 정형 데이터를 수집합니다. 외부 데이터는 인터넷으로 연결된 외부의 이미지, 영상, 문서, 텍스트 등의 비정형 데이터를 수집합니다. 수집하는 기술은 다음과 같습니다. 방법 설명 로그 수집기 내부에 있는 웹서버 로그를 수집합니다. 웹로그, 트랜잭션 로그, 클릭 로그 ,DB 로그, 사용자 로그 등이 수집됩니다. 크롤링 주로 웹 로봇, 크롤링 프로그램으로 거미줄처럼 얽혀 있는 인터넷 링크를 따라다니며 방문한 웹사이트의 웹페이지라든가 소셜 데이터 등 인터넷에 공개되어 있는 데이터를 수집합니다. 센싱 각종 센..

전 편에서 빅데이터 처리에 관한 특징들과 간단한 처리과정에 대해 알아보았습니다.이번엔 조금 더 자세함 처리과정과 여기서 필요한 기술들에 대해 설명하겠습니다. 빅데이터 처리 과정과 기술들 마지막으로 빅데이터 인프라의 아키텍쳐가 되는 처리과정과 기술에 대해 설명해드리겠습니다. 1단계 [데이터소스] : (1)DBMS나 시스템의 내부데이터 그리고 (2) SNS 등의 소셜미디어, 공공데이터와 같은 데이터웨어하우스 등의 외부데이터, (3) 이미지, 영상 등의 미디어들이 처리를 위한 소스가 됩니다. 2단계 [수집] : 비즈니스 목적에 알맞은 데이터 소스를 수집합니다. 시스템이나 소프트웨어를 이용하여 로그를 수집하거나, 크롤링, 하드웨어를 이용한 세싱이 있습니다. 3단계 [저장] : 수집한 데이터들은 정형, 비정형, ..

빅데이터 처리의 속성 빅데이터, 엄청난 크기의 데이터셋을 처리하는 빅데이터 처리의 속성들을 알아보겠습니다. - 의사 결정 속도 : 빠른 의 결정이 상대적으로 덜 요구되어 장기적, 전략적인 접근이 필요합니다. - 처리복잡도 : Processing Complexity, 다양한 데이터 소스, 복잡한 로직 처리, 대용량 데이터 처리로 처리 복잡도가 높아 분산 처리 기술이 필요한 지 판단합니다. - 데이터 규모 : 처리할 데이터 규모가 방대합니다. 고객 정보를 수집 및 분석을 장기간에 걸쳐 수행해야 하므로 처리해야 할 데이터양이 더욱더 방대해집니다. - 데이터 구조 : 비정형 데이터의 비중이 높습니다. 소셜 미디어 데이터, 로그 파일 스트림 데이터, 콜센터 로그 등 비정형 데이터 파일의 비중이 높다는 것에 포커스..