이끼의 생각

빅데이터 분석 기술 (1) 텍스트 마이닝 Text Mining- 자연어처리 NLP 기술로 인간의 언어로 쓰인 비정형 텍스트에서 유용한 정보를 추출하거나 다른 데이터와의 연계성을 파악하면, 분류나 군집화 등 빅데이터에 숨겨진 의미 있는 정보를 발견하는 분석방법입니다. (2) 웹 마이닝 Web Mining- 인터넷에서 수집한 정보를 데이터 마이닝 기법으로 분석합니다. (3) 오피니언 마이닝 Opinion Mining - 평판 분석이라하며, 다양한 온라인 뉴스, SNS, 사용자가 만든 콘텐츠에서 표현된 의견을 추출, 분류, 이해와 자산화하는 컴퓨팅 기술입니다.- 텍스트 속의 감성과 감동, 여러가지 감정 상태를 식별하려고 감성 분석을 사용합니다.- 마케팅에서는 버즈 Buzz(입소문) 분석이라고도 불립니다. (4..

전 편에서 빅데이터 처리에 관한 특징들과 간단한 처리과정에 대해 알아보았습니다.이번엔 조금 더 자세함 처리과정과 여기서 필요한 기술들에 대해 설명하겠습니다. 빅데이터 처리 과정과 기술들 마지막으로 빅데이터 인프라의 아키텍쳐가 되는 처리과정과 기술에 대해 설명해드리겠습니다. 1단계 [데이터소스] : (1)DBMS나 시스템의 내부데이터 그리고 (2) SNS 등의 소셜미디어, 공공데이터와 같은 데이터웨어하우스 등의 외부데이터, (3) 이미지, 영상 등의 미디어들이 처리를 위한 소스가 됩니다. 2단계 [수집] : 비즈니스 목적에 알맞은 데이터 소스를 수집합니다. 시스템이나 소프트웨어를 이용하여 로그를 수집하거나, 크롤링, 하드웨어를 이용한 세싱이 있습니다. 3단계 [저장] : 수집한 데이터들은 정형, 비정형, ..

빅데이터 처리의 속성 빅데이터, 엄청난 크기의 데이터셋을 처리하는 빅데이터 처리의 속성들을 알아보겠습니다. - 의사 결정 속도 : 빠른 의 결정이 상대적으로 덜 요구되어 장기적, 전략적인 접근이 필요합니다. - 처리복잡도 : Processing Complexity, 다양한 데이터 소스, 복잡한 로직 처리, 대용량 데이터 처리로 처리 복잡도가 높아 분산 처리 기술이 필요한 지 판단합니다. - 데이터 규모 : 처리할 데이터 규모가 방대합니다. 고객 정보를 수집 및 분석을 장기간에 걸쳐 수행해야 하므로 처리해야 할 데이터양이 더욱더 방대해집니다. - 데이터 구조 : 비정형 데이터의 비중이 높습니다. 소셜 미디어 데이터, 로그 파일 스트림 데이터, 콜센터 로그 등 비정형 데이터 파일의 비중이 높다는 것에 포커스..