8. 빅데이터 처리 과정 기술 (3) 분석

빅데이터 분석 기술

(1) 텍스트 마이닝 Text Mining

- 자연어처리 NLP 기술로 인간의 언어로 쓰인 비정형 텍스트에서 유용한 정보를 추출하거나 다른 데이터와의 연계성을 파악하면, 분류나 군집화 등 빅데이터에 숨겨진 의미 있는 정보를 발견하는 분석방법입니다.

(2) 웹 마이닝 Web Mining

- 인터넷에서 수집한 정보를 데이터 마이닝 기법으로 분석합니다.

(3) 오피니언 마이닝 Opinion Mining 

- 평판 분석이라하며, 다양한 온라인 뉴스, SNS, 사용자가 만든 콘텐츠에서 표현된 의견을 추출, 분류, 이해와 자산화하는 컴퓨팅 기술입니다.

- 텍스트 속의 감성과 감동, 여러가지 감정 상태를 식별하려고 감성 분석을 사용합니다.

- 마케팅에서는 버즈 Buzz(입소문) 분석이라고도 불립니다.

(4) 리얼리티 마이닝 Reality Mining

- 휴대폰, 모바일 디바이스, 단말기 등의 기기를 사용하여 인간관계와 행동 양태 등을 추론합니다.

- 통화량, 통화 위치, 통화 상태, 대상, 내용 등을 분석하여 사용자의 인간관계, 행동 특성 등의 정보를 찾아냅니다.3

(5) 소셜네트워크 분석 Social Network Analysis

- 수학의 그래프 이론 Graph Theory 을 바탕으로 소셜 네트워크 서비스에서 소셜 네트워크 연결 구조와 연결 강도를 분석하여 사용자의 명성 및 영향력을 측정하는 기법입니다.

(6) 분류 Classification

- 미리 알려진 클래스들로 구분되는 훈련 데이터군을 학습시켜 새로 추가되는 데이터가 속할 만한 데이터군을 찾는 지도학습 방법입니다.

- 가장 대표적인 방법으로 KNN(K-Nearest Neighbor)과 인공신경망을 적용하는 방법이 있습니다.

(7) 군집화 Clustering

- 특성이 비슷한 데이터를 합쳐 군으로 군류하는 학습 방법입니다.

- 분류방법과는 다르게 훈련 데이터 군을 이용하지않는 비지도 학습 방법을 사용합니다.

- 트위터 등의 SNS에서 주로 사진/카메라를 농의하는 사용자군과 게임에 관심이있는 사용자군 등의 예시처럼 관심사나 취미에 따라 군집으로 분류할 수 있습니다.

(8) 기계학습 Machine Learning

- 인공지능 분야에서 인간의 학습을 모델링한 알고리즘으로 흔히아는 딥러닝 기법도 포함합니다.

- 컴퓨터가 학습할 수 있도록 알고리즘과 기술을 개발하여 수신한 이메일의 스팸여부과 같은 추상적이거나 특징(feaure)를 추출하기 어려운 경우 신경망으로 판단을 할 수 있도록 학습(훈련)을 합니다.

- 결정 트리 (Decision Tree) 등 기호적 학습, 신경망이나 유전자 알고리즘 등의 비기호적 학습, 베이지안 Bayesian 이나 은닉 마코프 Hidden Markov 등 확률적 학습 등 다양한 기법들이 있습니다.

(9) 감정 분석 Sentiment Analysis

- 문장의 의미를 파악하여 글의 내용에 긍정/부정, 좋음/나쁨의 이진 분류를 하거나, 만족/중간/불만족처럼 강도 지수화, 기럼 다음 이 지수를 이용한 고객의 감성 트렌드를 시계열적으로 분석하고 고객 감성 변화에 기업의 신속한 대응과 부정적인 의견의 확산을 방지하는 비즈니스 요구사항에 활용할 수 있습니다.

분석이라는 것은 몇가지로 정해져 있지 않습니다. 당연히 시스템 요구사항에 알맞게 분석 기법들을 조합하여 기대하는 결과를 얻기위해 노력을 하는 것입니다.