이끼의 생각

빅데이터 소스 생성과 수집 기술 1단계 데이터 소스의 생성과 2단계 수집을 위한 기술에 대해 설명하겠습니다. 내부 데이터를 수집하는 경우 자체적으로 보유한 내부 파일시스템, 데이터베이스 관리시스템 센서 등으로 정형 데이터를 수집합니다. 외부 데이터는 인터넷으로 연결된 외부의 이미지, 영상, 문서, 텍스트 등의 비정형 데이터를 수집합니다. 수집하는 기술은 다음과 같습니다. 방법 설명 로그 수집기 내부에 있는 웹서버 로그를 수집합니다. 웹로그, 트랜잭션 로그, 클릭 로그 ,DB 로그, 사용자 로그 등이 수집됩니다. 크롤링 주로 웹 로봇, 크롤링 프로그램으로 거미줄처럼 얽혀 있는 인터넷 링크를 따라다니며 방문한 웹사이트의 웹페이지라든가 소셜 데이터 등 인터넷에 공개되어 있는 데이터를 수집합니다. 센싱 각종 센..