이끼의 생각

보호되어 있는 글입니다.

이번 편은 장고의 데이터베이스 연결하여 데이터를 저장하는 방법을 알아보겠습니다. 쿼리셋(QuerySets) 이란? 쿼리셋(QuerySets)은 전달받은 모델의 객체 목록을 말합니다. 쿼리셋은 데이터베이스로부터 데이터를 읽고, 필터를 걸거나 정렬 등을 할 수 있습니다. 이제부터 블로그 앱 예제와 함께 실습해보겠습니다. 장고 쉘 로컬 콘솔을 열고 아래의 명령어를 입력하세요. > python manage.py shell //스샤 명령어가 실행되면 아래처럼 나올겁니다. (InteractiveConsole)>>> 여러분은 이제 장고 인터랙티브 콘솔(interactive console)로 들어왔습니다. 파이썬 프롬프트와 비슷하지만, 장고만의 마법을 부릴 수 있는 곳이기도 하지요. 물론 파이썬의 모든 명령어를 여기서..

정보화 시대에서 데이터 시대로 넘어온 지금 방법론보다 데이터를 확보하고 데이터들에 숨은 가치를 끄집어 내는 것이 중요해졌다고 생각하네요. 데이터는 무한히 증가하고 이미 많은 데이터들이 저장되어있지만, 활용가능한 것들은 불확실하고 예측할 수 없습니다. 데이터의 영역을 상호 협력적으로 확장해야되죠. 빅데이터는 많이 데이터를 수집하는 것도 중요하지만 무엇을 분석 할지 명확한 목적의식과 숲과 나무를 모두 바라보는 통합적인 사고와 해석을 통해 이 거대한 시스템 활용할 수 있겁니다. 흔히들 하는 인공지능, AI, 머신러닝, 딥러닝 등 인간의 뇌가 반복적인 상황을 통해서 일정한 규칙을 찾아 학습을 하는 메커니즘을 모델링하였습니다. 구글이나 페이스북 등에서 훌륭한 인공지능 프레임워크들을 제공하지만, 그 누구도 학습할 ..

맥킨지에서 제시한 빅데이터 활용 분야 활용 분야 •공공분야 - 국가적 차원에서 방대한 양의 데이터로 수자원 관리, 스마트그리드, 재난방재 영역 등을 포괄적으로 포함. •과학분야 – 산발적으로 흩어진 과학데이터를 국가차원에서 수집, 가공, 유통, 재활용할 수 있는 기반을 마련 •의료분야 - 의료기록의 전자화, 병원 간 연구데이터 공유로 빅데이터도입과 활용이 확대 됨 •도소매분야 – 이미 데이터를 활용 중이며 빅데이터 분석으로 수요 예측 및 선제적 경영 지원에 초점을 둠 •제조분야 – 보유 데이터양이 많고, 불량품 개선 비용 등 적용효과를 계량화하여 빅데이터의 유용성을 확인할 수 있는 분야 •정보통신분야 – 이동통신의 발전과 개인단말기의 증가로 생성된 디지털공간의 개인데이터로 목표마케팅, 개인화 서비스 확대..

빅데이터 표현 기술 분서결과물이라는 데이터들 그대로 표현을 할 수 있지만, 데이터들의 수치 등을 이용하여 도식화할 수 있으며, 디자인적인 요소를 결합하여 인포그래픽 등 수많은 방법들로 표현할 수 있습니다. 이렇게 표현하기 위해서 여러가지 툴을 사용할 수 있었는데 전편에서 계속 설명드린 R, 최근 떠오르는 언어인 Python의 Plot 모듈로 그래프 표현이 가능합니다. 표현단계는 개발자, 엔지니어들만의 작업 영역이 아닌 그 비즈니스 시스템의 이해관계자들의 공동의 작업도 필요합니다.

빅데이터 분석 기술 (1) 텍스트 마이닝 Text Mining- 자연어처리 NLP 기술로 인간의 언어로 쓰인 비정형 텍스트에서 유용한 정보를 추출하거나 다른 데이터와의 연계성을 파악하면, 분류나 군집화 등 빅데이터에 숨겨진 의미 있는 정보를 발견하는 분석방법입니다. (2) 웹 마이닝 Web Mining- 인터넷에서 수집한 정보를 데이터 마이닝 기법으로 분석합니다. (3) 오피니언 마이닝 Opinion Mining - 평판 분석이라하며, 다양한 온라인 뉴스, SNS, 사용자가 만든 콘텐츠에서 표현된 의견을 추출, 분류, 이해와 자산화하는 컴퓨팅 기술입니다.- 텍스트 속의 감성과 감동, 여러가지 감정 상태를 식별하려고 감성 분석을 사용합니다.- 마케팅에서는 버즈 Buzz(입소문) 분석이라고도 불립니다. (4..

3단계 처리 단계에서 사용되는 기술들과 기법들에 대해 알려드리겠습니다. 빅데이터 처리 기술들 • 맵리듀스 ‒분산 병렬 데이터처리 기술의 표준, 일반 범용 서버로 구성된 군집화시스템을 기반으로 입력데이터 분할 처리 및 처리 결과 통합 기술, job 스케줄링 기술, 작업분배 기술, 태스크 재수행 기술 이 통합된 분산컴퓨팅 기술입니다. • R ‒R 언어와 개발환경으로 기본적인 통계 기법부터 모델링, 최신 데이터 마이닝 기법까지 구현 및 개선이 가능합니다.- R언어는 통계용 언어로 데이터를 처리, 분석, 시각화에 모두 사용할 수 있습니다. • 하둡‒정형·비정형 빅데이터 분석에 가장 선호되는 솔루션입니다.- 하둡을 기반한 하둡 에코시스템을 구축하여 Zookeeper(주키퍼), Oozie(우지), Avro(에이브로..

빅데이터 소스 생성과 수집 기술 1단계 데이터 소스의 생성과 2단계 수집을 위한 기술에 대해 설명하겠습니다. 내부 데이터를 수집하는 경우 자체적으로 보유한 내부 파일시스템, 데이터베이스 관리시스템 센서 등으로 정형 데이터를 수집합니다. 외부 데이터는 인터넷으로 연결된 외부의 이미지, 영상, 문서, 텍스트 등의 비정형 데이터를 수집합니다. 수집하는 기술은 다음과 같습니다. 방법 설명 로그 수집기 내부에 있는 웹서버 로그를 수집합니다. 웹로그, 트랜잭션 로그, 클릭 로그 ,DB 로그, 사용자 로그 등이 수집됩니다. 크롤링 주로 웹 로봇, 크롤링 프로그램으로 거미줄처럼 얽혀 있는 인터넷 링크를 따라다니며 방문한 웹사이트의 웹페이지라든가 소셜 데이터 등 인터넷에 공개되어 있는 데이터를 수집합니다. 센싱 각종 센..