이끼의 생각

빅데이터 분석 기술 (1) 텍스트 마이닝 Text Mining- 자연어처리 NLP 기술로 인간의 언어로 쓰인 비정형 텍스트에서 유용한 정보를 추출하거나 다른 데이터와의 연계성을 파악하면, 분류나 군집화 등 빅데이터에 숨겨진 의미 있는 정보를 발견하는 분석방법입니다. (2) 웹 마이닝 Web Mining- 인터넷에서 수집한 정보를 데이터 마이닝 기법으로 분석합니다. (3) 오피니언 마이닝 Opinion Mining - 평판 분석이라하며, 다양한 온라인 뉴스, SNS, 사용자가 만든 콘텐츠에서 표현된 의견을 추출, 분류, 이해와 자산화하는 컴퓨팅 기술입니다.- 텍스트 속의 감성과 감동, 여러가지 감정 상태를 식별하려고 감성 분석을 사용합니다.- 마케팅에서는 버즈 Buzz(입소문) 분석이라고도 불립니다. (4..

반지도 학습(Semisupervised learning) 지도학습, 비지도학습, 강화학습은 대표적인 기계학습 방법들로 많은 분야에서 활용됩니다. 이번엔 많이 사용되지 않는 반지도 학습에 대해 짧게 설명을 드리겠습니다. 레이블이 있는 데이터와 없는 데이터 모두를 활용해서 학습하는 것인데, 대개의 경우는 다수의 레이블 없는 데이터를 약간의 레이블 있는 데이터로 보충해서 학습하는 종류의 문제를 다룹니다. 머신러닝 알고리즘 머신러닝은 학습하려는 문제의 유형에 따라 크게 지도 학습, 비지도 학습, 그리고 강화 학습으로 나눌 수 있습니다. 그리고 각 학습 방법들은 상황에 맞는 다양한 알고리즘을 사용하여 구현할 수 있습니다. 다음은 머신러닝 학습에서 사용되는 대표적인 알고리즘입니다. 1. 서포트 벡터 머신(Suppo..

강화 학습(Reinforcement Learning) 위의 두 문제의 분류는 지도의 여부에 따른 것이었는데, 강화학습은 조금 다릅니다. 지도 학습과 비지도 학습이 학습 데이터가 주어진 상태에서 환경에 변화가 없는 정적인 환경에서 학습을 진행했다면, 강화 학습은 어떤 환경 안에서 정의된 주체(agent)가 현재의 상태(state)를 관찰하여 선택할 수 있는 행동(action)들 중에서 가장 최대의 보상(reward)을 가져다주는지 행동이 무엇인지를 학습하는 것입니다. 즉, 현재의 상태(State)에서 어떤 행동(Action)을 취하는 것이 최적인지를 학습하는 것입니다. 강화 학습은 주체(agent)가 환경으로부터 보상을 받음으로써 학습하기 때문에 지도 학습과 유사해 보이지만, 사람으로부터 학습을 받는 것이..

비지도 학습(Unsupervised Learning) 선생님이 문제와 함께 정답(레이블)까지 알려주는 지도 학습과는 달리 비지도 학습(Unsupervised Learning)은 문제는 알려주되 정답까지는 알려주지 않는 학습 방식입니다. 즉, 여러 문제를 학습함으로써 해당 데이터의 패턴, 특성 및 구조를 스스로 파악하여, 이를 통해 새로운 데이터에서 일정한 규칙성을 찾는 방법입니다. 비지도 학습은 구체적인 결과에 대한 사전 지식은 없지만 해당 결과 데이터를 통해 유의미한 지식을 얻고자 할 때 사용되며, 사람도 제대로 알 수 없는 본질적인 문제나 데이터에 숨겨진 특징이나 구조 등을 연구할 때 많이 활용됩니다. 사람 없이 컴퓨터가 스스로 레이블 되어 있지 않은 데이터에 대해 학습하는 것. 즉 y없이 x만 이용..

머신러닝의 분류 머신러닝은 학습하려는 문제의 유형에 따라 크게 다음과 같은 세 가지로 분류할 수 있습니다. 1. 지도 학습(Supervised Learning) 2. 비지도 학습(Unsupervised Learning) 3. 강화 학습(Reinforcement Learning) 지도 학습(Supervised Learning) 지도 학습(Supervised Learning)이란 간단히 말해 선생님이 문제를 내고 그 다음 바로 정답까지 같이 알려주는 방식의 학습 방법입니다. 즉, 여러 문제와 답을 같이 학습함으로써 미지의 문제에 대한 올바른 답을 예측하고자 하는 방법입니다. 따라서 지도 학습을 위한 데이터에는 문제와 함께 그 정답까지 함께 알고 있는 데이터가 선택됩니다. 예를 들어, “장미꽃이 찍혀 있는 이..

과거에는 인공지능을 개발할 때 해당 분야의 전문가들이 만든 많은 양의 샘플들을 데이터베이스화하여 자료들을 일일이 수작업으로 컴퓨터에 직접 등록하는 방법을 사용했습니다. 하지만 이러한 방법은 대부분의 작업이 사람의 손을 거쳐야 하므로 필연적으로 많은 노력과 비용이 발생하게 됩니다. 또한, 시대가 발전함에 따라 사람조차 명확하게 구분할 수 없는 지식(no explicit knowledge)을 구현해야 하거나, 사람이 일일이 구현하기에는 너무 많은 양의 규칙들이 필요한 경우가 생겨나기 시작합니다.이러한 경우에 사용할 수 있도록 고안된 방법이 바로 머신러닝(Machine Learning)입니다. 머신러닝(Machine Learning)이란? 기계학습이라고도 불리는 머신러닝은 컴퓨터를 인간처럼 학습시킴으로써 인간..

인공지능(Artificial Intelligence, AI) 인공지능이란 인간이 가지고 있는 지적 능력을 컴퓨터에서 구현하는 다양한 기술이나 소프트웨어, 컴퓨터 시스템 등을 가리키며, 알파고의 등장으로 4차 산업혁명의 메인 화두 중 하나로 손꼽히고 있습니다. 이러한 인공지능 기술의 발전은 신속하고 강력한 병렬 처리 기능을 제공하는 그래픽 처리 장치(GPU)의 도입과 폭발적으로 늘어나고 있는 빅데이터를 바탕으로 더욱 가속화되고 있는 추세입니다. 이러한 인공지능(AI) 분야는 딥러닝과 머신러닝보다 훨씬 더 큰 포괄적인 분야라고 할 수 있습니다. 머신러닝(Machine Learning) 머신러닝은 컴퓨터를 인간처럼 학습시킴으로써 컴퓨터가 새로운 규칙을 생성할 수 있지 않을까 하는 시도에서 시작되었습니다. 이처..

구현 수준 및 접근 모델 어떤 수준까지 지능을 구현할 것인지에 따라 강한 AI(Strong AI)와 약한 AI(Weak AI) 두 가지 관점으로 나누어 생각할 수 있습니다. 강한 AI는 컴퓨터가 자각(consciousness)을 가질 수 있도록 프로그래밍 될 수 있는 것입니다. 즉, 적절한 프로그램만 있으면 컴퓨터도 사람처럼 자각적인 사고를 할 수 있도록 만들 수 있다는 수준의 구현 방법을 말합니다. 결국 인간이 가지고 있는 정신도 컴퓨터에 의해 복제될 수 있다는 의미를 내포하고 있습니다. 반면에, 약한 AI는 컴퓨터가 인간이 가지고 있는 지능적 행위를 보이도록 프로그래밍이 될 수 있다는 것입니다. 즉, 컴퓨터에게 자각적인 사고나 생각이라는 것은 필요 없고, 단지 인간이 행동하거나 사고하는 것처럼 흉내 ..