11. 빅데이터를 준비, 나의 생각

정보화 시대에서 데이터 시대로 넘어온 지금 방법론보다 데이터를 확보하고 데이터들에 숨은 가치를 끄집어 내는 것이 중요해졌다고 생각하네요.

데이터는 무한히 증가하고 이미 많은 데이터들이 저장되어있지만, 활용가능한 것들은 불확실하고 예측할 수 없습니다. 데이터의 영역을 상호 협력적으로 확장해야되죠.

빅데이터는 많이 데이터를 수집하는 것도 중요하지만 무엇을 분석 할지 명확한 목적의식과 숲과 나무를 모두 바라보는 통합적인 사고와 해석을 통해 이 거대한 시스템 활용할 수 있겁니다.

흔히들 하는 인공지능, AI, 머신러닝, 딥러닝 등 인간의 뇌가 반복적인 상황을 통해서 일정한 규칙을 찾아 학습을 하는 메커니즘을 모델링하였습니다. 구글이나 페이스북 등에서 훌륭한 인공지능 프레임워크들을 제공하지만, 그 누구도 학습할 데이터를 쉽게 오픈하거나 제공하지 않죠.

쉬운 예로, 알파고의 대국으로 인공지능이 여러분에서 적극활용되고 이를 위한 프레이워크, API, 논문 등의 방법론들을 쏟아져 나오지만, 알파고가 어떤 데이터들, 어떤 종류의 데이터셋을 학습했는지는 알파고의 엔지니어들 밖에 모르죠.

뿐만아니라 학습 데이터가 부족한 경우가 일반적으므로 미니배치, 적은 배치에서 학습 성능을 높이기 위한 딥러닝 등의 기법들이 계속해서 생겨나고 있습니다.

빅데이터와 인공지능은 어떻게 보면 하나라고도 애기할 수 있습니다.

수 억개의 데이터를 가장 효과적으로 분석할 수 있는 방법이 인공지능이며, 

인공지능을 학습하기 위해 질좋은 데이터를 확보하는 방법이 빅데이터 입니다.

 많은 사람들이 나만의 전문 분야를 찾아보고 선택을 한 후 실력과 경쟁력을 위해 깊게 파고들며 어느정도의 공부를 합니다. 왜나하면 전문가라는 스페셜리스트는 높은 생산성과 보장된 실력과 경쟁력을 보여주니까요.

하지만, 개인의 역량과 넓고 깊은 학문적 식견을 위해서는 관련된 영역들도 어느정도 알아야된다고 생각합니다. 제네럴 리스트는 똑똑해보이고 백과사전과 같이 지적여 보이지만 전문성이 없죠.

저는 전문성과 넓은 식견이 동반되어야, 지식과 학문을 편식하지 않아야 된다고 생각합니다.

인공지능을 위한 빅데이터, 빅데이터를 위한 인공지능. 양팔저울의 무게는 달라도 내려놓을 수는 없겠죠?