Tag Archives: 데이터분석

데이터 분석 전문가라는 오해

오해

현 직장인 이베이코리아에서 AI팀 팀장을 맡게 되면서 가끔 주변으로부터 나의 전문성에 대한 섣부른 추측 또는 기대/시선을 받는 경우들이 종종 생기기 시작했다.

일반인들도, 심지어 인공지능 전문가라고 자처하는 사람들도 AI 기술을 딥러닝과 거의 등가 수준으로 인식하는 경우가 많고, 딥러닝 기술이 하루 아침에 생겨난 기술이 아니라 그 기반에 기존의 머신러닝 기법 / 선형대수 / 통계 등이 뒷받침하고 있다보니, AI 팀장이라는 사람에게는 이 모든 이미지가 오버랩되어 엄청난 데이터분석, 머신러닝, 딥러닝 전문가로 귀결되는 모양이다. R이나 파이썬에 능숙한 것으로 보이는 이미지는 덤.

그러나 실상 그렇지 않음은, 내가 참여했던 데이터분석이나 딥러닝 등 스터디 등에서 주구장창 퍼붓는 질문세례 등에서 여실히 드러난다. 개인적으로는 혼자 조용히 공부하는 것보다도 반복적인 질문과 발언/토론을 통해서 얻는 것이 더 많기 때문에 적극적으로 무지를 드러내는 편이다보니 더 그러한 것 같다.

현실

내 연구/실무 경험의 중심에는 구글의 지식그래프, 위키피디아를 구조화한 디비피디아 등으로 대표되는 시맨틱 기술(Semantic Technology)이 자리잡고 있다. 그 중에서도 지식표현(Knowledge Representation)과 이를 기반으로 한 추론기술 영역이다. 인공지능 기술에서 여전히 매우 중요한 위치를 차지하고 있음에도, 최근 인공지능 연구나 상용화 사례에서는 겉으로 드러나지 않거나 그 중요성을 이해하는 사람들이 많지 않다보니 채용이나 이직 시장에서 소위 ‘잘 나가는’ 전문성은 아니란 것이 문제라면 문제다. 게다가 이런 현실 탓에 이 기술에 대한 전문성을 스스로 갈고 닦을 수 있는 기회가 많지 않다보니, 이마저도 무뎌지고 있어 이 분야의 전문가라는 정체성을 내세우기 무색한 것이 현실이기도 하다.

그러나 지적 호기심도, 욕심도 많다보니 어설프나마 이것저것 공부한 덕에 이것저것 떠들어대다 보니(외부발표, 기고/저술 활동 등) 그럴듯해 보일 수는 있으나 진짜 전문가 앞에서는 터무니없는 수준임에도, 어느샌가 전문가라는 딱지가 하나둘씩 붙기 시작했다. 역설적이게도 그 부담스러움이 학습에 대한 동기부여가 되기도 했지만, 여러 방향에서 들이치는 기술변화의 급물살들을 막아내기란 현실적으로 녹록치 않았다.

정체성

AI팀 팀장으로 발령되고 세 달이 흐르면서 깨닫게 된 것은, 나의 장점이 특정 기술에 있는 것이 아니라 다음과 같은 측면에서 스스로 잘 해낼 수 있으리라는 자신감과 흥미를 갖고 있다는 사실이었다.

  1. 집요한 근본적 문제/해결과제 정의 (현업부서 관점)
  2. 이 문제를 해결하는데 필요한 기술요소와 접근법 도출 (기술부서 관점)
  3. 늘 해오던 방식이 아닌, 새롭고 창의적인 해결방안 제시 (문제해결 효율성, 사업적 관점)
  4. 이를 성취해 내기 위한 커뮤니케이션

어쩌면 일찌기 이를 알고 있었음에도 ‘기술 전문가’로 성장하고 싶다는 어설픈 욕심과, 이직 시장에서는 위와 같은 장점들은 객관적으로 어필하기 쉽지 않다는 현실이 스스로를 가로막고 있었는지도 모른다. 이제는 뭔가 ‘AI팀 팀장’이라고 하면 엄청난 기술 전문가여야만 할 것 같은, 스스로 짊어진 편견은 내려놓고 내가 가진 역량을 더 갈고 닦아야겠다는 결론을 얻게 되었다. 그리고 이것이 내게 팀장으로서 기대되는 역할이기도 할터다.

그럼에도

명함에 관리자 타이틀 올려두었다는 이유로, 비전문가들만 찾아다니며 입전문가가 되는 길은 절대 사양이다. 더 열심히 공부하고 적극적으로 무지를 드러내는 일은 내 스스로를 위해서도, 또한 더 많은 전문가들과 함께 세상에 위대한 흔적을 남기 위해서도 중요한 인생의 전략이다.

세상을 설명하는 방식

스크린샷 2013-06-17 오전 9.45.04

 

이 책에선 빅데이터 시대에는 인과성보다 상관성이 중요하다고 거듭 강조한다. 그러나 그 전제에는 인과성에 기초한 '이론'이 세상을 예측하기 위해 사용된다는 관점이 깔려있다. (물론 상관성도 하나의 이론이지만 여기서 이론은 사람이 직관적으로 납득할 수 있는 명백한 근거에 기초한 이론을 의미한다)

나는 기본적으로 이론은 하나님이 만든 세상을 사람의 방식으로 설명하기 위한 도구이지, '세상의 법칙'은 아니라고 믿는다. 물리적 공식에 의해 행성이 움직이는 것이 아니라 행성이 움직이는 방식을 물리적 공식으로 설명했을 뿐이다(진화론에 있어서도 마찬가지로, 발견된 것들을 기초로 일부 진화 현상을 설명할 수는 있겠지만, 단지 '論'으로 생물의 모든 현상과 창조까지를 설명하려는 시도는 위험하다고 생각한다). 이러한 점에서 위의 전제는 나의 사고방식에 위배된다고 할 수 있다. 

그러나 상관성에 대한 주장의 측면에 대해서는 동의한다. 인과성을 확인하기 위한 가설 생성 및 검증의 방식이 사람의 선입견이 개입할 가능성이 높다고 한다면, 이 책에서 주장하는 바와 같이 그러한 한계를 인정하고 상관성을 통해 데이터가 '결과를' 말하도록 하는 방식이 더 현실적이면서도 온당한 방식이 아닐까 싶다.

Continue reading