1. 인기 폭발! 데이터 과학자
요즘 뭐 난리죠. 채용공고를 보면 여기저기서 데이터 사이언티스트들을 구하려고 난리입니다. 물론 좋은 기술이고 합리적인 예측모델을 만드는데 현재 이것보다 더 좋은 기술은 없습니다. 가끔 뉴스에도 나오잖아요.. "트럼프 당선.. 인공지능은 알고 있었다.." 이런 기사들.. 그만큼 사람이 예측하는 것과는 차원이 다른 방대한 양의 데이터로 학습합니다.
2. 그럼 데이터 과학자들은 뭘 하나요?
우선 아래 2개 그림을 보세요.
간단히 정리하면,
- 데이터 엔지니어가 초기 가공된 데이터를 분석가에게 줌
- 분석가는 유의미한 데이터를 찾아 재가공하여 과학자에게 줌
- 사업적 목표에 맞게 올바른 알고리즘을 설계하고 분석하여 그 분석된 데이터를 다시 엔지니어에게 줌
- 엔지니어는 그걸 토대로 기계학습을 시키고 실제 사업에 접목시킬 방법을 찾음
완벽해 보이지만,
- 사실 데이터를 모아도 실제 우리 생활에 영향을 줄만 한 유의미한 데이터를 찾기는 하늘에 별따기
- 유의미하다고 생각해도 막상 실험해보면 쓰레기들 천지
- 데이터로 시작해서 데이터로 끝나는데 그 데이터 신뢰도가 낮으면 나오는 신뢰도도 낮음
- 삽질하기 시작하면 계속 성과 없을 수 있음
- 나 혼자 노력한다고 되는 일이 아님
- 일주일에 몇 편씩 나오는 논문 읽고 내 것으로 만드는 것만으로도 시간이 부족함
... 성과가 있을리가..?
대기업버전은 대기업 모두가 저렇게 쓰는건 아니고요. 쿠팡, 네이버, 아마존, 우버 등 데이터 분석 자체가 매출로 연계되는 그런 사업일 경우 저런 큰 조직을 대체로 가지고 있고, IOT가 제외된 제조 / 생산 기반일 경우 앞에 언급한 회사들보다는 작은 규모로 가지고 있을 가능성이 높습니다.
근데 소규모 회사들은, 데이터 엔지니어들이 고군분투 하면서 모든 것을 다하기 위한 노력을 지금도 하고 있습니다.(파이팅.. ㅜㅜ)
3. 데이터 과학자, 기술자, 분석가 님들. 이런 곳 믿고 거르세요. (AI스타트업 제외)
학력 안봐요.
물론, 구글이 괴물같은 텐서플로우를 풀어놓는 바람에 많은 사람들이 AI에 쉽게 접할 수 있게 되었습니다. 그래도,학력을 안본다니? 제대로 된 회사의 제대로 된 AI팀은 박사50%, 석사45%, 학사 5%입니다. 대체적으로.. 초대졸이상 이라고 써있는 곳은 AI엔지니어 직함 주고 다른 일 시킬...;; 근데 학벌 안보고 경력본다고 하는 곳은 괜찮습니다. (좋은 커리어가 있으시다면), 그리고... IT 종사자중 가장 많이 학벌 보는 직종이 바로 이겁니다. ㅜㅜ 현 종사자님들은 모두가 인정할거에요.
연봉 7000만원 이하
성과급 포함 6500만원이다. 언제 짤릴 지도 모르는 포지션, 언제 없어질지 모르는 포지션에.. 너무하네? 인공지능파트는 프로덕트 파트도 아니고 개발 파트도 아닌 애매한 위치에 있습니다. 아직 성숙이 덜 되서. 당장 없어져도 회사에는 별 타격이 없어요. 미래를 위한 산업입니다. 그리고 좋은 데이터 과학자들은, 통계학 학사, 수학 석사, 개발 경력을 가지게 됩니다. 저 연봉은 너무 작죠.
면접에서 물어봤는데 팀에 통계학, 수학 전공자가 없다?
이건 믿고 거릅니다. 인공지능을 멋으로 하는 곳이에요.
혁신 스타트업은 아닌것 같은데 난생 처음 들어봤고, 검색도 잘 안된다.
여기서는 분석할 데이터가 있을리가 없습니다.
코딩 이나 SQL 실력만 본다.
데이터 과학은 코딩과 SQL 등 기술적 역량만큼 비지니스 분석 역량도 중요합니다. 타고난 센스를 봐야해요.
4. 빅데이터, 인공지능, 머신러닝.. 이게 다 뭐죠?
물론 세세하게 분석하면 어떤 범위가 더 클 수도 세분화 될 수 도 있고, 다를 수도 있지만, 현실에선 같습니다. 인공지능 안에는 딥러닝과 머신러닝, 이렇게 크게 2개의 트리가 있는데, 딥러닝과 머신러닝 2가지만 다를 뿐 그냥 저걸 다 같이 하나라고 인식하고 단어를 사용하시더라구요.
차이는..
- 2010년.. 인공지능이란 말이 들어가니까 투자를 받았어!!
- 2015년.. 빅데이터라는 말이 들어가니까 투자를 받았어!!
- 2020년.. 머신러닝이란 말이 들어가니까 투자를 받았어!!
5. 향후 커리어.
아직 정착되지 않은 분야입니다.
많은 성숙단계를 거쳐야 합니다. 비지니스로직에 빠삭하시고 탁월한 감각이 있으신 분들은 제품개발쪽으로 가시기도 하고, 아니면 엔지니어 쪽으로 돌아서시기도 하는 것 같습니다. 이 말은, 그 사이에 어딘가를 애매하게 줄을 타고 있는 분야라고 생각합니다. 조금 더 성숙하면 나아지겠지요.
6. 무엇을 공부해야 하나요?
- 선형 회귀, 랜덤 포레스트 등 통계적, 수학적으로 많이 공부해야 합니다. 안그러면 텐서플로우 가지고 노는 개발자들에게 잡아 먹힐 겁니다.
- 영어 무조건 잘해야 합니다. 논문 읽으셔야 해요. 아직 밝혀지지 않은 미지의 영역이 많습니다.
- 학원을 다니던 뭘 하던 해서 개본개념을 확실히 익히세요.
- 센스. 제가 아무리봐도 ML(Machine Learning)쪽은 타고 나야 할 것 같아요. 타고 난 사람들은 ML엔지니어가 아니라도 갑자기 툭 던지는 주옥같은 의견을 내어 주시더라고요.
하지만, 뭐니 뭐니 해도.
무조건, 대학원..
데이터 사이언스를 가르치는 학원들이 많이 생겼네요. 보니까. 극강 자본주의 사회에서는 어디나 마찬가지겠지만, 이 분야도, 입사 후 지속적 노력을 하지 않는 자들에게 밝은 미래를 주지는 않습니다.
7. 여담
절대 인공지능을 폄하하는 것은 아닙니다. 너무 너무 너무 좋아요. 저도 너무 좋아 하는 기술입니다. 근데, 진입장벽이 너무 높아요. TensorFlow를 사용할 줄 알고, Keras, Pandas를 사용할 줄 안다고 그게 데이터 사이언티스트가 아닙니다. 진짜 중요한건 남의 알고리즘을 쓰지않고 내 알고리즘을 만들 줄 알아야 .. 진정한 데이터 과학자라 생각합니다. 그냥 제가 하고 싶은 말은.. 지금 다시고 계신 학원에서 듣는 장미빛 미래를 비판적인 시각으로 바라보시고, 현실은 엄청 치열하다. 이런 느낌.. 입니다. =)
