요즘 유행하는 AI 면접의 실체 (feat. 마이다스아이티)

요즘 채용 시장에서는 AI 면접이 인기다. 그런데 사람들이 이 ✌AI 면접✌라는 단어를 사용하는 걸 보면 애초에 개념에 대한 오해가 좀 있는 것 같기도 하고, 정작 그 원리(?)를 모른 채 용어만 남발하는 경우가 많은 것 같다.

유튜브에는 “AI 면접 완벽 분석!”이라면서 말도 안 되는 얘기들이 넘쳐나고 있고, AI면접이라는 용어나 기술만 앞세워 어이없는 채용 솔루션을 내놓는 회사들의 이야기도 들려오길래…

나도 (비록 그리 길지 않은 경력이지만) 채용 인성검사도 개발해보고, 머신러닝 알고리즘도 적용해 본 입장에서 대체 이 AI 면접이 무엇이고 어떤 원리인지, 어떤 문제점이나 한계가 있는지에 대한 주관적인 의견을 좀 남겨봐야겠다.

그리고 본 포스팅에서는 현재 AI 면접이라는 형태의 채용 솔루션 시장을 선도하고 있는 마이다스아이티의 솔루션을 중심으로 설명을 할 수밖에 없을 것 같다.

마이다스아이티 채용솔루션 공식 홈페이지: https://www.midashri.com/

참고로 이 마이다스아이티 솔루션의 정식 명칭은 ‘AI 면접’이 아니라 ‘AI 역량 검사’다. 그거나 그거나.

본 포스팅에서는 그냥 AI 면접이라 부르겠다.


대체 AI 면접이 무엇인가

애초에 AI 면접이라는 단어에 합의된 정의 같은 건 없다. 인공지능 면접? 결국엔 사람(자연인)이 아닌 인공지능이 그동안 채용 장면에서 이루어진 면접을 대신 본다는 얘기인데… 이런 표현은 너무 광범위하니 사람들이 헷갈려하는 개념을 가지고 다시 설명할 필요가 있다.

개념 정리 1. 전통적인 인적성 검사 vs 게임 기반 인적성 검사

마이다스아이티 AI 면접 솔루션을 보면 아래와 같이 “게임”을 가지고 지원자의 무언가를 파악한다는 얘기가 나온다.

출처: https://www.midashri.com/

이렇게 게임으로 인적성검사를 보는 게 AI 면접일까? 아니다. 이건 그냥 게임일 뿐이다. Gamifiacion(게이미피케이션)은 일종의 과제를 게임의 형태로 만들어서 제시하는 것이기 때문에 인공지능은 Gamificition과 본질적으로 관계가 없다.

전통적인 설문지 방식의 인성 검사나 시험 문제 푸는 것 같은 적성 검사 방식을 탈피하기 위해 이런 전략을 사용하는 거다. 게임을 수행하는 장면에서 그 사람의 성격이나 능력이 드러난다는 가정, 그리고 이를 뒷받침하는 연구 결과가 있기 때문이다.

개인적으로 Gamification은 매우 훌륭한 시험 방식이고 마이다스아이티도 (일단 겉에서 보기에는) 정말 잘 구현했다고 생각한다. 개발하기 위해 얼마나 많은 땀과 눈물이 들어갔을지… 개발에 참여한 사람들에게 박수를 보내주고 싶다.

다만 개인적으로 좀 거슬리는(?) 부분이 있는데…

자꾸 “뇌신경과학”이라는 표현을 강조한다.

FAQ: “AI 역량 분석 게임에 활용되는 뇌신경과학 기술은 무엇인가요?”

전전두엽(Prefrontal Cortex) 어쩌구 강조하는데… 아니 전전두엽이 인간의 인지 및 사고에 있어서 굉장히 고급의 역할을 담당하고 정보를 처리를 하는 역할을 하는 영역인 것은 알겠는데……

그게 검사, 게임이랑 무슨 상관인지 모르겠다. 좀 당황스럽다. 실제로 뇌를 스캔하는 것도 아니고. 차라리 AI면접 솔루션에 있는 게임보다 스타크래프트나 롤 같은 게임을 할 때 전전두엽은 오히려 더 활성화될 거다.

아무튼 뇌신경과학과 전전두엽이라는 표현을 자꾸 전면에 내세우는 건 그런 용어와 전문지식에 무지한 사람들에게 어필하기 위한 마케팅 용어에 지나지 않는다는 게 내 결론이다.

그리고 이건 AI와는 전혀 다른 얘기이니 이에 대한 오해도 없어야 하고.

개념 정리 2. AI 기술을 활용한다 vs AI로 지원자의 미래 성과를 예측한다

마이다스아이티의 채용 솔루션은 지원자의 성격이나 능력을 측정할 때 일부 AI 기술을 활용하기도 하지만, AI 알고리즘을 바탕으로 이 사람이 회사에 입사했을 때 고성과자일지 저성과자일지를 예측하기도 한다.

어디까지가 AI 면접이냐고 묻는다면 그건 나도 모르겠다. 그러니 일단 둘 다 살펴보자.

(1) AI 기술을 활용한다

뭐 예를 들면 마이크에 대고 지원자가 대답한 음성 정보를 텍스트로 바꿔주는 speech-to-text, 지원자의 표정을 보고 감정이나 정서를 예측하는 것도 대표적인 AI 기술이다. 아마존이나 구글 같은 곳에서 이미 API 형태로 다 제공하고 있는 서비스이고, 유명한 오픈소스로 OpenFace 같은 것도 있다. 이제는 누구나 쉽게 가져다 쓸 수 있는 기술이라 마이다스아이티도 아마 이런 곳에서 제공하는 API를 사용하거나 그걸 자체적으로 고도화하지 않았을까 싶다.

어쨌든 이런 건 말 그대로 기술일 뿐이다.

그런데 표정을 가지고 감정, 정서를 예측하는 건 좀 논란의 여지가 있다. 애초에 연기를 하면 어쩔 셈인가. 예를 들어 fake smile과 genuine smile을 구분할 수 있을까? 아니면 만약 얼굴에 화상을 입었거나 신경적인 손상으로 인해 안면 근육이 제대로 움직이지 않는 사람이 지원한다면?

그리고 마이다스아이티에서는 얼굴 색상 변화를 통해서도 뭔가 정보를 추출한다고 하는데, 애초에 파운데이션 덕지덕지 바르고 하면 안 보이지 않을까? 이건 좀 억지인가. 아무튼.

그리고 음성 정보를 텍스트로 바꿔주는 기술에도 사실 논란의 여지가 있다. 물론 어떻게 활용하는지에 따라 다르긴 하겠으나…

할 말이 많지만 얘기가 너무 깊어질 수도 있으니 일단 넘어가자.

이것보다도 더 중요하게 생각해볼 문제가 있으니까.

(2) AI로 지원자의 미래 성과를 예측한다

마이다스아이티 채용 솔루션 홈페이지 FAQ에 보면 이런 내용이 있다.

6800명의 재직자 데이터를 통해 학습했다고 한다. 이 사람들은 고성과자, 혹은 저성과자로 이미 분류가 되어 있는 셈이다. 그리고 이 재직자들에게 실제 지원자들이 하게 될 AI 면접을 미리 시켜보는 거다. 그러면 AI 면접에서 수집된 데이터를 가지고 고성과자 혹은 저성과자로 분류하는 일종의 “분류기”를 생성할 수 있게 된다.

애초에 6800명이나 모았다는 것도 꽤 굉장한 인원수고, 어떻게 보면 꽤 그럴싸하지만… 난 이게 과연 합리적인지, 윤리적인지, 상식적인지에 대해 의문을 제기하고 싶다. 분류 알고리즘은 스팸 메일 필터링 할 때 쓰는 거 아닐까.


성과 평가의 객관성과 공정성, 머신러닝 알고리즘이 학습하는 인간의 편향(bias)

일단 AI가 성과를 잘 예측하려면 애초에 학습시킨 데이터, 즉 회사에서 이루어진 성과 평가가 얼마나 객관적이고 공정한가에 대한 근본적인 질문에 답을 할 수 있어야 한다. 그럴 수도 있고 아닐 수도 있다. 난 모르겠다.

그리고 머신러닝 알고리즘은 애초에 인간의 편향을 답습하는 게 본질이라 봐도 된다. 성과 평가에는 엄청나게 많은 인간의 편향이 들어가 있고, AI는 어떤 식으로든 그 편향을 찾아내서 학습한다.

어쨌든 머신러닝은 편향 학습이다. 마이다스아이티는 심지어 캠코더를 통해 녹화된 지원자의 외모와 목소리를 분석하기 위해 “국내 면접 전문가의 촉과 감”을 학습시켰다고 했다.

출처: https://www.midashri.com/

이건 마이다스아이티만의 이야기가 아니다.

어떤 국내 대기업 계열사에서도 이런 영상/음성 정보를 가지고 AI 기술을 적용하기 위해 나름 경력이 오래된 HR, 인사 분야 전문가에게 영상을 보여주고 이 사람이 우수한 사람인지 아닌지 평가를 하도록 해서 그 정보를 학습시켰다는 얘기를 들었다. 처음 듣고 사실 좀 놀랐다. 그냥 그 경력이 좀 오래된 꼰대의 감을 믿겠다는 게 아닐까.

“내가 사람 한 두 번 뽑나? 그냥 딱 보면 알지? 사교성이 좋아 보이네!”

이 제네시스랩이라는 곳에서 만든 이 솔루션도 크게 다르진 않아 보인다.

영상 7:00부터 “소셜 스킬” 얘기가 나오는데… 표정을 보고 그 사람의 호감도를 판단하는 것처럼 들린다. 결국 누군가가 영상을 보고 그 사람의 호감도를 평가해서 학습시켰다는 거 같은데…

오히려 이런 방식은 몇십 년 전에 이루어졌다고 말로만 듣던 “관상 면접”으로 역행하는 느낌이다.

좀 재밌고 우스운 사실은 이런 AI 면접 솔루션이 오히려 면접관의 편향을 방지하는 데에 효과적이라는 점을 강조하고 있다는 거다. 사람은 믿을 게 못 된다면서 사람의 편향을 답습한 AI를 믿는 꼴이 되어버리는 건 아닐까.


AI 면접이 지원자의 성과를 예측하는 합리적인 솔루션으로 인정을 받으려면

사실 마이다스아이티가 6000명 넘게 데이터를 모은 것도 대단한 거다. 애초에 공격적으로 마케팅을 하기도 했고, 서비스 초기에는 무료로 막 베타 서비스처럼 뿌려서 데이터를 수집했을 수도 있다.

앞으로 더 많은 데이터를 모으겠지만 데이터가 더 많아진다고 더 좋은 솔루션이 될 수 있을지는 잘 모르겠다.

AI 면접이 사회적으로 받아들여질 수 있으려면 아래의 근원적인 문제를 해결할 수 있어야 한다고 생각한다.

  • 회사에서 이루어지는 성과 평가에 내재된 ‘편향’을 근본적으로 해결할 수 있어야 한다.
  • AI 면접 전형에서 탈락한 사람에게 왜 탈락했는지 합리적인 근거를 가지고 설명할 수 있어야 한다.
  • 회사 재직자들도 지원자처럼 직접 그 AI 면접을 경험 했을 때 나온 결과를 수긍할 수 있어야 한다.

물론 현재는 보조적인 도구로 사용하고 있고, 결국 다시 면접을 보고 최종 결정을 내리는 게 대세다. 그 결과를 가지고 곧바로 채용을 하겠다고 의사결정을 하진 않으니까. 게다가 많은 지원자들에게 기회를 더 제공한다는 점에 있어서 긍정적인 효과도 분명히 있다. 어쨌든 뭔가 더 해볼 수 있는 절차를 하나 더 마련해주는 거니까.

그런데 기업 입장에서는 AI 면접은 지원자가 많을 때 후보자 수를 줄이기 위해 사용하기에 너무나 편리한 도구다. 곧바로 탈락시키는 데에는 이만한 도구가 없다. 즉, 악용될 소지가 너무 많다. 왜 떨어뜨리는지 본인들도 잘 모르면서 “AI가 공정한 기준을 적용했다”는 변명을 앞세워 아무나 떨어뜨릴 수 있으니까. 이게 나의 가장 큰 우려다.


공정한 시스템이 있을 거라고 믿게 만드는 시스템

넷플릭스에서 <오렌지 이즈 더 뉴 블랙>이라는 시리즈를 보다가 채용 시스템의 허와 실을 적나라하게 보여주는 대화가 있어서 가져와 봤다. 이걸로 포스팅을 마쳐야겠다.


  • A: 합격자 발표가 났다고 들었어요. 저도 시험지 봤는데, 그거 어떻게 생각해낸 거죠? 새로운 평가 기술인가요?
  • B:인터넷에서 찾은 건데 그냥 성격 파악하는 퀴즈 같은 거예요. 사실 저도 자세히는 몰라요. 그냥 40명을 무작위로 뽑아서 발표했는데, 그게 ‘합격자’처럼 됐죠.
  • A: 무작위 선별이 그 쪽 체계인가요?
  • B: 체계가 있다고 믿게 만드는 게 체계죠. 그래야 떨어져도 우리를 원망하지 않고 능력이 부족한 자신을 탓하죠. 이 방법 많이 썼는데 성공적이었어요.

에피소드 마지막 장면에서는 채용을 담당했던 B가 ‘합격자’들을 모아놓고 이렇게 얘기한다.

추천 글

“요즘 유행하는 AI 면접의 실체 (feat. 마이다스아이티)”의 5개의 댓글

  1. 안녕하세요 hlee님! 졸업 프로젝트 때문에 머신러닝을 공부해야 되서 구글링하다가 이 블로그를 발견하게 되었습니다! 설명을 친절하게 잘 해주셔서 머신러닝 카테고리를 처음부터 끝까지 정독했어요 ㅎㅎ 정말 감사합니다. 덕분에 머신러닝 알고리즘에 대해 감을 잡고 본격적으로 공부를 시작해보려고 합니다! 앞으로도 좋은 글 많이 올려주세요!

    1. 아이고, 댓글 감사합니다.
      이 맛에 블로그 하나 봐요.

      저도 공부한 내용을 급히 정리해놓은 것뿐인데
      도움이 되셨다니 다행이네요.

      혹시 더 공부하시면서 제가 잘못 적어놓은 게 있다거나
      더 좋은 정보 있다면 알려주세요.

      졸업 프로젝트는 어떤 내용일지도 궁금하네요.
      나중에 잘 되면 저도 꼭 소개해주세요 🙂

  2. 와.. 작성하신 글 정말 잘 읽었습니다. 요즘 보니까, 마이다x에서 공격적으로 이걸 밀고 있더군요. 가뜩이나 코로나19 때문에 대다수의 기업들이 해당 도구를 채용하고 있는 상황이고요. 문제는 취준생 입장에서 보면 또 다른 (골치아픈) ‘체계’가 하나 더 등장한 상황이기에, 정말 힘들기 그지 없네요. 아무쪼록 궁금한 사항이 있다면, 과연 저 AI면접에 나름의 ‘팁’을 알고 계신다면 무엇인지, 그리고 최근 마이다x에서 대규모 공채를 진행하던데, 이 쪽 분위기는 어떤지도 좀 궁금합니다.

    1. 검사에 대한 ‘팁’은 답을 드리기 어렵네요. 검사에서 측정하는 요소들이 너무 많고 그것들이 결과에 어떤 방식으로 영향을 줄지 외부에서는 감을 잡기 어렵습니다. 게다가 이곳 검사에도 여러 종류가 있더라고요. (인시드 알파/베타도 있고 AI 면접은 또 다른 검사라…) 현재 인성검사 개발 프로젝트를 진행 중인 고객사에서도 기존에 이곳 검사를 사용 중이었던지라 채용 담당자 피드백을 듣긴 했는데 여러모로 복잡하더라고요. 인터넷에 떠도는 이런저런 정보들에 너무 현혹되지 마시고 , 마음 편히 보셔도 괜찮을 거예요.

      그리고 회사 분위기는 어떻게든 찾아서 직접 자세히 여쭤보시는 게 가장 좋을 것 같아요. 그리고 기회가 닿으신다면 직접 회사 방문해서 인터뷰까지 보셔도 좋겠고요.

      제가 주저리주저리 했지만 결국 제대로 답변 드린 게 아무것도 없네요. 죄송합니다. ㅜㅜ
      아무쪼록 취준 기간에는 행복 회로 돌리고 멘탈 잘 챙기시길 바라겠습니다..!

  3. 좋은 글 잘 읽었습니다. 저희 회사도 Global 주도하에 도입중에 있습니다. 전 회사에서는 실패를 하였는데 사유는 시행 후 Global 평가 기준과 한국과 매칭이 잘 안되었기 때문입니다. 저희가 S급이라고 생각해도 정작 테스트 결과는 C가 나와서 리더들에게 신뢰를 얻지 못했습니다. 그래서 이번에는 한국 핵심인재들에게 테스팅 요청을 강화에서 로칼라이징을 잘 해보고자 노력중에 있습니다. Global 회사는 도입할 때 이점이 중요할 것 같습니다.

댓글 남기기