면접 후 후보자를 공정하게 평가하는 방법

한 자리를 놓고 방금 네 번의 면접을 마쳤습니다. 두 번째 후보자는 따뜻하고 재치 있게 답변했습니다. 세 번째 후보자는 답변이 다소 평이했지만, 하나하나가 실제로 그녀가 만들어낸 결과물로 뒷받침되어 있었습니다. 당신은 두 번째 후보자가 더 마음에 들었습니다. 하지만 그게 정말 의미가 있는 건지는 확신이 서지 않습니다.

바로 이 순간이 평가 시스템이 해결해줘야 할 지점입니다. 그리고 동시에 대부분의 평가 시스템이 무너지는 지점이기도 합니다 — 스코어카드가 대화가 끝난 후에, 기억에 의존해서, 마지막에 말을 꺼낸 사람이나 당신을 웃게 만든 사람에 의해 좌우된 채로 채워지기 때문입니다. 스코어카드는 누군가를 만나기 전에 미리 만들어두고, 대화가 끝난 뒤 정리하는 용도가 아니라 면접실에 있는 동안 실시간으로 사용해야만 제대로 작동합니다.

"그냥 서로 의견을 비교해보면 되지"가 통하지 않는 이유

채용팀이 모여 "각자 느낀 인상을 얘기해보자"고 할 때, 대개 방 안에서 가장 목소리가 큰 의견이 이깁니다. 그리고 그 의견은 보통 자신과 비슷하다고 느낀 후보자를 면접한 사람의 것입니다. 누구도 거짓말을 하는 게 아닙니다. 모두 진심으로 자신의 판단을 믿습니다. 바로 그게 문제입니다 — 점수화되지 않은 비교는 그 안에 있는 사람에게는 객관적으로 느껴지지만, 실제로는 그렇지 않습니다.

해법은 직감을 덜 믿는 것이 아닙니다. 다른 사람과 의견을 나누기 전에, 같은 기준을 놓고 당신의 직감이 무엇에 반응하고 있는지를 글로 적어두는 것입니다.

첫 면접 전에 평가 기준을 만들어라

이 특정 직무가 실제로 요구하는 요소 4~6가지를 정하세요. 일반적인 "커뮤니케이션 능력"이 아니라, 이 직무에 필요한 특정한 형태의 커뮤니케이션이어야 합니다. 고객지원 리더 직무라면 "기술적인 문제를 비전문가에게 명확하게 설명한다"가 될 수 있습니다. 영업직이라면 "거절을 당했을 때 방어적으로 반응하지 않고 대응한다"가 될 수 있습니다.

각 항목마다 1점, 3점, 5점이 실제로 어떤 모습인지 짧은 기준(anchor)을 세 개씩 적으세요. 대부분이 건너뛰는 부분이지만, 사실 가장 중요한 부분입니다. "커뮤니케이션을 1~5점으로 평가하라"는 말은 면접관마다 다르게 받아들여지기 때문입니다. "비전문가가 다시 설명할 수 있을 정도로 환불 정책을 명확히 설명함"은 5점입니다. "이해했는지 확인하지 않고 전문 용어를 사용함"은 2점입니다. 이렇게 하면 두 면접관이 같은 답변을 평가해도 같은 점수로 수렴합니다.

평가 기준 예시:

평가 항목: 고객 불만을 침착하게 처리한다
- 1점 — 제시한 사례에서 방어적인 태도를 보이거나 고객을 탓함
- 3점 — 예의는 지켰지만 실제로 문제를 해결하지는 못함
- 5점 — 구체적인 불만 사례를 단계별로 설명하고, 고객이 무엇을 필요로 했는지, 그리고 어떻게 해결에 이르렀는지를 명확히 밝힘

모든 평가 항목에 대해 이 작업을 하고, 인쇄해서 면접에 들어가기 전 모든 면접관에게 한 장씩 나눠주세요.

다른 사람과 이야기하기 전에 혼자 평가하라

가장 적은 노력으로 가장 많은 편향을 줄이는 단 하나의 변화가 바로 이것입니다: 모든 면접관은 면접 후 한 시간 안에, 그룹 디브리핑이나 슬랙 메시지, "그래서 어떻게 생각했어?"라는 질문이 나오기 전에, 혼자서 스코어카드를 작성하고 각 점수마다 근거를 한 줄씩 적어야 합니다.

숫자보다 근거 문장이 더 중요합니다. "4점 — 화난 고객을 진정시킨 구체적인 사례를 제시했고, 실제로 사용한 표현까지 언급함"은 근거가 명확합니다. "4점 — 느낌이 좋았음"은 그렇지 않습니다. 그리고 근거를 억지로 적어보면, 기억만으로 매겼을 점수가 실제로 바뀌는 경우가 많습니다.

평가 항목에 가중치를 부여하라, 단순 평균은 피하라

목록에 있는 모든 항목이 똑같이 중요한 건 아닙니다. 회계 담당자를 채용한다면, 압박 속에서의 정확성이 면접에서 얼마나 호감을 주는지보다 훨씬 중요할 겁니다. 후보자를 만나기 전에 가중치를 정하세요 — 기술적 정확성 40%, 세부사항 주의력 30%, 커뮤니케이션 20%, 조직 적합성 10%처럼, 직무에 맞게 정하고, 눈대중이 아니라 실제로 곱셈을 하세요. 가장 무겁게 가중치를 둔 항목에서 5점, 가볍게 둔 항목에서 3점을 받은 후보자는 대개 모든 항목에서 고르게 4점을 받은 후보자보다 나아야 합니다. 가중 합계를 내면 이런 차이가 논쟁거리가 아니라 눈에 보이는 결과로 드러납니다.

두 후보자가 근소한 차이일 때

가끔은 평가 기준을 제대로 적용해도 정말로 거의 동점이 나올 수 있습니다. 괜찮습니다 — 두 후보자 모두 그럴듯하다는 뜻이고, 면접 방식이 알려줄 수 있는 정보는 이미 다 준 것입니다. 근소한 차이를 "그래서 누가 더 마음에 들었어" 식의 또 다른 논의로 해결하지 마세요. 새로운 근거를 만들어내는 방식으로 해결하세요: 두 후보자에게 동일한 조건에서 짧은 업무 과제를 수행하게 하거나, 둘의 차이를 가르는 구체적인 부분을 물어보는 레퍼런스 콜을 진행하세요. 차이가 직접 측정 가능한 역량에 있다면 — 수리력 테스트, 현실적인 시나리오에 대한 서술형 응답처럼 — AssessFit이 테스트를 검증할 때 사용하는 문항 은행처럼 난이도 기준이 공개된 구조화된 테스트를 활용하면, 또 다른 인상이 아니라 명확한 숫자를 얻을 수 있습니다.

평가로도 편향이 완전히 없어지지 않는 지점

여기서는 스스로에게 솔직해야 합니다: 스코어카드는 당신의 판단을 형식화할 뿐, 그것을 순수하게 만들지는 않습니다. 만약 당신의 평가 기준이 화려함과 자신감 있는 전달력에 점수를 주는 방식이라면, 여전히 실제로 일을 잘하는 후보자보다 면접을 잘 보는 후보자를 선호하게 될 것입니다 — 단지 그 사실을 스프레드시트로 증명하게 될 뿐입니다. 인상이 아니라 구체적이고 관찰 가능한 행동을 중심으로 기준을 작성하세요("자신감 있어 보였다"보다 "구체적인 사례를 제시했다"처럼요). 그리고 가끔은 훈련된 두 번째 면접관이 같은 면접을 독립적으로 평가하게 해서, 두 사람에게 평가 기준이 같은 의미로 받아들여지는지 확인하세요. 같은 답변을 지켜본 훈련된 두 면접관의 점수가 3점 이상 차이 난다면, 손봐야 할 것은 후보자가 아니라 평가 기준입니다.

내일부터 바로 쓸 수 있는 스코어카드

1. 직무에 특화된 평가 항목 4~6개를 정한다.
2. 각 항목에 대해 관찰 가능한 명확한 언어로 1점/3점/5점 기준을 작성한다.
3. 합이 100%가 되도록 각 항목에 가중치를 부여한다.
4. 모든 면접관은 면접 후 한 시간 안에 혼자서 평가하고, 각 점수마다 근거를 한 줄씩 적는다.
5. 누구도 인상을 논의하기 전에 점수에 가중치를 곱한다.
6. 근소한 차이라면 새로운 근거를 확보한다 — 과제, 레퍼런스 콜, 두 번째 평가 면접 등을 활용하고, 말로 다투지 않는다.

이 방법이 당신 대신 결정을 내려주지는 않습니다. 다만 두 번째 후보자보다 세 번째 후보자를 선택할 때, "그냥 느낌이 좋아서"가 아니라 한 문장으로 이유를 말할 수 있게 해줍니다. 그리고 그 문장은 6개월 후, 이 채용이 잘된 건지 궁금해질 때에도 여전히 당신에게 말이 될 것입니다.