실제로 예측력이 있는 과제형 테스트(Take-Home Test) 설계하는 법

이력서에 "엑셀 상급자"라고 적혀 있고, 면접에서 지원자가 피벗 테이블에 대해 유창하게 이야기하는 걸 들었다고 해봅시다. 그래도 여전히 그 사람이 실제로 피벗 테이블을 만들 수 있는지는 알 수 없습니다. 바로 이 간극을 메워야 하는 것이 과제형 테스트(take-home test)입니다. 그리고 대부분의 과제형 테스트가 이 간극을 메우지 못하는 이유는, 너무 쉬워서 속이기 쉽거나 너무 길어서 웬만한 사람은 끝내지 못하기 때문입니다.

실제로 뭔가를 알려주는 테스트를 만드는 방법을 소개합니다.

스킬이 아니라 과업에서 출발하라

대부분의 과제형 테스트는 스킬("SQL 실력을 테스트하자")에서 출발해서 결국 상식 퀴즈로 끝나버립니다. 대신 과업에서 출발하세요. 이 사람이 입사 후 두 달 차에 실제로 하게 될 그 일 말입니다. 부기(bookkeeping) 담당자를 뽑는다면, 과업은 지저분한 거래 내역을 조정하는 것이지, 차변/대변에 관한 객관식 문제가 아닙니다. 고객 지원 담당자를 뽑는다면, 과업은 실제(익명 처리된) 화난 고객 이메일 세 건에 답장을 작성하는 것이지, "공감"의 정의를 설명하는 것이 아닙니다.

스스로에게 던져볼 좋은 질문이 있습니다. 누군가 답을 외워서 이 문제를 통과할 수 있는가, 아니면 실제로 무언가를 만들어내야 하는가? 전자라면 다시 설계해야 합니다.

실제 업무에서 줄 법한 시간만큼만 주어라

바로 이 지점에서 대부분의 회사가 좋은 지원자를 놓칩니다. 6시간이 걸리는 테스트는 지원자의 저녁 시간을 존중하지 않는다는 신호이며, 최고의 실력을 가진 지원자가 아니라 다른 선택지가 없는 지원자를 걸러내는 결과를 낳습니다. 합리적인 상한선은 다음과 같습니다.

• 주니어 또는 신입 직급: 45~60분
• 중간급 실무자(individual contributor): 60~90분
• 시니어 또는 전문 직급: 최대 2시간, 가능하다면 작은 과제 두 개로 나눠서

만약 테스트가 정말로 그보다 더 많은 시간을 필요로 한다면, 그건 더 이상 선별 도구가 아니라 무급 노동입니다. 그리고 지원자들은 점점 더 이 사실을 알아채고 발길을 돌립니다. 시간 제한은 이메일에 미리 명시하고, 그 말을 지키세요. "이 과제는 약 1시간 정도 걸릴 것으로 예상합니다. 만약 3시간이 걸리고 있다면, 멈추고 지금까지 작성한 것을 보내주세요. 4시간째에 완성된 결과물보다 1시간째의 직관을 보고 싶습니다."

실제 업무가 주는 것과 같은 지저분한 입력값을 주어라

실제 업무는 좀처럼 깔끔하지 않습니다. 데이터 입력이나 분석 직무를 테스트한다면, 오류가 하나도 없는 스프레드시트를 건네지 마세요. 그건 입사 첫날에 받게 될 것과 다릅니다. 중복된 행, 잘못 표기된 열, 모호한 지시사항을 포함시키세요. 누군가 이런 지저분함을 어떻게 다루는지가, 이미 깔끔하게 정리해준 부분을 어떻게 다루는지보다 훨씬 더 많은 것을 알려줍니다.

글쓰기나 마케팅 직무라면, 모순이 숨어 있는 실제(또는 실제와 유사한) 브리프를 주세요. 예를 들어 "짧게 써주세요"와 "모든 걸 다뤄주세요"를 같은 문단에 함께 요구하는 클라이언트처럼요. 지원자가 명확화 질문을 던지는지, 아니면 그냥 추측해서 넘어가는지 지켜보는 것이 전체 과제 중 가장 유용한 5초일 때가 많습니다.

제출물을 한 편이라도 읽기 전에 먼저 채점 기준을 정하라

채점 기준(rubric)을 먼저, 아무것도 모르는 상태에서 작성하세요. 각 항목에서 1점, 3점, 5점이 어떤 모습인지 아무의 결과물도 보기 전에 정해두세요. 그렇지 않으면 처음 읽은 뛰어난 제출물이 은연중에 "우수함"의 기준이 되어버리고, 그 이후 모든 지원자는 계속 바뀌는 기준으로 평가받게 됩니다.

대부분의 과업에 적용할 수 있는 채점 기준은 3~5개 항목으로 구성되며, 각 항목은 1~5점으로 채점합니다.

1. 실제 문제를 해결했는가 (비슷하지만 더 쉬운 문제가 아니라)
2. 당신이 추가로 손대지 않고도 바로 사용할 수 있는 결과물인가
3. 결과만이 아니라 사고 과정을 보여주는가 — 코멘트, 메모, "이렇게 선택한 이유는 이렇습니다" 같은 설명
4. 지저분하거나 모호한 부분을 잘 처리했는가
5. (선택) 브리프를 준수했는가 — 분량, 형식, 톤

가능하다면 두 사람이 독립적으로 채점하세요. 단 한 명의 동료와 함께라도 좋습니다. 그리고 지원자에 대해 이야기를 나누기 전에 서로의 채점 결과를 비교하세요. 얼마나 자주 의견이 엇갈리는지 놀랄 것입니다. 그 불일치는 지원자에 대한 정보일 뿐 아니라, 채점 기준 자체에 대한 유용한 정보이기도 합니다.

실제로 사용할 무료 노동을 요구하지 마라

"우리 온보딩 이메일을 다시 디자인해보세요"라는 과제를 준 뒤 그 결과물을 실제로 사용한다면, 채용 과정이라는 명목으로 무급 노동을 착취한 셈입니다. 그리고 지원자들은 이런 일을 오랫동안 회사에 대한 이야기로 남깁니다. 이를 피하는 정직한 방법은 두 가지입니다.

• 실제 사업적 가치가 없는 가상의 시나리오나 과거 사례를 사용하세요(더 이상 운영하지 않는 예전 캠페인, 가상의 클라이언트 등).
• 정말로 실제 업무 기반으로 테스트하고 싶다면, 과제에 대한 대가를 지급하세요. 소액이라도 좋으니, 사전에 명확히 밝히세요.

서면 테스트만으로는 알 수 없는 것들

과제형 테스트는 누군가 혼자서, 자신의 속도에 맞춰, 어쩌면 친구나 검색 엔진의 도움을 받아 무엇을 만들어낼 수 있는지를 보여줍니다. 하지만 약간의 압박 속에서 어떻게 행동하는지, 실시간 피드백을 어떻게 받아들이는지, 혹은 다듬어진 제출물이 정말 본인의 것인지는 알려주지 않습니다. 바로 이 지점에서 후속 대화가 필요합니다. 지원자에게 자신이 내린 결정 하나를 짚어 설명해 달라고 요청하고, 얼마나 유창하게 그 결정을 방어할 수 있는지 지켜보세요. 직접 만든 사람은 이를 쉽게 해냅니다. 외주를 준 사람은 대체로 그러지 못합니다.

한 가지 직무를 위한 하나의 좋은 과제형 테스트를 만드는 것이라면, 위와 같은 방식으로 직접 작성하는 것이 적절한 노력의 수준입니다. 하지만 한 달에 대여섯 개의 서로 다른 직무를 채용하고 있고, 매번 채점 기준을 새로 작성하는 데 일주일을 다 쓰고 있다면, 그때가 바로 검증된 테스트 플랫폼이 제 역할을 할 시점입니다. AssessFit은 부정행위 방지 감독(proctoring) 기능과 적응형 테스트, 그리고 내장된 진실성 점수(integrity score)를 제공해 매번 백지 상태에서 채점 기준을 만들 필요가 없게 해주며, 매월 최대 5명의 지원자까지는 무료로 이용할 수 있습니다.

어느 쪽을 선택하든, 테스트는 일의 절반에 불과합니다. 나머지 절반은 그 테스트가 실제로 무엇을 측정하는지에 대해 스스로에게 정직해지는 것입니다. 측정하지 않는 것을 측정한다고 착각하지 않는 것 말입니다.