지원자가 과제 테스트에서 AI를 썼는지 알아내는 방법

답변을 두 번 읽습니다. 유창하고, 구조가 잘 잡혀 있고, 원하는 포인트를 모두 짚고 있는데 — 누구의 것도 아닌 것처럼 느껴집니다. 의견도 없고, 거친 부분도 없고, 전화 스크리닝에 나왔던 그 사람의 말투가 느껴지는 문장도 없습니다. 새 탭을 열어 질문을 ChatGPT에 붙여넣습니다. 한 글자 한 글자 그대로, 거기에 있습니다.

이제는 흔한 일입니다. 짜증만 낼 게 아니라 대응 계획을 세워둘 가치가 있습니다.

예전의 "부정행위"보다 왜 더 어려운가

포럼에서 답을 베끼는 건 게으르고 잡아내기 쉬운 방식이었습니다. AI가 생성한 텍스트는 다릅니다 — 대체로 진짜로 훌륭하고, 여러분이 던진 질문에 정확히 맞춰져 있으며, 간단한 검색으로는 증명할 수 없습니다. 이제 여러분이 잡아내려는 것은 표절이 아닙니다. 눈앞에 있는 사람이 답변이 보여주는 사고를 실제로 만들어낼 수 있는지, 아니면 도움을 받아야만 만들어낼 수 있는지를 판단하려는 것입니다.

이 구분이 중요한 이유는, 솔직히 말하면 어떤 직무에서는 AI를 잘 활용하는 것 자체가 업무의 일부이기 때문입니다. 반면 다른 직무에서는 바로 그 AI 활용 능력을 넘어선 무언가를 테스트하려는 것이기 때문입니다.

서면 답변에서 주목할 만한 신호들

이 중 어느 것도 단독으로는 아무것도 증명하지 못합니다. 하지만 여러 개가 함께 나타난다면 한 번 더 살펴볼 가치가 있습니다.

• 답변이 의심스러울 정도로 균형 잡혀 있습니다. 시간 압박 속에서 글을 쓰는 실제 사람은 한쪽 편을 들거나, 어딘가를 대충 넘기거나, 특정 부분을 얕게 다루는 경향이 있습니다. AI가 만든 결과물은 마치 요약처럼, 결정이 아니라 모든 측면을 고르게 다루는 경향이 있습니다.
• 어휘가 갑자기 달라집니다. 자기소개서와 LinkedIn 메시지는 평이하게 쓰던 지원자가, 갑자기 과제에서는 한 번도 쓴 적 없던 "레버리지", "홀리스틱", "다면적" 같은 단어를 씁니다.
• 의도한 질문이 아니라, 여러분이 던진 질문 그대로에 답합니다. 프롬프트를 기반으로 작업하는 사람들은 종종 여러분의 질문을 그대로 챗봇에 붙여넣는데, 그러면 챗봇이 특정 표현을 조용히 매끄럽게 다듬어 일반화된 버전의 질문으로 바꿔버립니다.
• 엉망진창인 부분이 없습니다. 지워진 논리의 흔적도 없고, "확신이 없어서 X라고 가정했다" 같은 표현도 없습니다. 실제 작업물은 대체로 그 이음새가 드러납니다.

실시간 면접에서 주목할 만한 신호들

영상 면접에서는 신호가 다릅니다:

• 카메라 밖 고정된 지점을 바라보는 시선, 특히 자세하거나 기술적인 답변을 하기 직전에.
• "생각하는" 시간으로는 너무 길고 "화면을 천천히 읽는" 시간으로는 너무 짧은 정지 — 그 뒤에 즉석에서 나온 답변이라기엔 이상하게 완벽한 답이 이어지는 경우가 많습니다.
• 후속 질문과 연결되지 않는 답변. 생성된 답변을 읽는 사람은 첫 번째 질문에는 잘 대답하다가, "그 명백한 대안 대신 왜 그 방식을 선택했나요?"라고 물으면 갑자기 심하게 흔들립니다.

마지막 항목이 가장 유용한 테스트입니다. AI는 거의 모든 것에 대해 좋은 첫 답변을 만들어낼 수 있습니다. 하지만 예상치 못한 질문을 받고 실시간으로, 실제로는 스스로 추론하지 않았던 입장을 방어하는 데는 훨씬 취약합니다.

실제로 취해야 할 조치

의심을 재설계하기 전에 테스트를 재설계하세요. 모든 지원자가 비슷하고 매끄럽고 다소 일반적인 답변을 내놓는다면, 문제는 여러분의 질문일 수 있습니다. 정답이 하나뿐인 프롬프트는 챗봇에 맡기기 쉽습니다. 여러분만 알 수 있는 제약 조건과 함께, 여러분의 구체적이고 지저분한 실제 상황에 대한 결정을 요구하는 프롬프트는 그럴듯하게 흉내 내기가 훨씬 어렵습니다.

모든 서면 작업물에 실시간 후속 질문을 추가하세요. 과제 테스트 후 "여기까지 어떻게 도달했는지 설명해주세요"라는 5분짜리 대화는, 텍스트를 아무리 뚫어지게 봐도 얻지 못할 진짜 실력과 빌려온 세련됨을 구분해줍니다. 그들이 내린 결정과, 왜 다른 결정을 내리지 않았는지에 대해 물어보세요. 실제로 생각한 사람은 더 깊이 들어갈 수 있습니다. 그렇지 않은 사람은 그럴 수 없습니다.

AI 사용이 자격 상실 요건인지 미리 정하고, 그것을 명확히 알리세요. 일부 직무는 실제로 AI 도구를 잘 활용하는 능력을 요구합니다 — 글쓰기, 리서치, 일부 영업 및 마케팅 업무가 그렇습니다. AI를 전면 금지해놓고 그것을 실제로 강제할 수 없다면, 지원자들에게 그저 숨기는 법을 가르치는 셈입니다. 미리 이렇게 말하는 것이 더 솔직합니다: "실제 업무에서 사용할 도구는 무엇이든 사용해도 됩니다. 다만 면접에서 모든 결정을 설명하고 방어할 준비를 하세요." 이렇게 하면 테스트가 '순수성 검증'에서 원래 그래야 했던 것 — 즉, 이 사람이 실제로 책상에서 사용할 수 있는 모든 도움을 받아서라도 좋은 판단을 내릴 수 있는가로 재구성됩니다.

구체적인 근거 없이 몰아가지 마세요. "이건 AI가 쓴 것 같네요"는 직감이지 증거가 아니며, 직감만으로 지원자를 몰아세우면 대체로 정직한 지원자는 방어적으로 만들고 정직하지 않은 지원자는 다음번에 더 잘 준비하도록 만들 뿐입니다. 비난 대신 후속 대화를 통해 알아내세요.

프로그토링이 실제로 도움이 되는 부분, 그리고 도움이 되지 않는 부분

시간제한이 있는 실시간 평가에서는, 무결성 점수를 포함한 프록터링 — 탭 전환, 비정상적인 정지, 방 안의 다른 목소리를 감지하는 방식 — 이 이 문제의 가장 조잡한 형태를 차단해줍니다. 이것이 바로 AssessFit의 테스트가 해당 점수와 함께 프록터링 방식으로 운영되는 이유입니다. 하지만 제출 이틀 전에 도움을 받아 작성한 과제 에세이인지는 어떤 도구도 알려주지 못합니다. 바로 이 격차 때문에 실시간 후속 질문이 어떤 탐지 방법보다 더 중요합니다: 이는 출처가 아니라 이해도를 테스트하기 때문입니다.

이 모든 것 아래에 깔린 판단의 문제

솔직히 말하면, 여러분이 정말로 잡아내려는 것은 AI 사용 여부가 아닙니다. 여러분은 누군가가 미리 준비하지 못한 질문 앞에서 생각하고, 결정하고, 그 결정을 방어할 수 있는지를 알아내려는 것입니다. 그것은 AI가 존재하기 전에도 원래 진짜 테스트였습니다 — 다만 이제는 겉으로 드러나는 역량을 흉내 내기는 더 쉬워졌고, 그 깊이를 흉내 내기는 더 어려워졌을 뿐입니다. 그 깊이를 중심으로 프로세스를 구성하면, 겉모습은 느껴지는 것만큼 크게 중요하지 않게 됩니다.