実際に予測力のある「持ち帰り課題」の設計方法

あなたはこれまで「Excel上級者」と書かれた履歴書を読み、面接ではピボットテーブルについて流暢に語る候補者の話に耳を傾けてきました。それでも、その人が実際にピボットテーブルを作れるかどうかは分からないままです。この「分からない」というギャップを埋めるのが持ち帰り課題(テイクホームテスト)の役目のはずですが、多くの持ち帰り課題はそのギャップを埋められていません。なぜなら、簡単に取り繕えてしまうか、まともな人なら終わらせられないほど長すぎるかのどちらかだからです。

ここでは、実際に何かを教えてくれるテストの作り方を解説します。

「スキル」からではなく「タスク」から始める

多くの持ち帰り課題は「スキル」から出発し(例:「SQLをテストしよう」)、結果として雑学クイズのようなものになってしまいます。そうではなく「タスク」から始めましょう。つまり、その人が入社2ヶ月目に実際に行うであろう業務そのものです。経理担当者の採用なら、課題は「借方・貸方」に関する選択式問題ではなく、雑然とした取引データの照合作業であるべきです。カスタマーサポート担当者の採用なら、課題は「共感力」を定義させることではなく、実際の(匿名化された)怒れる顧客からのメールに対して3通の返信を書かせることであるべきです。

自分自身に問うべき良い質問はこれです。この課題は、答えを丸暗記すれば突破できるものか、それとも実際に何かを生み出さなければならないものか? 前者であれば、設計を見直しましょう。

実際の業務で与えるであろう時間内に収める

多くの企業が優秀な候補者を逃してしまうのは、まさにこの点です。6時間もかかる課題は、候補者の夜の時間を尊重していないというメッセージになりますし、結果として「他に選択肢がない候補者」をふるい分けることになり、「最も優れたスキルを持つ候補者」をふるい分けることにはなりません。妥当な上限の目安は以下の通りです。

• ジュニア・エントリーレベルの職種: 45〜60分
• ミドルレベルの実務担当者: 60〜90分
• シニア・専門職: 最大2時間(可能であれば2つの小さなタスクに分割)

もしテストが本当にこれ以上の時間を必要とするなら、それはもはやスクリーニングツールではなく「無報酬労働」です。そして候補者はますますそれを見抜いて離脱するようになっています。メールで時間制限を最初に明示し、それを本気で守りましょう。「これは約1時間で終わる想定です。もし3時間かかっているようなら、そこで手を止めて、そこまでのものを送ってください。私たちは、4時間かけた完成版よりも、1時間時点でのあなたの直感を見たいのです」というように。

実際の仕事と同じ「雑然とした」入力データを与える

現実の仕事が整然としていることは滅多にありません。データ入力職やアナリスト職をテストするなら、エラーが一つもない綺麗なスプレッドシートを渡してはいけません。それは初日に与えられるものとは違うからです。重複した行、ラベル付けを間違えた列、曖昧な指示などを盛り込みましょう。すでに整理された部分をどう扱うかよりも、雑然とした部分をどう扱うかの方が、その人について多くを教えてくれます。

ライティングやマーケティング職であれば、矛盾を意図的に含ませた本物(または現実的)のブリーフを与えましょう。同じ段落の中で「短くまとめて」と「すべて網羅して」の両方を要求するクライアントのように。確認の質問をしてくるか、それとも単に推測で進めてしまうかを見ることは、課題全体の中で最も有益な5秒間になることがよくあります。

提出物を一つも読む前に採点基準を決める

ルーブリック(採点基準)は、先に、白紙の状態で作成しましょう。誰の提出物を見る前に、各評価軸で1点・3点・5点がそれぞれどのようなものかを決めておくのです。そうしないと、最初に読んだ優れた提出物が知らぬ間に「良いもの」の基準となってしまい、それ以降の候補者は動く標的と比較されることになってしまいます。

多くのタスクに使える実践的なルーブリックは、3〜5個の評価軸を持ち、それぞれ1〜5点で採点します。

1. 実際の問題を解決できているか(近くにある、より簡単な問題ではなく)
2. あなたが一切手を加えなくてもそのまま使えるものか
3. 答えだけでなく、思考のプロセスを示しているか――コメント、メモ、「これを選んだ理由はこうです」といった説明
4. 雑然とした・曖昧な部分をうまく処理できているか
5. (任意)ブリーフを尊重しているか――長さ、フォーマット、トーン

可能であれば、2人が独立して採点しましょう。あなた自身ともう一人のチームメンバーだけでも構いません。そして候補者について話し合う前にメモを比較してください。意外なほど意見が食い違うことに驚くはずですが、その食い違いこそ、候補者だけでなくルーブリック自体についての有益な情報なのです。

実際に使うつもりの「無償労働」を求めない

課題が「私たちのオンボーディングメールを再設計してください」というもので、その後実際にその再設計案を使ってしまったら、採用プロセスを隠れ蓑にして無償労働を搾取したことになります。そして候補者はこうした話を何年にもわたって語り継ぎ、それが会社の評判に付きまとうことになります。これを避ける誠実な方法は2つあります。

• 実際のビジネス価値を持たない架空の、または過去のシナリオを使う(もう運用していない過去のキャンペーン、架空のクライアントなど)。
• 本当にライブの業務でテストしたいのであれば、課題に対して報酬を支払うこと。たとえ少額であっても。そしてそのことを事前に伝えましょう。

筆記テストだけでは分からないこと

持ち帰り課題は、その人が一人で、自分のペースで、友人や検索エンジンの助けを借りられる環境で何を生み出せるかを教えてくれます。しかし、多少のプレッシャー下でどう振る舞うか、その場でフィードバックをどう受け止めるか、あるいはその洗練された提出物が本当に本人の手によるものかどうかは分かりません。それを確かめるのが、その後のフォローアップ面談です。自分が下した一つの判断について、その理由も含めて説明してもらいましょう。そして、どれだけ流暢にそれを弁護できるかを見るのです。実際にそれを作った人なら、これは容易にこなせます。外注した人は、たいてい上手くできません。

一つの職種のために一つの優れた持ち帰り課題を作るのであれば、上記のように自分で作成するのが適切な労力の掛け方です。しかし、月に5〜6種類もの異なる職種で採用を行っており、その都度ルーブリックを書き直すことに一週間を費やしているような状況であれば、それはキャリブレーション済みのテストプラットフォームが力を発揮すべき局面です。AssessFitは、監督付き・適応型のテストを組み込みの誠実性スコア(インテグリティスコア)とともに提供しており、毎回白紙のルーブリックから始める必要はありません。しかも、月5人までの候補者であれば無料で試すことができます。

いずれにせよ、テストは仕事の半分に過ぎません。残り半分は、そのテストが実際に何を測定しているのかについて自分自身に正直であること――そして、測定できていないことまで測定できているふりをしないことです。