AI面接サービス開発秘話、AIが人を評価する難しさ – ZENKIGEN Lab Report 007

2021年3月15日 2022年6月8日

川崎健寛（株式会社ZENKIGEN データサイエンティスト）

現在はAIを活用した採用のDX（デジタルトランスフォーメーション）が進み始めています。また、新型コロナの影響でオンライン面接が各社で展開される中、どのように採用のデジタル化・AI化を進めていけばいいのでしょうか。これまでの人間によるアナログ採用で起こっている課題、そして動画を用いたAI採用での取り組みやメリットについてZENKIGENの川崎に伺いました。

人間が採用の評価をすれば合否のばらつきが生じる

本日はAI面接をテーマにお話を伺います。まずはじめに、面接をAIに任せる必要性から伺えますでしょうか？

本日はよろしくおねがいします。今回は、弊社Labの研究データに基づいてお話させていただきます。

まず、採用面接官によって評価基準がバラバラであり、本来採用になるはずだった人が不採用になっているケースが少なくないということが分かりました。

例えば、ZENKIGENでは動画のAI分析による採用を支援しているのですが、ある会社の人事チームの方々に、同じ採用動画を何十件かお渡しし、合否付与を行っていただいたことがあります。その際、チームの方々の合否を比較してみると全体の25％の候補者で合否結果がブレていました。また、合否割合についても人事間で最大20%のズレが生じていたのです。

合否結果のブレはどのような特徴や傾向が見られますか？

言語情報や話し方、振る舞い等の違和感です。例えば、幼い印象を受けたという方ですと、「人懐っこいので話してみたい」という印象もあれば、人によっては幼いという印象という評価になることもありました。

また、他にも話している内容は問題ないが、話し方が偉そうだったり高圧的な態度だった時に不合格とするかどうかも意見が分かれます。このように、人によって賛否両論の評価になることがしばしばあります。

職種によってもこのような評価のブレが生じるのでしょうか？

はい、職種によっても評価軸が大きく分かれます。例えば、営業だと第一印象等のコミュニケーションの評価が中心になってくる一方で、技術系の職種だと話している内容に一貫性があるかやどんなことをやってきたのかという内容が評価ポイントとしては高くなります。人によって全く評価が異なる時に、事前に評価ポイントを擦り合わせた上で評価をしてくださいと言ったとしても、やはりブレは生じてきてしまうのです。

他にも、これは意外だったという評価のブレはありましたでしょうか？

そうですね。例えば、採用スパンが長い会社だと、時期によって選考の通過率が数十％の単位で変わる会社もあります。人事にお伺いすると、決して学生の質が下がる訳ではないのですが、採用の時期が早ければ受かっていても、後の方に受けてしまうと落ちてしまう学生はやはり一定数いるというのが現状です。最初は選考通過率が高いのですが、選考が進んでいくと採用計画を元に進められているために、数値に合わせて合格枠を段々と絞っていくという設計になっていると感じています。

AIは面接基準を明確にし、面接採用者をサポート。候補者の機会損失を減らせるはずである。

採用評価の定義をAI導入の前に定義しておくほうがよいのでしょうか？

はい。採用要件で粒度を細かくしておくほうが後々に役立ちます。例えば、「こういう特性の人は活躍しないと思っていたが、結果活躍した」という採用結果におけるフィードバックを返しやすくなります。

また、AIが明確な定義を与えてくれることもあります。評価基準をある程度細かく設定したとしても、どうしても面接官の間で結果がブレてしまうことはあります。AIだと同じ動画に対し、同じ結果を返す特性があるので、同じ目線で採用結果を振り返りをすることが出来るんですね。なので、評価基準の振り返りに活かしやすいというメリットもあります。

実際に、AI採用を導入することで評価基準が明確になったという例もありますか？

AIを導入する前に明確になってくることはよくあります。例えば、AI導入のためにデータをいれるとすると、事前にどのようなデータがあるのか、データサイエンティストがヒアリングをします。細かいヒアリング作業の中で、「この採用基準は曖昧だ」というのが明らかになり、もう少し詰めていかないといけないという意識も強くなります。このように、採用へのポジティブな変化が見られています。

データを設計するのは泥臭い作業ですが、各社に与えるメリットとしては一番大きいと個人的には考えています。AIを導入していく過程で、データをどのように構造化させるか、評価基準を固めていき人事の目線を合わせていくことが一番インパクトとして大きいです。

AI採用によって、今まで採用してこなかった候補者が見えてくる

採用に関するデータはどのように取得しながら、AI動画採用のプロジェクトを進めていますか？

弊社の例で言いますと、学生に撮っていただく動画自体に明確な制約を加えるということは基本的にはしていません。ただ、学生がスーツを着て淡々と話しているだけの動画ですと、面接官が見ても差がつきません。なので、どのような形で面接の設問を設定するかという設計から入ります。そうすることで目的に即したデータが取得できるようになります。

AI動画採用を進めていく中で、面白い取り組みをされている企業はありますか？

例えば、某エンターテインメント企業様の例で「自分を自由に表現してください」という自己PRの設計をしました。すると、TikTokのような面白い動画を作ってくるような候補者が出てきました。逆に、その設問を堅い大手企業で同じようにやってもらったところ、スーツをきて思っていたよりも堅く話されていました。同じ候補者でも、会社のカルチャーに合わせて回答の仕方を変えているからですね。

なので、その会社の母集団まで考えて、同じ質問でも回答の仕方が変わってくるので、そのようなことまで考えた上での設問設計まで踏み込む必要がある、とそのプロジェクトの際に感じました。

どのような母集団がいるのか、どのような候補者が必要なのかもデータで見たりしますか？

はい。そもそもどういう学生を求めているのか、自社に応募してくる学生は他社と比べどのような特徴があるのか等のヒアリングを各社にします。

今までと違う人を採用したいという会社も増えている中で、これまでの合格基準で採用した人のデータを使うと、これまで採用していなかった学生は既存データの基準だと合格しないということも出てきます。

その時に、ZENKIGENのプロダクトだと、候補者の印象をいくつかの軸でラベルとして出しています。そのラベルを見ながら、これまでは採用していなかったけど、これからは採用したいと今までにない候補者を新たに拾い上げることも可能になってくると考えています。

採用フェーズによって通過率・合格率が変わる課題に対して、AI採用で解決出来ることはありますか？

辞退率の改善が出来そうと思っています。例えば時期によって辞退率がどのように変わるかの傾向はデータを取得すれば分析できます。そのデータから、どのスパンで学生を採用していくと良いのかの計画を立てることが出来ます。また、動画を解析し、このような面接のパターンの場合は候補者としての体験がよくないので辞退率が増えるというようなフィードバックにも繋がります。

ZENKIGENでもAI採用を活用して面接官に対して面接のフィードバックを行っていますが、辞退率を下げるためにも良い影響になっているのでしょうか？

はい。辞退率は面接官の印象によって変わることもあります。例えば、会話が噛み合っていなかった面接でも、ふと面接官が質問したことがきっかけで候補者との会話が一気に進んだケースもあります。また、一次面接の中で候補者の関心を把握して、二次面接にも生かしていくことができれば辞退率を下げることに繋げれると思っています。

また、人気企業ですと100倍〜200倍という合格倍率です。企業としては落とした学生に対して合否しかお伝えできないようになっていますが、AI採用でフィードバックが返せると良いと思っています。学生も多少なりとも会社に対して時間をかけて準備をしている中で、何故落ちたのか、次はこういう風にやればよいという気づきを学生も得られると良いですよね。何らかの形で学生に報いることができないかというのは各社人事からも伺っています。

改善点もフィードバック出来るようにしたいですが精度の問題もあるので、今は学生のよかったところをプラスに評価していくようなフィードバック機能を現在作っている最中です。

ただ効率化するのではなく、採用担当・候補者両者に寄り添い、調和するAIを生み出す

AI採用の活用において、今後どのように採用に良い影響がありますか？

採用のデジタル化によって起きることは、今まで取れなかったデータが取得可能になることです。今まで面接の動画データはほとんど取得されていませんでした。面接動画データが取れたことで、あとから振り返って、評価軸の再考をすることが出来るようになります。

採用においては、なんとなくやりっぱなしで終わってしまうことがもったいなくて、後から定量的に効果を振り返ることが大事です。

今後は面接官の面接力アップということもテーマになりそうでしょうか？

はい。就職活動に関することをある学生に聞いた時に、面接官と噛み合わず、話したいことを話せなかったという残念なことがありました。面接体験を少しでも良くする方向に寄与したいです。

また、強みがある学生側も「これが出来るから、こういうことが出来る会社に入りたい」というジョブ型の選び方が一定数増え始めています。ただ、総合職・一般職全体で採用となると、ポテンシャル採用という性質が強くなります。ゆえに、今までだと学生が選ばれる側という意識がありましたが、優秀な学生は学生側が選ぶという意識に変わっています。

AI採用を推進していく中で、採用に関する変化は感じますか？

評価基準はヒアリングしていきながら、だんだん気付いていくものです。人事の方とプロジェクトを進めていく中で、素晴らしい言葉をいただいたことがあります。

「人の評価や統一が難しいことがよくわかりました。AI採用を取り入れるのもいいですが、人の評価は難しいというところに課題意識を向けられたのが良かったです。」

この言葉は非常に嬉しく、採用に寄与することができ、良かったです。

今までは担当者によってどうしても採用結果が変わっていましたが、時間をかけて就職活動に臨んでいる学生には申し訳ないというところもあり、会社としてフェアな採用を進めていきたいということをお客様から聞いた時も心を打たれました。

AIを入れるためのデータを作る設計の段階から、深く意義・定義も話していくことが、AI採用における一番の肝だと感じています。泥臭いデータの設計からZENKIGENとして深くコミットし、不安定なアナログ採用の課題をAIにより解決していきたいと思います。