サイトの相談を受けると、「このサイトはうまく働いているか」という話になります。ただ、それを私の経験だけで語っても、聞く側は判断のしようがありません。誰のサイトにも同じ問いを当てて、まず入口の診断を出せるようにしたいと考えて作ったのが、このサイト判断ツールです。気になるところが見つかったら、人の目で見る詳しい診断につなげます。いまは公開の準備中で、判定がどのくらい当たるかを確かめているところです。
入れたURLのページは、Cloudflare Workers（Cloudflareの上で小さなプログラムを動かす仕組み）が取りに行って読みます。https になっているか、スマートフォン向けの表示があるか、1年以内に更新されているか、問い合わせへすぐ行けるかといった問いは、ここでルールに照らして判定します。
「何の会社か冒頭で分かるか」「誰のためのサービスか」のように読まないと分からない問いは、TypeSafe AI の Jev（文章を作らず、決まった問いに確率で答える判定専用のモデル）に聞きます。確率が0.7以上なら「できている」、0.3未満なら「見当たらない」、その間を「人の目で確認したい」としています。
データの送り先は2つです。診断するページの内容は Jev へ、詳しい診断の依頼に入れた会社名・名前・メールアドレスは HubSpot（顧客管理のサービス）のフォームへ送られ、私に届きます。
問いは、トップページだけで答えられるものに絞りました。料金や事例の中身は、下層のページに書くのがふつうです。そうした情報は「トップからそのページへ行けるか」で問うことにしました。下層を丁寧に作っているサイトが、トップに書いていないせいで損をしないようにするためです。
問いの言葉も、何度か直しました。私が設計に使っている言葉や、「h1」のような専門語、二重否定は使わず、サイトを見る人の言葉にしています。判定の言葉も、はじめは「判断が難しい」でしたが、「人の目で確認したい」に変えました。
抽象的な問いは、AIの判定がぶれます。「初めて見る人にも分かる言葉で書かれているか」という問いは、ぶれが大きかったので外しました。問いは、ページを見て確かめられる具体的なものに分けるようにしています。私のサイトにかけてみたところ、事例の中身の具体さが足りないと出ました。弱いところを、きちんと弱いと指摘してくれた形です。
精度はまだ確かめている途中です。私が手で判定した結果と問いごとに突き合わせ、一致の悪い問いは直すか外し、別の会社のサイトで確かめ直す予定です。AIの判定を使う点は記事検品ツールと同じで、どちらも文章を作らせず、決まった問いに答えさせています。
同じ考え方で、あなたの会社の仕事に合わせた道具も作れます。
あわせて読む: 自作の道具の一覧｜記事検品ツール：原稿の表記・構造・見解の境目を機械で先にチェックする