AIボットはサイトのどこを見ているのか？ AIクローラーのアクセスデータを分析

　ウェブコンサルティング、ウェブマーケットの分析を手掛けるipeは、同社のAIライティング・コンテンツ制作ツール「DeepEditor」のホームページにアクセスしてきたAIボットの30日間のアクセス傾向を分析したレポートを発表した。

　今回の調査は、生成AIやAI検索エンジンにおける自社ブランドの認知・評価状況を可視化・分析する同社のツール「AKARUMI」を使って分析したもの。

　まず、AIボットが多くアクセスしていたのは、記事ページやサービスページだけではなく、/robots.txt、/sitemap.xml、/sitemap.rssなど、サイトのクロール可否やURL構造に関わるページだったという。この結果により、AIボットはまず「このサイトを取得してよいか」、「どのURLが存在するか」、「更新情報があるか」といったサイト構造を確認している可能性が高いとしている。

　しかし、アクセスしてきたAIボットには傾向に違いがあったという。例えば、ClaudeBotはサイト構造ページへのアクセスが多い一方で、GPTBotはsitemapに加えて、記事・事例ページにも分散していたという。

　同社では、全AIボットデータにおいて、やはりトップページへの訪問が多く、トップページは人間のユーザーにとっての入口であると同時に、AIにとってもブランドやサービスを理解する入口になるとし、サービス名、提供価値、対象ユーザー、主な機能、導入実績、運営会社情報などを明確に記載することで、AIがサイト内容を理解しやすくなるとアドバイスしている。

　さらに詳しい調査結果や分析について、同社リリースにて紹介されている。