01
公開ページだけを対象にする
認証なしで一般に公開されているページを対象にします。会員ページ、管理画面、ログインが必要な領域、フォーム送信の先にある情報は取得しません。
PUBLIC WEB CHANGE MONITORING
BlueAIChangeBot
公開ページの変化を、サイトのルールと負荷に配慮しながら確認するためのクローラーです。
更新日
2026年8月23日
既定のホスト間隔
2秒以上・同時取得1件
対象
認証不要の公開ページ
02
サイトの意思を優先する
取得前に robots.txt を確認し、対象パスの Disallow を尊重します。Crawl-delay が示されている場合はその値を優先し、判断できない場合も控えめに運用します。
03
必要なときだけ取得する
ETag または Last-Modified が利用できる場合は条件付きリクエストを使い、変更がないページの本文を繰り返し取得しません。
OPERATION POLICY
取得時に守ること
BlueAIChangeBotは、アクセスできることだけを理由に取得してよいとは考えません。対象サイトの公開条件、robots.txt、取得頻度、レスポンスを確認し、停止すべきと判断した場合は取得を行いません。
CHECK BEHAVIOR
- robots.txt
- 対象ホストの robots.txt を確認し、
User-agent: BlueAIChangeBotのグループがあればそのルールを、なければUser-agent: *のルールを適用します。該当する Disallow は取得しません。robots.txt が404・410または429を除く4xxの場合は除外ルールなしとして扱い、通信障害、429・5xx、危険なリダイレクト、取得上限超過の場合は新規取得を保留します。 - Crawl-delay
- robots.txt に
Crawl-delayがある場合は、その秒数以上の間隔を置きます。指定がない場合も、同一ホストへのリクエスト間隔は既定で2秒以上です。サイトの応答が遅い場合や負荷が見られる場合は、さらに間隔を延ばすか停止します。 - 条件付きリクエスト
- 過去のレスポンスに ETag または Last-Modified がある場合、If-None-Match または If-Modified-Since を付けて確認します。304 Not Modified のときは本文を再取得せず、変更なしとして扱います。
- 負荷と失敗時の対応
- 同一ホストへの取得は1件ずつ直列に行い、既定で2秒以上の間隔を置きます。HTTP 429や5xx応答を受けた場合は、Retry-Afterを考慮して取得間隔を延ばし、失敗が続く対象は自動的に一時停止します。
- 対象外
- 取得にはGETリクエストのみを使用します。ログイン、会員登録、フォーム送信、CAPTCHA の回避、アクセス制限の回避、robots.txt の無視は行いません。公開ページであっても利用規約や明示的な停止要請により対象外にできます。
IDENTIFICATION
Botの識別情報
アクセスログで機械的な取得だと分かるよう、すべてのリクエストに次の User-Agent を付けます。運用に関する質問や、ログの照合依頼にも利用できます。
USER-AGENT
Mozilla/5.0 (compatible; BlueAIChangeBot/1.0; +https://blueai.co.jp/change-bot) SCOPE
取得の範囲
- HTTPで取得できる公開ページのみ
- ページの変更有無を判定するために必要な範囲
- サイトごとの robots.txt と利用条件を確認
- 通常のブラウザ操作を前提とし、認証・回避行為はしない
DATA HANDLING
取得データと利用目的
変更を正確に検証するため、対象となる公開ページの本文を取得します。公開ページに個人情報が含まれる場合、その情報も内部スナップショットに含まれることがあります。保存データへのアクセスと外部公開の範囲を分け、比較情報の鮮度維持に必要な用途に限定して扱い、停止・削除の相談を受け付けます。
取得する情報
URL、取得日時、HTTPステータス、ETag・Last-Modified、公開ページの本文と正規化テキスト、変更判定に必要なハッシュまたは差分、robots.txt の判定結果
取得しない情報
ログイン後のコンテンツ、CAPTCHA の先にある情報、非公開ファイル、フォームへの入力内容、認証情報
利用目的
スクール選びに掲載する料金・コース・給付制度・キャンペーン・規約など、公式情報の更新確認と比較情報の鮮度維持のため。広告配信、個人のプロファイリング、販売目的の名簿作成には利用しません。
保存と公開
本文と正規化テキストのスナップショットはアクセスを制限した内部領域に保存し、外部には確認済みの事実、短い変更要約、確認日時、公式URLを中心に掲載します。公式ページ全文の再配布は行いません。未参照スナップショットの保存期限は最大3,650日とし、変更履歴・レビュー・承認済み事実に参照される証拠は参照が続く間保持します。
CONTACT / OPT-OUT
停止・対象外のご依頼
BlueAIChangeBotによる取得を希望されない場合は、robots.txt で次の指定を行うか、URLとご希望の対応を添えてご連絡ください。停止依頼を受けたURLは、確認後すみやかに対象から外します。
User-agent: BlueAIChangeBot
Disallow: / 最終更新日：2026年8月23日 株式会社BlueAI