ボットトラフィックの真実:あなたのサイトを守る効果的な対策とは
サニャ・トライチェワ
|サイバー犯罪 | 2024年10月11日
ボットトラフィックとは、人間以外のプログラムがウェブサイトへのアクセスする行為を指します。例えば、Googleの検索エンジンは、膨大な量のデータ収集やオンラインサービスの品質向上のために幅広く活用されています。
Google の検索結果の優秀さは、ボットの存在なしには実現できませんでした。もし効率的に情報を収集できるボットがなければ、検索結果は Alta-Vista や AOL のような旧来の検索エンジンと同程度の品質に留まっていたでしょう。これらの古い検索エンジンを知る人々は、Google 登場以前の検索結果がいかに不十分だったかを覚えているかもしれません。
しかし、悪意のあるボットは、ウェブサイトのセキュリティを脅かし、ビジネスに大きな損害を与える可能性があります。本記事では、ボットトラフィックの種類や、あなたのウェブサイトを守るための効果的な対策について詳しく解説します。
ボットとは何か
ボットとは、特定のタスクや複数のタスクを実行するプログラムコードです。主にサーバーやデータセンターに配置され、反復作業や大規模なデータ収集を短時間で効率的に行うことを目的としています。
その中でもインターネット上の情報を収集するボットをトラフィックボットと呼びます。このボットは起動されると、インターネットを検索、情報を収集し、ほぼ瞬時に必要な結果を提供します。
トラフィックボットは、誰でも作成することができます。この作成の容易さが、時として問題を引き起こす原因となっています。ウェブコーディングの初心者でも、少し学習すれば簡単なボットをプログラミングすることが可能です。
AI(人工知能)と機械学習は急速に進歩していますが、現時点では、これらのボットに意思はなく、単にプログラムされた通りの動作をするだけの存在です。
重要な役割を担うボット
ボットは、その目的によって大きく「善意のボット」と「悪意のボット」に分類されます。
トラフィックボット(英文)は反復的なタスクを迅速に実行する能力を持ち、良い目的にも悪い目的にも使用されます。
「良い」ボットは、ウェブサイトのリンクの正常性確認、検索ランキングなどの有用なデータ収集、サイトのパフォーマンス分析などの役割を果たします。一方で、「悪い」ボットは、ウェブサイトへの不正侵入やデータ窃取、ウイルス拡散、サービス拒否( DDoS )攻撃によるサーバーへの過負荷など、悪意ある目的に使用されることがあります。
- 良いボット: 検索エンジンのクローラー、ウェブサイト監視ボット、データ収集ボットなど
- 悪いボット: スパムボット、DDoS攻撃ボット、スクレイピングボットなど
ウェブサイトにアクセスする一般のユーザーにとって、トラフィックボットが問題になることはほとんどありません。しかし、サイト運営者にとっては「良い」トラフィックボットによるアクセスか「悪い」トラフィックボットによるアクセスかが極めて重要です。その理由としてはトラフィックボットに Google による適切なサイトクロールの確認、分析結果の精度向上、ウェブサイトの健全性とパフォーマンスの確保、さらにウェブサイトや広告における悪意のある行為の防止など、多岐にわたる影響が挙げられます。
上記にあげたようなボットによるトラフィックをボットトラフィックと呼び、近年急増しています。 実際、全ウェブトラフィックの半分以上がボットトラフィックであり、さらに懸念されるのは、全トラフィックの 28.9 %が悪意のある発信源からのものと考えられている(英文)ことです。このようなボットトラフィックがどのように有害になり得るかを理解するためには、ボットトラフィックの実態をより詳細に分析する必要があります。
ボットトラフィックの種類
前述の通り、ボットトラフィックには良いものと悪いものがあります。ここで重要なのは、ボットトラフィックの種類が非常に多様だという点です。
企業が開発した複雑なスクリプトが幅広いデータを収集する一方で、簡単なタスクを実行するだけの単純なプログラムも存在します。さらに、スパムボットやフォームボットのような迷惑で悪意のあるプログラムも見られます。
「良いボット」
- SEO:検索エンジンのクローラーボットは、ウェブページをクロール、カタログ化、インデックス化します。その結果は Google などの検索プロバイダーがサービスを提供するために使用されます。
- ウェブサイト監視:ウェブサイトの健全性を監視し、読み込み時間やダウンタイムなどの問題を確認します。
- 情報集約:様々なウェブサイトやウェブサイトの一部から情報を収集し、1 つの場所にまとめます。
- スクレイピング:このカテゴリーには「良い」ボットと「悪い」ボットの両方が含まれます。これらのボットは、例えば電話番号やメールアドレスなどの情報をウェブサイトから「スクレイプ」または「抽出」します。スクレイピングは(もちろん合法的な場合)研究目的などに使用できますが、情報を違法にコピーしたりスパム行為に利用されることもあります。
「悪意のボット」
- スパム:主にウェブサイトの「コメント」欄でコンテンツを拡散したり、ナイジェリアの王子を装ったフィッシングメールを送信したりするために使用されます。
- DDoS:複雑なボットは、サービス拒否攻撃によってサイトをダウンさせるために使用されることがあります。多くの場合、これは協調的な攻撃として行われます。
- アドフラウド:ボットは広告を自動的にクリックするために使用されることがあります。これは詐欺的なウェブサイトと組み合わせて、広告クリックの報酬を不正に増やすために利用されることが多く、広告クリッカーボットには長い歴史(英文)があります。
- ランサムウェアなどの悪意ある攻撃:ボットはあらゆる種類の混乱を引き起こすために使用されます。これには、デバイスを暗号化するランサムウェア攻撃も含まれ、多くの場合、「解除」のための身代金を要求します。
サイバー犯罪の様々な種類についての詳細は、こちらの記事(英文)でご覧いただけます。
ボットトラフィックの検出方法
ボットトラフィックの検出は、良いボット(例えば Google の検索結果に表示されるもの)の恩恵を受けつつ、悪いボットがビジネスに悪影響を与えるのを防ぐための第一歩です。
ボットトラフィックの検出をするための第一歩は Google Analytics を導入し、データを分析することです。ボットトラフィックの決定的な証拠を見つけられるとは限りませんが、ボットトラフィックを確認できるようになります。
その際に注目すべき主要な指標は以下の通りです:
- 直帰率
- ページビュー数
- ページ読み込み時間
- 平均セッション時間
直帰率は、ウェブサイトを訪問し 1 ページしか閲覧せずに離脱した訪問者の割合を示します。人間は通常、検索エンジンの結果などからサイトに到達し、その後クリックしてサイトを探索します。一方、ボットはサイトの探索に興味がないため、1 ページにアクセスして離れます。高い直帰率はボットトラフィックの良い指標となります。
ページビュー数はこれとほぼ逆の指標です。一般的な訪問者は数ページを閲覧して離れますが、突然 50 〜 60 ページが閲覧されるようなトラフィックが発生した場合、これは人間のトラフィックである可能性は低いでしょう。
ページ読み込みスピードの悪化も重要な監視対象です。読み込み時間が突然遅くなり、サイトの動作が鈍くなった場合、ボットトラフィックの増加やボットを使用した DDoS(分散型サービス拒否)攻撃の可能性があります。場合によっては技術的な解決策が必要になることもありますが、これはボット検出の良い第一歩となります。
平均セッション時間は、異なる発信元のユーザーがサイトとどのように相互作用しているかを示します。例えば、Microsoft Corp Network からのトラフィックが 2 秒という短いセッション時間を示している場合、これは人間以外のトラフィック、つまりボットクリックの典型的な特徴である可能性が高いです。
ボットによるサイトのクロールを防ぐ方法
ボットによるサイトのクロールを防ぎたい理由は様々です。保護されたコンテンツを守るためや、ハッカーがデータベースにアクセスするのを防ぐためなど、目的は異なります。幸いなことに、理論上は、ウェブサイトの特定のセクションをボットから保護するのはそれほど難しくありません。
まず最初に確認すべきは、robots.txt ファイルです。robots.txtファイルは、検索エンジンやボットに対して、どのページをクロールできるか、できないかを指示するテキストファイルです。例えば、User-agent: * Disallow: /admin/と記述することで、すべてのボットが「/admin/」ディレクトリにアクセスできなくなります。
中間的なアプローチとしては、ルールを設定することです。良いニュースは、「良い」ボットはこれらのルールを遵守するということです。しかし、「悪い」ボットはこれらのルールを完全に無視してしまいます。
「悪い」ボットに対しては、技術的な解決策が必要になります。ここで CDN(コンテンツデリバリーネットワーク)サービスが役立ちます。優れた CDN(英文)の利点の一つは、悪意のあるボット(英文)や DDoS 攻撃からの保護を提供できることです。CloudflareやAkamaiなどの一般的な CDN は、一部のボットがサイトをクロールするのを防ぐことができます。Cloudflare 自身が述べているように、「Cloudflareのデータソースは、悪意のあるボットやクローラーがサイトに自動的にアクセスする数を(すべてではありませんが)減らすのに役立ちます。」
また、専用のアンチボットソリューションをインストールすることもできますが、これらのほとんどはウェブサイト自体を比較的よく保護できます。ただし、検索エンジンや他のプロパティ上の広告など、ウェブサイト外の保護はできないことに注意が必要です。
もう一つの、より手間のかかる(そしてあまり効果的ではない)選択肢は、ボット関連のトラフィックであることがわかっている IP を手動でブロックすることです。使える小技として、トラフィックの地理的な発信元を確認することがあります。通常、トラフィックが米国や欧州からのものである場合に、突然フィリピンからの IP が多く見られるようになれば、それはボットやクリックファーム(英文)である可能性があります。
広告を保護することの重要性
ボットトラフィックは、広告キャンペーン、そして延いてはビジネスの将来にとって最大の脅威の一つです。CHEQとボルチモア大学経済学部の調査によると、2021年には機会主義的なボットだけで企業に350億ドルの損失をもたらすと予測されています。これは、企業の広告予算が無駄に消費されるだけでなく、ブランドイメージの低下にもつながる可能性があります。
ボットは広告をクリックするようプログラムされており、その結果、様々な問題を引き起こします。例えば、Google 広告アカウントの予算を消耗させたり、Google に広告のパフォーマンスを低く評価させたりします。さらに、競合他社の広告が目立つ一方で自社の広告が表示されなくなったり、コンバージョン率に影響を与えてアナリティクスの意味をなくしたりします。
現代のデジタル広告業界において、ボットは大きな助けにもなりますが、同時に非常に大きな損害をもたらす可能性もあります。PPC 広告の保護に積極的に取り組むことが、広告キャンペーンの安全を確保する唯一の方法です。すべての広告マネージャーは、自社のトラフィックがボット活動によってどのような影響を受けているかを判断するため、サードパーティのソフトウェアを活用すべきです。
トラフィックボットをブロックし、ウェブサイトのトラフィック品質を向上させ、より多くの実際の顧客を獲得し、無駄な支出を抑えることで、広告運用のコントロールを取り戻すことができます。
CHEQ は、マーケティング専門家やビジネスオーナーから高い評価を受けている、業界をリードするクリック詐欺防止ソフトウェアを提供しています。ボットトラフィックを含む PPC 広告の不正をブロックするには、CHEQ の無料セキュリティ診断をお試しください。