ウェブマスターツール「robots.txtエラー」は死を意味する

もうタイトル通りなんですよ。

 

ウェブマスターツールことサーチコンソールに「robots.txt取得エラー」が表示されるということは、サイトの死を意味するんです

 

なんたって、ページのインデックスがドンドン削除されて行きますからね。洒落になりません。

 

で、なんと・・・

 

ここ数日、まさしく私が運営しているサイトの一部がそんな状況でした

 

まぁ早い段階で気が付いたので、2~3日で順位も戻り、大きな被害にはならなかったのが不幸中の幸いですね。

 

と言うわけで、今後アナタが私と同じことにならないよう、「robots.txt取得エラー」のヤバさと、解決策についてシェアしたいと思います。

 

 

robots.txtって何?

robots.txtは、「ロボットに向けてのメッセージが書かれたテキスト」です。なんて言っても意味が全くわからないと思うので簡単に解説しておきます。

 

アナタが運営してるサイトには、多かれ少なかれ毎日のように色んな人がアクセスしてくれてますよね?で、実はアクセスしてくれるのは人だけではなく、複数のロボットもアクセスして来てるんですよこれが通称、クローラーという奴ですね。

 

このクローラーの仕事は、web上のサイト情報を収集して自社データベースに持ち帰ることなんです。アナタのサイトがネット上で順位付けされてるのもgoogleクローラーのお陰だったりするんですよ。

 

で、ここから超重要なんですが、アナタのサイトが順位付けされてるのは、アナタのサイトにgoogleクローラーがアクセスできるからなんです。逆から言えば、googleクローラーがアクセスできないようになってしまうと、googleはサイトの評価が出来なくなってしまうってことですね。

 

もう気付いたかもしれないですが、robots.txtを利用することで、こっちからロボットであるクローラーに意思表示することができるんですよ。つまり、使い方によってはgoogleクローラーをサイト内に入れなくすることだってできるんです。

 

『えっ?なんか重要っぽいけど、聞いたことすらないよ!?』と思うかもしれませんね。安心してください。普通にブログやサイトを運営する場合、robots.txtなんて使いませんから。

 

【robots.txtを使っていない】=【制限無くアクセスしてOK】なので、通常は全く問題ないんですよ。通常は・・・ね。

 

はい。というわけで、もうプロレベルにrobots.txtの理解が深まってますんで、次に進めたいと思います。

 

 

サイトのインデックス削除ラッシュが止まらない

冒頭でも伝えた通り、ここ数日、私が運営するサイトの一部は、インデックスが次々と削除されるという事態に陥ってました

 

当日の衝撃は中々のレベルでしたね。いつも通りコーヒー飲みながらGRCでサイトの順位をチェックしたら、1位から圏外にぶっ飛んでるサイトがいくつかあるわけですから。モチロン、報酬も合わせてガタ落ち。まさに地獄。

 

例えるなら、小5にもなって、授業中に先生のことを「お母さん」と呼んでしまうくらい地獄です。

 

こんな地獄すぎる状況でも『絶対に何か原因あるやろ!』と思いながら長時間探ってました。そしたらついに、サーチコンソール上でrobots.txtに問題があるとわかったんです。

 

ロボットテキストエラー

5/28から急にrobots.txt取得エラー

 

ちなみに、さっきも言ったとおりrobots.txtが入って無くても問題ないんですよ。だから私は、基本的に全てのサイトにrobots.txtを入れていないんです。

 

しかし!いきなり何の前触れもなくこの有様なんです。『え!?急にどしたん!?』と。

 

『特にrobots.txtを弄ったわけでもない・・・というかrobots.txtすらない。んんん?サーバー側でなんかあった?』と思って調べてみると、予想的中。なんと私が契約してるサーバーが5/28辺りで新しいサーバーに切り替わってたんです。これを期に、通常robots.txtが無くても問題は無いのに、サーバー状況が不安定になったことでrobots.txt取得エラーが頻発してたというわけです。

 

状況を整理すると、インデックスが削除されまくってたサイト達は"全て同じサーバー"に入ってて、そのサーバーが"新しいサーバーに切り替わったこと"でgoogleクローラーが入れなくなってたってことですね。

 

今回の事件を解決するために色々と調べて知ったんですが、米googleの偉い人いわく、『通常robots.txtはいらない。でもサーバーが不安定になった時はrobots.txtがないとrobots.txt取得エラーが出てしまう。だからrobots.txtは入れておいた方が安全だろう』ということでした。

 

と言うわけで、運が悪ければ何かのきっかけで、アナタも私と同じような事態に巻き込まれる可能性もゼロじゃないわけですよ。

 

なので、その事態を未然に防ぐために、tttが実際にこの事態を解決したrobots.txtを提供するので使ってください。

 

 

これをぶち込めば安心!!robots.txtをシェアします

私のように悲しい事態になりたくなければ、このrobots.txtをダウンロードして、アナタのサーバーにアップしておきましょう。

 

アップロード場所は、ドメイントップでOKです。

 

 

例えばこのサイトなら、「affiliate-blog7.com」と同じ階層にアップロードすればOKですね。サーバーによっては、「affiliate-blog7.com/public_html/」になります。

 

で、このrobots.txtに書いてる内容なんですが、下記の2行だけなんですよ。

 

User-Agent: *
Disallow:

 

これ、何?って話だと思うので簡単に解説しておくと、制限なくサイトにアクセスしてOKです!の意味です。

 

念のため言っておくと、「不正アクセスも大歓迎!!」みたいな話じゃないですよ。クローラーに対して、「このサイトにアクセス制限はございませんので、全てのページをご覧頂いて高評価してくだせぇ!!」って感じですね。

 

ちなみにこのrobots.txtをぶち込んだことで、状況は落ち着きました。

 

robots.txt取得エラーはゼロになり、順位も回復しました

 

備えあれば憂いなし!ということで、是非アナタのサイトにもぶち込んでおきましょう。

 

 

最後に

アフィリエイトは未知の連続で、時には解決するために何日も掛かってしまうことってありますよね?

 

私は今回の事態を解決するために、2日ぐらい費やしました。

 

でも『また、レベルアップできたなー』と思いましたね。

 

アナタも新しいことにチャレンジして何日も費やすことがあると思います。

 

でも、そこを乗り越えた人にしか成長はなく、成功もないということを知ってください。

 

諦めずに続けると・・・

 

テレレレーテッテッテーン!!

 

 
アフィリエイトでガッツリ稼ぎたいなら

⇒アフィリエイト初心者向けのスキルアップ講座

 

当ブログで良く読まれている記事一覧はこちら

⇒評価が高い記事 一覧

メールマガジンのご登録はこちらをクリック

コメントは10件です

  1. とろり より:

    お世話になります。とろりです。
    robots.txtってなんかたまに見るなー、くらいだったのですが、とても大切なものだったのですね!早速ダウンロードさせていただきました!
    大変勉強になりました!ありがとうございます。

    • ttt より:

      とろりさんどうも。

      いやぁrobots.txtの重要性は半端じゃなかったです。
      日々勉強ですね。

      またどうぞ。

  2. さちりん より:

    こんばんは

    そんなに重要だとは知りませんでした。
    私も、この後ダウンロードします。
    良い情報ありがとうございました
    また訪問します!

  3. かなちん より:

    こんにちは。

    いつも楽しく拝見させていただいています。

    一瞬何事かと思いますね!!
    私だったら、まったく分からず、へこんでるだけだったかも・・。
    原因が分かってよかったですね!
    情報ありがとうございます。

    • ttt より:

      かなちんさんどうも。

      一瞬所か、まぁまぁ長い時間『何事・・・?』状態でした。
      それはさておき、ホント原因がわかってよかったです。
      かなちんさんも是非対策を。

      またどうぞ。

  4. マルーン より:

    こんにちは。

    robots.txtエラー恐ろしいですね。。

    通常は要らないということですが、
    サーバー環境でそうなってしまうのは盲点ですね。

    ファイル有難うございます!
    早速アップしようと思います。

    • ttt より:

      マルーンさんどうも。

      robots.txtエラーは中々の恐ろしさですよ。
      知識は力ですね。
      是非使ってください。

      またどうぞ。

  5. yuko より:

    ロボットがアクセスって知って、え?ロボットってどういうこと?って思っちゃいました。
    コンピューターの世界は不思議なことがたくさんありますね。
    私はまだ被害にあった経験が無いのでよくわからないですが、いつ被害にあうか分からないんので事前にこういう情報をしてるのは嬉しいです!ありがとうございます。

    • ttt より:

      yukoさんどうも。

      良くわからない場合も、とりあえずぶち込んどけってことですね。

      またどうぞ。

コメントフォーム

名前

メールアドレス

URL

コメント

トラックバックURL: 
メールマガジンのご登録はこちらをクリック
著者プロフィール

名前:ttt
35歳

20歳 就職『よし、辞めたい』と思う
23歳 脱サラ起業⇒失敗
全く上手く行かないが、ギリギリ生きていける超低空飛行を7年ほど続ける
29歳 アフィリエイトを知る
30歳 SEOアフィリエイト挑戦開始
31歳 アフィリエイト報酬 月100万円突破
32歳 放置でも稼げるので全く働かなくなる
33歳 PPC挑戦⇒売りまくったのでクライアントからお歳暮を貰う
34歳 SEOアフィリエイト再開 月200万突破
35歳 ブログ開始

⇒実績・詳しいプロフィールはこちら
応援ありがとうございます


1日1ポチお願いします。
よく読まれている記事

相談や質問はこちら

お問い合わせ
カテゴリー
実践済みオススメ教材&ツール

ページの先頭へ