Google Webmasterでの「クロールエラー」404について。

  • 不明 のアバター
    howdoigettocarnegiehall · メンバー ·

    今日は。

    Google Webmasterで表記のとおり、「クロールエラー」が558投稿中、285件が404エラーになっています。

    確かに、エラーとして記録されたアドレスからは、たしかに記事が消滅しているようです。(これはいろいろ原因があるようです)

    次にクロールされるときに、訂正されるものなのでしょうか。

    よろしくご教示をお願いいたします。

    ヘルプが必要なブログは (ログイン中のユーザーにのみ表示) です。

  • 不明 のアバター
    naokomc · メンバー ·

    現在はその記事がなくなってしまっているのでしょうか。
    それとも、違うアドレスに移動したのでしょうか。
    可能でしたら、具体的な記事の URL をご指摘の上教えていただければと思います。
    お手数をおかけします。

  • 不明 のアバター
    howdoigettocarnegiehall · メンバー ·

    私もいろいろ原因を突き止めようとしましたが、結果からすると、PHPや.netframework等、記事本文と他のファイル2枚で一つの記事として表示させるシステムが関係していると思われます。

    記事の消滅に関し、余りにも多い404クロールエラー、Googleのクロール自体が毎日訪問しているわけではなく、4–6日間に一度程度なので、私の投稿した記事が消滅したかどうかも定かではありません。
    —————————————————————————-

    http://lucyweeklyworldnewsstand.wordpress.com/2010/09/09/nasaimage-gallerychandra-views-the-heart-of-a-rose-09-01-10-this-composite-image-shows-the-rosette-star-formation-region-located-about-5000-light-years-from-earth-data-from-the-chandra-x-ray/ ……クロールエラーとしてはリストアップされていないようですが、リストが541件もあり、探し切れないのが実情です。しかし、このURLで記事が画面に映し出されているのでクロールエラーにより、記事が消失したとは考えられません。

    全投稿649件(2010.09.29現在)の404は、投稿件数と同じ程度の近似的傾向の数字を出してきます。

    ———————————-

    ここから先は私の推測です。

    この原因は、「.Netframework」のように、記事本文とCSSやその他のファイル、1記事につき、2枚の別ファイルに書き込むことに生じていることと思います。貴社の記事もPHPで作成されているので、状況は同じだと思います。

    http://www.google.com/support/webmasters/bin/answer.py?answer=181708&hl=ja

    やや問題ありの404の現象ですが、これは私だけのブログではなく、システム上の問題ではないかと考えています。

    また記事投稿に2枚のファイルを要するサイトすべての記事全体が、クロールエラーにはなっていないのではないでしょうか？

    何らかの対策を求めたいと思います。

    以上、よろしくお願いいたします。

  • 不明 のアバター
    naokomc · メンバー ·

    リンクされた URL のステータスコードは、404/401 ではなく200（正常に表示されるページのコード）です。http://web-sniffer.net/ からチェックできます。
    リンク先は現在、実際に記事が見つからないページではないようですのでそのほかのページの削除の原因は分かりかねますが、以下をお試しいただくことは可能でしょうか。

    1. ページ名、またはページスラッグを短いものに変更する（URL の日付の後に来る文字列が、ページスラッグです。編集画面でページ名入力フォームのすぐ下から変更できます）
    2. コンテンツを他のサイトなどからコピーして入力されているようですが、重複コンテンツとして Google から問題視されているということも考えられます。オリジナルのコンテンツを投稿されている記事と、そうでない記事との間に、クロールに関して何か差はありますか？

  • 不明 のアバター
    howdoigettocarnegiehall · メンバー ·

    私なりに調べたり、Googleのコミュニティーに問い合わせをしたりして、理解に努めました。

    繰り返しになってしまいますが、Google WEB Masterでは404として列挙されているものは、単体のURLにおいては404ですが、他のファイルと関連付けをされているため、実質404ではなく、二つのファイルが一つのファイルとして分離した役目を担っていることを、Googleが理解をしていないためと考えられます。100件以上調べましたが、関連がないものはなく、表示されることを確認いたしました。

    naokomcさまへの質問に対する回答。
    １．確かにページ名の長さについて、Google Web Master Toolでも19件指摘されています。これは早急に改定いたしたいと思います。この文字が長すぎると、Googleの検索で、記事名がアルファベットの出鱈目な数字の羅列になり、記事名が正しく(ほぼ妥当を含む)ネーミングされていませんでした。

    2.Google重複記事への問題。
    確かにGoogleのWeb Master Toolで、ペナルティーを含むクロール制限が明示されています。私の場合は、まずは単独記事で、一投稿ということはないので、また閲覧者のより多くの人に閲覧していただくことは望んでいないこともあり、ほとんど気にかけいません。

    ただ、参考情報として書きますが、新聞のコピペをそのままアップするのではなく、数社の新聞記事をより集めて、一つの記事としてより多くの情報を、私見を混ぜずに投稿すると、各新聞社の記事掲載より上位に来る場合があります。(現在でもそうした記事があります).

    また新聞記事は、Web上から消えるタイミングが早いので、上位に来ることもあり得ます。(過去の記事は有料検索に記事が回ってしまうからだと思います。

    新聞記事は、とくに速さが重要なので、厳選した1記事だけを投稿するより、多くの人が好みそうな記事や、つまらない、どうでもいい記事も含めて、一日の投稿数をなるだけ増やすと、たしかにクロールが頻繁にやってくるようです。

    ただそれでもすぐにくろーるされるわけではないので、外部サービスを多用して、効率アップに余念はありません。

    しかし、先に申し上げ通り、読者を増やすことには余り興味がありません。

    むしろ、他人が載せない公官庁'(アメリカも含みます)等の硬い話題や、写真を多用したページなどを使い分けています。

    ——————–
    随分、ご迷惑をおかけしました。投稿数にほぼ匹敵する近似的な記事数だったので、安心をしています、ご迷惑をおかけしました。

  • トピック「Google Webmasterでの「クロールエラー」404について。」には新しい返信をつけることはできません。