robots.txt と SEO と サイトの引っ越し
先日のこのやっちまった後の状況で、なんとか改善復帰の確認ができたので、ほっと一安心。結局、ここまでひとつき半かかった。別段、ウラワザ等をかましたなんてことは無く、状況推移を見守ってただけですけど。
先日、とある SEO 情報サイトで少し関連のある情報を見つけました。ユーザーの多い某ホスティングサービスの「存在しないファイルアクセス時の挙動」。
対処法はあるし、全くクロールされないという話ではないので、特に問題視はしてませんでしたけど、ただ、それ以外に、例えば、そこのブログサービスのテンプレートなんかには、Ajax だのなんだのという、イマドキの技術の使いどころをハッキリいって間違っているものがあって、こちらのほうがむしろ深刻かもしれません。
そして、また間違った
なんかこう最近なにボケかましてるのか、上記の対処をしてるときに、確認がてら、ほかの管理サイトの robots.txt を作って入れ直しをしたのです。とあるサイトにいれたものの内容が、なんと!
User-Agent: *
Disallow: /
になっていたという。
ほぼひと月程それで運営してまして、結果、ヒット数、訪問数やページ数がみごとに半分になったという。なにがボケって、そのアクセス数を見てて、ナニもオカシイと思わなかったということ。ナニやってるんだか。
ただね、そういう解析とかいろいろしてて、ヒット数の半分はロボットだと思え、ってこととか、すでに検索サイトに掲載されていて、その後、サイトブロックしたとしても、それ以降に作られたページや内容の更新が反映されないだけで、掲載されているインデクスを速攻削除するわけではないみたいなことが分かったりするんですよ。失敗だといいながら、シッカリ経験したことはそこから成功へ繋げれば良い、と。
ドメイン、URL 変更を伴うサイトの引っ越しの仕方
サイトを引っ越しする時に、URL も変わる場合の対処はどうするのが一番良いかなんてことを考えて、いちおう自分也の手法を確立しそうな状況です。検索サイトへのインデクス状況に悪い影響をなるべく与えない方法。
まずは新サイトをクロールして貰うことでしょうと思い、旧サイトはトップに新サイトへのリンクを載せておき、あとはそのまま残しておいて、新サイトを登録(できるものは)する。その後、旧サイトが上位掲載されているキーワードで、次点に新サイトという状況になるまで待ち、その後、 robots.txt でクロール停止をしたり、必要に応じてインデクス削除依頼をして、最後の最後でサイトのデータ全部無くする。
旧サイトに robots.txt でクロール停止をするのは、新サイトへの誘導の内容がインデクスされた後というのが効果的ですね。先に書いたように、クロールブロックしても、同一ページがすぐ削除されるということではないので、検索されて移行のお知らせが出てれば、ユーザーはそのまま新サイトへアクセスする場合もあるでしょう。その内容自体をインデクスさせるのがテクニック。でも全然難しいことでは無い。
新サイトの状態によっては旧サイトの順位を抜く可能性はあるかもしれません。いまのところ抜いたのを見た事がありません。運営期間、すなわち掲載期間の長さも順位に影響してるようですし、そのままずっと放置していたら抜くかもしれませんが、そこに至るまで、新サイトより旧サイトが上位なのは、邪魔ですから、処理したくなります。
上記でだいたいうまくいってますが、以前、失敗したことがある。自分がどうのこうのしたわけじゃ無くて、コチラの連絡を待ってから旧サイトのデータ削除してね、とクライアントに伝えたのに、新サイトがまだインデクスされていない状態で旧サイトが無くなっちゃった。
旧サイトの掲載内容は移行のお知らせになってましたが、その後、完全に検索サイトから消え去るのが(こういうときに限って)早く、つまり、そのサイトは一時期検索サイトから全く無くなっちゃった。
それでいて、旧サイトは検索サイト以外からもリンクされていて、わかるところにはサイト URL 変更のオシラセをして(これは通常でもやる。大切)旧サイトの URL を無くして新サイトの URL に切り替えるまで、なにもない旧サイト側へのアクセスが止まらず(データ削除というか、領域削除だったから旧サイトの修正は不可能だった)新サイトへの誘導に手間取りました。
作業自体すごい大変とかといえばそうではなく、ただただ「勿体無い」のですよ。だって、クローラーが勝手にサイト調べてってくれて、検索サイトに掲載されて、そこから訪れるユーザーがなんたって多いんですから、その一度できたルートをうまく使うことを考えるのは当然なの。
え?そもそも旧サイトが全然インデクスされてないって?そりゃもうリニューアルを機に、サイトのインデクスされない要因を排除するべく努力するだけでしょう。手間的にはリニューアルよっか、簡単です。100 というこれまでのポイントを無駄にせず、次に繋げるよりも、新規構築時はそもそもゼロですから、よっぽどのミスや以前の不具合が何かを判断できず、そのまま引き継ぐようなことをしなければ、ゼロがいくつかには増えるんではないですかね。
制作や運営やってて、ユーザーに来てもらってナンボってことを意識することが当然なのに、そういった作業時にどういうことがどういうふうに影響するのか、何も知らず、何も考えず、新たに始めたり、やめたり。運営について、ウェブの影響力や効果について、自分達の目的がハッキリしていれば当然気にするべきことなのに、どうして多くの方々が「あえて損する道を選ぶ」のか、どうにも自分には分からない、今日この頃。
もしかして、グチとかではなく、自分が不思議に思ってる「なんでこういうふうにしないの?」という話だけで「損しないウェブサイトの作り方」となるような気がしだしたので、そのへん出し惜しみなんてせずに書いていこうかなんて思ってます。
自分が当然だろ、って思っててもほかではそうでないなんてことはザラにあるのね。ただし、その当然と思うまでには、失敗含めての経験によるものが大きいから、制作者なんであれば、一番大事なのは作って作って作りまくること、そして、ツクリッパナシじゃなくて、その結果を常に把握すること。そこから一段ウエに上がるキモチを常に持つこと。
そーゆーことだな。
2008-04-08 12:09 | WebCreate | ichiro | permalink


Comments
コメントはまだありません