にほんブログ村 ポータルブログへ 人気blogランキング
    Blogtimes

    2006年06月02日

    Seesaaブログのrobots.txt

    これはSeesaaブログユーザ以外にはあまり関係ない話です。
    数カ月前の事ですが、各ブログサービスにおける「robots.txt」の設置状況に関する調査レポートを、どこかのブログ記事で見ました。
    Seesaaブログにも設置しており、検索エンジンのクローラに制限を掛けているという事なので、私も試してみました。

    robots.txtがある場所は ttp://*****.seesaa.net/robots.txt であり、当時の設定内容は以下のとおりです。
    (HTTPヘッダ含む)


    HTTP/1.1 200 OK
    Date: Sun, 26 Feb 2006 07:12:06 GMT
    Server: Apache
    Last-Modified: Thu, 15 Dec 2005 01:17:04 GMT
    ETag: "46749-3c-d7ad2400"
    Accept-Ranges: bytes
    Content-Length: 60
    Content-Type: text/plain; charset=Shift_JIS
    Connection: keep-alive

    User-agent: *
    Disallow: /category/
    Disallow: /archives/

    少なくとも昨年の12月からディレクトリ「/category/」「/archives/」配下にクローラが入って来られない設定にしてありました。
    (お行儀の悪いシステムは、robots.txtを無視してしまうらしいが)

    で、たまたま最近調べてみたら、異変がありました。


    HTTP/1.1 200 OK
    Date: Thu, 01 Jun 2006 21:09:57 GMT
    Server: Apache
    Last-Modified: Thu, 18 May 2006 20:53:30 GMT
    ETag: "1f2337-0-3a7dc680"
    Accept-Ranges: bytes
    Content-Length: 0
    Content-Type: text/plain; charset=Shift_JIS
    Connection: close


    今年の5月にクローラの制限を解除しています。

    Seesaaブログユーザには周知の事実ですが、5月12日、Seesaaブログに大幅な機能強化がありました。
    特に【Seesaaからのお知らせ】Seesaa ブログ、新規機能の追加および強化のお知らせにおいて
    【機能強化3】「カテゴリ」「過去ログ」ページにページング機能を追加
    にかかわっていると思われます。
    今回の変更で「/category/」「/archives/」配下のファイルの持ち方が変わったため、事前に規制を掛けていたのかとも推測しています。
    タグ:robots.txt Seesaa
    posted by fullmoon-pon at 08:06 | 東京 🌁 | Comment(0) | TrackBack(0) | Seesaa | このブログの読者になる | 更新情報をチェックする | はてなブックマーク - Seesaaブログのrobots.txt
    にほんブログ村 ポータルブログへ 人気blogランキング
    この記事へのコメント
    コメントを書く
    お名前: [必須入力]

    メールアドレス:

    ホームページアドレス:

    コメント: [必須入力]


    この記事へのトラックバック