Screaming Frog SEOの設定を有効活用しよう

Screaming Frog  SEOについては今までも色々な使い方を紹介してきました。
このクローラーについて細かく設定をすることが出来ますが、毎回決まった設定があるのであれば「デフォルト」設定に登録をしておきましょう。

Screaming Frog SEOは定期的に利用するものもありますが、スポットで利用するときに設定するのは、例えばLimit Max Folder Depth。

例えば設定値を2とすれば、 http://www.blabla.com/blabla/blabla/ という2階層までをクロールしてみたり、「Limit Number of Query Strings」を「0」として、URLの「?」以降のリクエストパラメータを全て排除してクロールするといったことができます。

他にもIncludeやExclude、URL Rewritingあたりはよく利用します。
ただ、Include / Exclude設定で、クロールしたページ内にクロール対象URLが存在しない場合にはクローラーが行き場を失って停止したりします。

この辺りの設定はいじったり、実際にクローラーを回しながら覚えていきましょう。
リンク構造の生データを取得したら、加工をしながら実際のウェブサイトのリンク構造を絵にしてあげればイイだけです。

自分でクロールしたいページだけ、クロールしたいURLだけ、クロールしたい階層だけといった細かい設定が可能なので、こういったツールを一つ持っておくと良いと思います。

＜参考＞
Screaming Frog SEO Spiderとその使い方・活用法に関する記事はこちら