Marketing Sphere: screaming frog

ラベル screaming frog の投稿を表示しています。すべての投稿を表示

7月 31, 2015

ウェブサイトがクロール出来る状態であるにも関わらずアクセスが殆ど無いページをScreaming Frog SEOで抽出

今月はじめにScreaming Frog SEOもVer.4.0となりまして、更にイケてるUpdateが数多くされております。
本家でも大きな機能改修としてうたわれている機能の中の1つ、Google Analytics APIとの連携機能。こちらがまた素晴らしい。

Google Analytics APIと連携すると、ある特定ページに対して"全然アクセスが来ない・・・"という受け身から、nofollow等でブロックされていないか？階層は深くないか？などクロール視点からページを分析出来るようになります。検索エンジン側に表示された場合のタイトルや説明文、その他細かい分析を同時に出来るようになります。

設定方法

1.Google Analytics APIとの連携をする(起動後毎回行う必要があります。)

2.初回は「Connect to New Account」をクリックします。2回め以降は「Existing Accounts」という欄に自分のメールアドレスが表示されているので、そこを選択して「Connect」ボタンを押します。

3.ブラウザが起動し、認証画面が表示されるので認証画面で「Accept」を押します。
その後「Received verification code. You may now close this window...」というメッセージが表示されたら、ブラウザ側は閉じてアプリ側に戻ります。

4.Screaming Frog SEO側で連携するプロパティや、最初からセグメントされたデータだけを分析したい場合は、Google Analyticsに最初から用意されているアドバンスセグメントデータを選択出来ますので、そちらで設定を行います。

5.実際にどのmetricsを表示したいか、どのdimensionを選択したいかは各タブで選択可能です。「Date Range」タブは集計期間です。

6.設定が完了すると、「Analytics」というタブが発生し、ウェブサイトをクロール後、Analyticsのデータはそこから確認出来るようになります。

クロール後にAnalyticsのタブを見てみると設定したmetricsデータが表示されています。

画像 : screamingfrog.co.uk

【参考】
Screaming Frog SEO Spiderとその使い方・活用法に関する記事はこちら

2月 12, 2015

Screaming Frog SEOがVer.3.0へアップデート

Screaming Frog SEOがバージョン3.0へアップデートしました。
競合サイトの分析だったり、SEO系の調査ではかなりお世話になっているツールですが、Ver.3.0へアップデートされて、「Internal」タブにツリービューが追加されて、よりウェブサイトの構造調査が視覚的にわかりやすくなりました。

HTTPSサイトであることも、SEOに対して少なからずの影響を与えるようになりつつある・・・または今年の中頃からのEFFによるHTTPS証明書無料化によって、今後よりHTTPSへの移行圧力が今後も広がってくる可能性がありますが、そのあたりの状況も簡単に分かるようになりました。

バルクレポートもファイルは巨大になりますが非常に有用です。
ここの「Directives」レポートが改善され、結構細かくURLリストをダウンロード出来るようになりました。

Response Timeは「Internal」タブへ移動、Last Modified項目が追加と、Last Modifiedに関してはGoogleがサイトスピードのブラウザキャッシュの項目に対して、言及していたりしますが、この辺りも見ることが出来ます。

Response Timeの遅いページ群を抽出してみたり、Last Modifiedの活用によってウェブサイトの高速化を検討してみるという気付きも得られるので良いですね。

アップデートの詳細な情報はこちらに記載されています。
ツールを使っている方は少ないかもしれませんが、ぜひチェックしてみてください。

＜参考＞
Screaming Frog SEO Spiderとその使い方・活用法に関する記事はこちら

10月 27, 2014

競合他社がせっかく公開してくれているキーワード群を使って自社の検索ランキングはチェックしておこう

Googleがmetaタグの「keywords」を検索ランキングに利用しなくなって久しい訳ですが、それでも現在も「meta name="keywords" content="・・・"」とページへ書いているサイトも多いと思います。

私自身は新規サイトへは導入せず、既存サイトもリニューアルタイミングなどを見計らって削除してしまうという方針を立てていますが、海外のSEO業者の中では削除が推奨されている認識です。
海外でもページ単体のSEOを簡易に測定してくれるようなツールがありますが、そのレポートではkeywordsの削除を推奨されていることがあります。

削除の理由としては、現在検索エンジンが参考にしなくなったのであれば単純に不要だとする他にも、競合他社に「このページで狙っているキーワードはコレですよ！」と教えているだけでしかないからだと説明されています。

単純にkeywordsを解析しなくても、ページ内で利用している単語やフレーズを解析することで大体想像は付くというものではありますが、そんな手間を掛けずにkeywordsを取得してしまったほうが競合分析としては早いですよね。

私の場合は単純にScreaming Frog SEOで競合他社サイトを分析したタイミングでkeywordsデータも取得してしまって、あとはGRCなどのキーワードランキングチェックツールに登録しておくことがあります。

もちろん頻繁にはしませんが、他社がせっかく公開してくれているデータなので利用しない手はありません。Screaming Frog SEOであれば、例えばクエリに制限をかけたり、Depthに制限をかけたりすることで、なるべくクロールするページの重複を避けて沢山のページをクロールしたほうが良いでしょう。

会社によってはギンザメトリクスのような有料ツールを利用されている会社も有ると思いますが、競合他社分析の一つの手段として利用されるのは、意味がある事だと思います。
競合他社が狙っているキーワードに対し、自社でランディングページを用意していない場合だったり、隠れたユーザーのニーズを他社が狙っている場合だったりと、様々な発見が期待できるはずです。

ぜひ検討してみてください。

【参考】
Screaming Frog SEO Spiderとその使い方・活用法に関する記事はこちら

10月 10, 2014

Screaming Frog SEOの「Bulk Export」を利用してアンカーテキストやAltテキスト抽出

Screaming Frog SEO Spiderの「Bulk Export」は以前、「Success(2xx) In Links」という箇所を使ってサイトの内部リンク構造を分析するという内容をお伝えしましたが、この「Success(2xx) In Links」または「All Anchor Text」を利用するとサイトの内部リンクの中でのアンカーテキストを一括で出力することができます。

また、同様に「All Image Alt Text」を利用することで、Altテキストを一括で出力することができます。

「Success(2xx) In Links」でも出力が出来ますが、アンカーテキストとAltテキストの両方が混ざることの他に、名前の通りHTTPステータスが200以外も含むか含まないかという違いも出てきます。

「All Anchor Text」でデータをエクスポートすると、以下項目が出力されます。

Source
Destination
Alt Text
Anchor

Sourceがリンク元、Destinationがリンク先、Alt Textはimageのaltテキスト、Anchorがリンクのテキストです。

Destinationでリンク先URLを絞りこみながら、ターゲットとなるキーワードでちゃんとリンクが出来ているか、または「こちら」みたいな無意味なキーワードでリンクが構成されていないかどうかをチェックできます。

前から利用していたものの、最近少し助けられた事があったので価値を再確認したところです。

この辺りのBulk機能も、ぜひ利用してみてください。

【参考】
Screaming Frog SEO Spiderとその使い方・活用法に関する記事はこちら

9月 22, 2014

Screaming Frog SEOの設定を有効活用しよう

Screaming Frog SEOについては今までも色々な使い方を紹介してきました。
このクローラーについて細かく設定をすることが出来ますが、毎回決まった設定があるのであれば「デフォルト」設定に登録をしておきましょう。

Screaming Frog SEOは定期的に利用するものもありますが、スポットで利用するときに設定するのは、例えばLimit Max Folder Depth。

例えば設定値を2とすれば、 http://www.blabla.com/blabla/blabla/ という2階層までをクロールしてみたり、「Limit Number of Query Strings」を「0」として、URLの「?」以降のリクエストパラメータを全て排除してクロールするといったことができます。

他にもIncludeやExclude、URL Rewritingあたりはよく利用します。
ただ、Include / Exclude設定で、クロールしたページ内にクロール対象URLが存在しない場合にはクローラーが行き場を失って停止したりします。

この辺りの設定はいじったり、実際にクローラーを回しながら覚えていきましょう。
リンク構造の生データを取得したら、加工をしながら実際のウェブサイトのリンク構造を絵にしてあげればイイだけです。

自分でクロールしたいページだけ、クロールしたいURLだけ、クロールしたい階層だけといった細かい設定が可能なので、こういったツールを一つ持っておくと良いと思います。

＜参考＞
Screaming Frog SEO Spiderとその使い方・活用法に関する記事はこちら

9月 21, 2014

Screaming Frog SEOで調べたURLに対し、MozscapeやAhrefsを自動で走らせる「urlprofiler」

「urlprofiler」というツールが、Screaming Frog SEOに対応したよ！という記事があがっていました。

もともと、urlprofilerは各種SEO業者のツールによるページ解析結果を自動で取得してくれるツールで、もしMozscapeなどに有料契約をしていたら、APIをツールに登録しておけば、自動で情報を取得してくれます。

個人的には前まで有料契約をしていたことがあったものがありますが、今はフリー契約になっているツールもチラホラ。
今フリーでもAPIで情報が取得できるものだけデータを取得してみています。

ただ、この「urlprofiler」も有料ツールなので、結果を見てから継続を考える感じです。
Domainレベルであればツールを通す必要性もないような気もするので、ページレベルでデータが必要かどうか。。。ページスピードだったりソーシャル系だったり。そのあたりでこの有料ツールを使う意味が変わってくるかもしれません。

8月 26, 2014

大規模サイトにおけるサイト内リンク構造に関するメモ

先週一部SEO業者が入っていると思われる大規模ウェブサイトのサイト構造を追加調査を行っていたのですが、その中で当たり前といえば当たり前と思われるメモを共有します。
ウェブサイトのリンク構造を考える上で「サイロ構造」の話はとても有名ですが、知っていても実践は意外と難しいと感じていたりします。特に大規模サイトでは。

ウェブサイト構造が大規模な場合、サイロ構造はサイトの部分部分の構造を切り出して、最適化をしていき全体は最後に整えれば良いかなと考えていたのですが、他社サイトを見ているともう少し違った見方が出来るかもしれないと感じました。

もちろん、このやり方が正しいという事ではありませんが、クローラビリティの高いウェブサイトを構築する上では、思考を補ってくれるものになるかもしれません。
そのやり方ですが・・・

絵が分かりにくいとは思いますが、まずは青の部分からスタートして全体を説明すると、ある特定のディメンション、例えば何らかの「分類」による階層構造をサイロ構造を意識してリンクを構築していきます。そして最も深い「分類」階層からさらに絞込機能を通じて緑のページへたどり着きます。

緑のページももちろんサイトとして重要で、URLも正規化しておりSEO的にも重点を置きたいページだとすると、そのページのクリック階層を引き上げる為に、その緑に対する低階層化策としてクリックレベル1を用意し、「分類」側からだとクリックレベル4のページをクリックレベル3へ引き上げるリンクを貼ります。
※クリックレベルについてはこちらを参照

まぁ、当たり前といえば当たり前なのですが、結構クリック階層を浅くするためにどうしたらいいかなと考えている時に限って、頭から抜け落ちていたりします。

＜参考＞
Screaming Frog SEO Spiderとその使い方・活用法に関する記事はこちら

8月 19, 2014

Screaming Frog SEOのクリック階層の概念を単純構造のウェブサイトを使って整理する

Screaming Frog SEO Spiderで何度かクロールバジェット的な意味で重要だと言ってきた「クリック階層」について、ちゃんと理解をすべく調べてみました。

まずは単純なサイト構造を容易してクロールをさせるとクリック階層を表す「Level」はこのようになりました。

実際のデータはこんな感じです。

もちろん、これをツール内の「Depth Stats」でグラフにするとこうなります。

では、リンクをこのように一本加えて、もう一度クロールしてみます。

そうすると、Level3にあった「1-3.html」がLevel2へ昇格しました。

Depth Statsも同様です。

以上のことから、以下のことが分かります。

Screaming Frog SEOのクリック階層は最短ルートのLevelを表す
Screaming Frog SEOでクリック階層が深いページ群は本当に横導線などが存在しなくページが深い。そして深いページはIndexされにくい。

これを踏まえて前回お見せした、複数社のウェブサイトを見ると各社のSEO担当者、委託業者の頑張り具合が分かるといった言葉の意味が少し分かっていただけるかなと思います。

ぜひ皆さんの会社のウェブサイトも、実際のクリック階層を意識してみてください。

<ご参考>
Screaming Frog SEO Spiderとその使い方・活用法に関する記事はこちら

8月 05, 2014

Screaming Frog SEOでサイト内リンク構造分析

連日「Screaming Frog SEO Spider」をなぜか押した記事を投稿しておりますが(笑
「Screaming Frog SEO Spider」では今までご紹介したようなタイトル重複をチェックしたり、競合他社を調査したり、クローラビリティをチェックできるだけではありません。

前回「クローラビリティ」として、ページの深さをグラフ、数値で取得できることをお伝えしました。また、ページが深いURLリストを取得できるので、深いページに対して何らかの手を打つ事が可能になることをお伝えしました。

それに派生して、今回は「リンク分析」をご紹介します。
凄いざっくりとした「nanapi」さんのURLのリンク構造をビジュアル化してみました。

今回、URLをグルーピングせずに、生データをそのままビジュアル化したので、イマイチ良くわからない状況になっていますが、グルーピングするとこのページ間の結びつきがわかりやすくなります。

では、実際にデータの取得方法をご紹介しましょう。

リンク構造の元データを取得する

「Screaming Frog SEO Spider」でクロールが終わったらツールバーの「Bulk Export」で「Success(2xx) In Links」を選択して、データをダウンロードします。

出力される項目はこのようなものです。

"Type"
"Source"
"Destination"
"Alt Text"
"Anchor"
"Status Code"
"Status"
"Follow"

画像なども含まれてくるので、Alt Textという項目があったりしますが、利用するのは「Source」と「Destination」です。
即ち、どのURLからどのURLへリンクが貼られているかというデータです。

クロールとリンク関係は全く別なので例えば100ページクロールしていた場合、出力されるデータは200だったり300といったリンク関係が出力されます。

あとはビジュアル化するだけです！
単純にURLの紐付きだけでビジュアル化してもいいし、線の太さをリンク数などで重み付けしてもいいでしょう。

単純にページの階層が深いとか浅いというだけではなくて、特定のページ群がどのページ群とどれくらいの結びつきでリンクをしているか・・・といったデータまで見えます。
ページ群といったグルーピングに関しては、自社サイトと競合サイトで一緒に行ってみると良いと思います。

どうでしょう？
そろそろ「Screaming Frog SEO Spider」の凄さがわかってきましたか？？(笑

<ご参考>
Screaming Frog SEO Spiderとその使い方・活用法に関する記事はこちら

8月 04, 2014

「Screaming Frog SEO」で計測するクローラビリティ

今までも何度かご紹介した「Screaming Frog SEO Spider」ですが、いっこうに国内で流行っていない感が否めません・・・が、本当に重要なツールだと思うので、どんどん活用事例をご紹介していこうと思います。

(過去の記事はこちら)

今回は「クローラビリティ」を計測します。

ページの深さを計測する

「Screaming Frog SEO Spider」で取得できる値の中に"ページの深さ"があります。ある特定のページへ到達するまでに何回クリックを要するかです。クロールバジェットの考え方からも、この点は非常に重要なポイントになりますが、「Screaming Frog SEO Spider」なら自動的に数値が取得できます。

例えば、とあるウェブサイトを数万件クロールしてみた時のDepthを見るとこんな感じに見えます。

このレベルは、SEO業者も入っていてクローラビリティもちゃんと考えられているなと直ぐに分かります。
「Screaming Frog SEO Spider」のFAQ等では分かりませんが、動きを見ている感じでは、Aというルートではクリックが5回必要でも、Bというルートでクリックが3回で到達できるページであれば、「3」と集計されるようです。

なので、クロールしはじめた段階でDepthが「5」となっていたページ数が全体の2割を占めていても、クロールページ数が増えるとともに「5」としてカウントされていたページ数が一気に減ったりします。

ウェブサイトの性質に加え、クローラビリティの両面を考えた場合、普通のサイトは経路によってDepthが異なるのは当たり前だと思います。しかし！最終的に数万件のサンプルページをクロールし終えた段階ではDepthが最大5以内には主要なページを押さえておくべきでしょう。
ただし全ページではないので、あくまで参考値として見ておくべきでしょう。

このデータさえ手元にあれば、SEO業者に依頼する必要が無くなるかもしれません。
こちらのデータは「nanapi」さんです。

深いページのリストを取得するには？

さて、ざっくりページをクロールしてみて何回もクリックしないと到達できないページ群がどの程度あるかはグラフを通じて分かりました。では、深いページがどのようなページかを特定するにはどうすればいいでしょうか？

「Screaming Frog SEO Spider」の「Internal」タブに「Level」という項目があります。ここが深さを示します。

クロールスタートページが「0」で、そこからどれくらい深いかが数字で示されます。

データをExportすれば、URLのリストが出来上がります。

また、10以上の数字はグラフでは「10+」として纏められてしまいますが、Levelではちゃんと数字で見ることもできますので、重要なページが深い場所にいる場合は導線の見直し、即ちウェブサイト内でのリンクビルディングに注意を払うべきでしょう。

もう一つ重要な指標。「内部リンク」数

ウェブマスターツールでも「内部リンク」として提供される、ウェブサイト内におけるリンクされている数ですが、「Screaming Frog SEO Spider」では「Internal」タブの中にある「Inlinks」として提供されています。

ウェブサイトを作る上で重要なページには無意識的に「パンくず」や「フッター」でリンクを貼ると思いますが、やはりちゃんと数値でチェックはしておきたいところ。

検索エンジンにIndexされていないページが、実は殆どリンクが貼られていなかったりしませんか？
また、Inlinksが少ないということは横導線が無いということです。どういうページ群で横導線が足りていないのかをちゃんと把握しておきましょう。

各個別の読み物ページでは横導線は不要なのでしょうか？
上下の階層へのリンクさえあれば、そのページは良いのでしょうか？

もう一度検討してみてください。

もちろん、クローラビリティは以上の2点だけではありません。
でも、一番見えにくくKPI化されていない部分ではないでしょうか？ページスピードだったり、他の無料の解析ツールでも見えるものはいくつもあります。

内部リンク数もウェブマスターツールで見えるでしょう。
でも、恐らく足りていませんよ？？
ぜひ「Screaming Frog SEO Spider」を活用してみてください。別に回し者でも何でもありませんが(苦笑

<ご参考>
Screaming Frog SEO Spiderとその使い方・活用法に関する記事はこちら

7月 31, 2014

Screaming Frog SEO Spiderをタスクスケジューラで定期的に動かす

Screaming Frog SEO Spiderがタスクスケジューラに対応しましたので、早速試してみました。

■Windows

Windows 8の場合、「コントロールパネル」＞「管理ツール」＞「タスクスケジューラ」を開きます。

同画面右側の「基本タスクの作成」を押します。

タスク作成画面が出てきますので、まずは「全般」タブから

次に「トリガー」タブで「新規」を押します。

例えば毎週日曜日、0時に起動するタスクであればこんな感じで設定すれば良いでしょう。

問題がなければ「OK」を押します。
次に「操作」タブで「新規」を押します。

「プログラム / スクリプト」欄の「参照」ボタンからScreaming Frog SEOのexeファイルを指定します。32bit版OSであれば通常「C:\Program Files\Screaming Frog SEO Spider」にあります。
※以下の画像は64bitOS版です。

そして、「引数の追加」のところに

--crawl http://www.example.com/

のように、「--crawl」と指定したいURLを入れれば完成です。

ちゃんとスケジュールが出来たかどうかは、左メニュー「タスクスケジューラライブラリ」でチェックしてみてください。

■Windowsでデスクトップにショートカットを置く

引数を持ったタスクスケジューラが登録できるということは・・・デスクトップに直接ショートカットを置くことも可能だということです。
ショートカットを置けば、わざわざアプリケーションを起動してから特定のURLを入力したりする必要がなくなります。

では早速作成してみましょう。

デスクトップなどを右クリックして「ショートカット」を作成します。

まずはスケジュールを作る時と同様に「参照」ボタンを押して、Screaming Frog SEOのexeファイルを指定します。

その後に引数を指定します。

これで完成ですね。

■Mac OS X

Macのスケジュールの組み方は、Windowsユーザなので詳しくないのですが、オフィシャルの案内に寄ると

ファイル作成 : uk.co.screamingfrog.seo.spider.scheduler.plist in ~/Library/LaunchAgents/

コンテンツの内容はこのようなソースとなるようです。


<?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE plist PUBLIC "-//Apple//DTD PLIST 1.0//EN"
"http://www.apple.com/DTDs/PropertyList-1.0.dtd">
<plist version="1.0">
<dict>
<key>Label</key>
<string>uk.co.screamingfrog.seo.spider.scheduler</string>
<key>ProgramArguments</key>
<array>
<string>open</string>
<string>/Applications/Screaming Frog SEO Spider.app</string> <string>--args</string>
<string>--crawl</string>
<string>http://www.example.com/</string>
</array>
<key>StartCalendarInterval</key>
<dict>
<key>Hour</key>
<integer>2</integer>
</dict>
</dict>
</plist>



<ご参考>

Screaming Frog SEO Spiderとその使い方・活用法に関する記事はこちら

7月 10, 2014

インハウスでSEOを担当するからこそ利用したい「Screaming Frog SEO Spider」のすすめ

海外ではよく利用されていますが、国内ではツール名くらいしか紹介されない有料ツール「Screaming Frog SEO Spider」ですが、非常に有力なツールで個人的には愛用していますので、実際にどんな使い方をしているの？という点を中心に説明をしたいと思います。
※無料でも使えますが取得可能URL等に制限が入ります。

Screaming Frog SEO Spiderって何？

一言でいうと自分のPC内(ローカル環境)で動かす「クローラー」です。

「Screaming Frog SEO Spider」で何が確認できるの？

主だった機能だけのご紹介になりますが、クローラーですので指定したURLからリンクを辿って、URLリストを取得していきます。

取得したURLリストから、HTTPステータス500系とか400系のリストなどが取得できます。

タイトル重複やタイトルの文字数が多い/少ないなどのリストが取得できたりします。

簡単なレポーティング機能もあります。

実際にどう活用しているの？

上で軽く触れた事で、大体予想が付くとは思いますが・・・

【活用事例1】canonical先/3xxリダイレクト先URLが間違っていないかチェック！

canonicalタグの設定をミスると、Indexから落ちる可能性があります。

canonicalの設定もザックリとツールでチェックしましょう。

3xx系のリダイレクトも一緒です。ちゃんとリストでチェックしましょう。

【活用事例2】タイトル重複・短いタイトル・短いdescriptionチェック

タイトル重複。ウェブマスターツールから引っ張るのも重要ですが、新規ページ群のリリース前のチェックなどでも利用したいところ。

ページのタイトルが短いとクリックされませんよね。重要なページのタイトルが短くなっていないか注意して見ましょう。

ディスクリプションも一緒ですよね。クリックされない一言の説明文が書かれてはいませんか？

【活用事例3】競合分析

今まで紹介してきたものは普通に競合分析としても使えるわけですが、一番よく使うのが「レポート」の「crawl overview」です。
どんな項目を比較しても良いのですが、例えばURIを比較してみたり、重複タイトルの比率を比較してみたり。

【活用事例4】リンク切れチェック

4xx系や5xx系のURLリストを出力してみて、リンク切れやおかしいリンクが無いかどうかをチェックしましょう。

【活用事例5】パラメータ付きのURLをチェック

たくさんパラメータが付くようなURLが重要なページになってはいませんか？

Indexされたいページなら正規化するなど、ちゃんと対策をしないとダメだと思いますが、ざっくりとでもチェックしてみましょう。

【活用事例6】クロールバジェットを意識したクローリング設定

サーチのDepth設定など、クロールバジェットを意識した設定でクローリングさせ、重要なURLのリストが取得できるかどうかなど、クローラーの設定を変更させながら検証してみましょう。

こんな感じで代わりのツールも色々ありますが、「Screaming Frog SEO Spider」も一つの選択肢として入れてみてはいかがでしょうか？

注意点

・JAVAを利用するアプリなので、メモリを本当に食います。そして食いすぎて停止します。
「Screaming Frog SEO Spider」自身が利用するメモリを設定で拡張できます。ただ、それでも10万URL級は相当メモリを積んだマシンでも厳しいものがあります。
Spider自身の設定でリミットを掛けるべきだと思います。
※ちなみに10万URLだと6Gくらいは食います。

・アクセスは常識の範囲内でしましょう。攻撃とみなされるくらいアクセスをしたりしないように！

<ご参考>
Screaming Frog SEO Spiderとその使い方・活用法に関する記事はこちら

Marketing Sphere