ウェブサイトの主要なURLのIndexチェックはCustom Search APIを利用する

SEOでGoogle検索のランキングチェックをしている企業や個人も多いと思います。Search Consoleでのレポートも多いため普段はそちらをチェックしているのですが、以前なんの拍子でか主要ページURLがIndexから外れていたという事がありました。Search Console側では数日後に検知されていましたが。

ただ、これを気に主要ページだけでもIndexチェックを自動的に回したいなと思い、毎月1回主要ページをのIndexチェックをCustom Search APIを利用することにしました。
Index調査は色々ツールもあるでしょうし、もっと簡単に分かる方法もあるとは思いますが今回はCustom Search APIを利用した場合です。
※1日100リクエストまで無料なので無料枠範囲内で毎日別のURLチェックをすることである程度低価格 OR 無料範囲内でチェック可能

ざっと適当なコードはこちら。

API_KEY = '' #consoleで発行したAPI KEY
CUSTOM_SEARCH_ENGINE = '' #Custom search engineで発行されたID

def get_url(search_keyword):
    urls = []
    query = 'https://www.googleapis.com/customsearch/v1?key=' + API_KEY + '&cx=' + CUSTOM_SEARCH_ENGINE + '&num=1&q=' + quote(search_keyword)
    res = urllib.request.urlopen(query)
    data = json.loads(res.read().decode('utf-8'))
    
    try:
        urls.append(data["items"][0]["link"])
        return urls
    except:
        # Indexされていないことを伝える通知とか

こんな感じでCustom Search APIを叩いていきます。
検索キーワードはGoogle先生おなじみの `site:` を利用していきます。

例) site:www.google.co.jp

で叩いているURLを見れば分かるように1位しか取得していません。1位のURLがIndexしたいURLと同一であればIndexされている。そうでなければされていないと判断でしていきます。

ただ必ず1位になるわけではない点は注意です。
適切にウェブサイトが整えられていて、サイト内リンク構造もキレイであれば基本的には1位になるわけですが、そうでない場合は1位に来ないのでそこは反省しましょう(?)

(参考)Custom Search JSON API