【Python入門】検索サイトの検索結果をスクレイピングする

Webサイトの情報をプログラムで取得したい

そんなときはPythonでWebスクレイピングすれば簡単に取得できます。

以下のサンプルはSeleniumを使った方法です。

以下の手順を自動で行ってくれます。

①Yahoo検索サイトにアクセスして、キーワードに”青汁”を入力。

②検索ボタンを押す。

③広告を除いた一番上に表示された検索結果を取得。

④コンソールに表示する。

yahoo検索の検索結果をスクレイピングするサンプルプログラム

#!/usr/bin/env python
# -*- coding: utf8 -*-
import sys
import time

import json
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.keys import Keys

print("start")

options = Options()
#options.add_argument('--headless')
options.add_argument('--no-sandbox')
#options.add_argument('--disable-gpu')
browser= webdriver.Chrome(chrome_options=options)

url = "https://www.yahoo.co.jp/"
browser.get(url)

word = "青汁"
e = browser.find_element_by_id("srchtxt")
e.clear()
e.send_keys(word)

e = browser.find_element_by_id("srchbtn")
e.click()

e = browser.find_element_by_id("WS2m")

w = e.find_element_by_class_name("w")

text = w.text
print("%s" % (text))

print("end")