Amazon Linux上で、Python + Selenium + Headless Chromeを使用してWEBスクレイピング

Amazon Linux上で、Python + Selenium + Headless Chromeを使用してWEBスクレイピングをしていきます。

前準備

まず、Amazon EC2で「Amazon Linux 2 AMI (HVM), SSD Volume Type – ami-009d6802948d06e52」を立ち上げます。

Chromeをインストールします。

sudo yum -y install https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm

ChromeDriverをインストールします。

wget https://chromedriver.storage.googleapis.com/2.45/chromedriver_linux64.zip
unzip chromedriver_linux64.zip -d bin/

Python3とSeleniumをインストールします。

sudo yum install python3
sudo pip3 install Selenium

スクレイピング

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import time

def _main():
    options = webdriver.ChromeOptions()
    options.add_argument('--headless')
    driver = webdriver.Chrome(options=options)

    driver.get('https://www.google.co.jp/')
    search = driver.find_element_by_name('q')
    search.send_keys('Python')
    search.send_keys(Keys.RETURN)

    time.sleep(3)
    driver.save_screenshot('search_results.png')

    driver.quit()

if __name__ == '__main__':
    _main()

Googleで「Python」を検索して、検索結果のスクリーンショットを取ります。

python3 test.py

以下のようにスクリーンショットが取得できました。

日本語の文字化け

ただし、この状態で日本語を検索すると、以下のように文字化けしてしまいます。

search.send_keys('パイソン')

そこで、日本語フォントをインストールします。

sudo yum install ipa-gothic-fonts ipa-mincho-fonts ipa-pgothic-fonts ipa-pmincho-fonts

再度実行すると、文字化けすることなく、スクリーンショットを取得できました。