[Python] Scrapyを使ってみる (1)
Scrapy Scrapyとは、Pythonでクローラを実装するフレームワークです。 webページの巡回→webページからの情報の取得→取得した情報の加工・保存、という一連の流れを、Scrapyの中で完結することができます。 Scrapy公式サイト まず...
Freedom is a responsible choice.
Scrapy Scrapyとは、Pythonでクローラを実装するフレームワークです。 webページの巡回→webページからの情報の取得→取得した情報の加工・保存、という一連の流れを、Scrapyの中で完結することができます。 Scrapy公式サイト まず...
以下の記事の続きです。 今回は、経済産業省のプレスリリースから、過去のアーカイブをまとめて取得して、csvファイルに保存します。 まずは、前回のコードをアーカイブのページのURLを対象にして実行し、問題なく動作することを確認します。 CSVへの保存...
Selenium Seleniumは、webアプリケーションのテストのためのフレームワークですが、スクレイピングでも良く使われます。Seleniumを使うことで、webブラウザを操作することができます。 公式サイト 今回はPythonでSeleniumを使うこ...
robobrowser Pythonでwebスクレイピングを行うためのライブラリです。 セッション部分にはrequestが、HTML部分にはbeautifulsoupが内部で対応しています。 とてもコードは書きやすいですが、robobrowser==0...