Webページに有用な情報があっても、ページはある日突然変更されたり消えてしまったりすることがあります。ここではWebページをPDFとしてオフラインに保存する方法を紹介します。
続きを読むPythonのpdfkitで任意のWebページをPDF化する方法
Webスクレイピング
SeleniumのChromeをバックグラウンドで起動する方法
PythonでSeleniumを使うと、Google Chromeを自動操作することが可能です。実際にChromeが画面上に立ち上がる動作をしますが、決まった操作であればあえてPC画面に表示させる必要はありません。ここではSeleniumでChromeを使う時に画面に何も表示させないヘッドレス起動の方法を紹介します。
続きを読むSeleniumのChromeをシークレットモードで起動する
PythonのSeleniumパッケージを使ってChromeを自動操作できることがわかりましたが、Chromeはユーザの操作履歴によってGoogle検索のランキングが変わるという特性があります。ここでは履歴情報を使わないPythonによるシークレットモードでChromeを起動する方法を紹介します。
続きを読むPythonでGoogle検索タイトルとURL一覧を抽出してみた
近年Google検索は完全に情報収集の基本になっています。Webスクレイピングで自動情報収集をする場合、Google検索結果を扱えるようになると世界中の情報をシステマティックに処理できるようになります。ここでは、Google検索で得られるタイトルとURLを一覧で取得する方法を紹介します。
続きを読むPython/Seleniumでclass名で情報取得する方法
SeleniumでWebスクレイピングをする時に、これまでxpathやid名を使ってきましたが、今回はHTMLのclass属性名で情報を取得してくる方法を紹介します。
続きを読むChrome拡張!XPath Helperのインストールと使い方
PythonでWebスクレイピングのコーディングをしていると、xpathによる情報抽出が便利であるとわかりました。しかしHTMLの構造を毎回解析するのはやっかいです。Chrome拡張機能である「XPath Helper」を使えば簡単に任意要素のxpathを取得することが可能です。
続きを読むPython/Seleniumで便利なxpath検索をする方法！
PythonのSeleniumでWebスクレイピングを行う時、HTMLをどう効率良く分析するかが分析の焦点になります。xpathをトリガにした検索方法を使うと非常に簡単に目的の情報を抽出することができます。ここではseleniumのxpathによる検索方法を紹介します。
続きを読むPython/SeleniumでChrome自動Google検索
Seleniumというパッケージをインストールし、Chrome Driverをインストールすると、Pythonを使ってGoogle Chromeのブラウザを自動で操作することができます。ここではGoogle検索を自動で行う方法を紹介します。
続きを読むPython/ChromeDriverインストールとパスの通し方
PythonでWebスクレイピングを行う時に、seleniumを使えばGoogle Chromeブラウザを自動操作できるので単純にrequestsだけで出来ない操作ができるようになります。ここではChromeを自動操作する時に必要なchromedriverのインストールとパスの設定までを説明します。
続きを読むPythonのBeautifulSoupでWebスクレイピング!
PythonでWebにリクエストを送信し情報を取得した後、意味のある解析を行うためには適切にHTMLから情報を削ぎ落さなければなりません。ここではBeautifulSoup4を使った簡単なWebスクレイピング技術を紹介します。
続きを読む12