本記事は、11/6に開催したこちらのウェビナー動画の内容をダイジェストでご紹介します。
今回は「チュートリアル中級編 レッスン1」として、Webサイトから表形式の情報を一覧で取得する「webスクレイピング」の基本操作に焦点を当て、シナリオ作成のデモンストレーションが行われました 。
当日のセミナー内容を元に、発注ページの表から商品名リストを抽出し、Google spreadsheetに自動で転記するシナリオの作成方法を詳しく解説します。
webスクレイピングとは？
webスクレイピングとは、Webサイトから特定の情報を自動で抽出・取得する機能のことです。
例えば、今回のウェビナーでは、EC管理サイトのような発注ページにある表の中から、「商品名」の列データ（スイートピーからカトレアまでの12個の品目）のみを一覧として抜き出してくる、といった操作を行いました 。さらに、取得したそれらの商品名を、Google spreadsheetやExcelのような表計算ソフトに転記するところまでを自動化しました。
今回作成するシナリオ
本ウェビナーでは、「発注ページに表示されている12個の商品名を一覧で取得し、新しく作成したspreadsheetに貼り付ける」というシナリオを作成しました。
今回はGoogle spreadsheetを使用しますが、Excelをご利用の方も、アクションを置き換えることで同様のシナリオを作成可能です。
ステップ1： アクセスとスクレイピングの開始
まず、対象のWebページにアクセスし、Coopel Selector Helperの機能を使ってwebスクレイピングの設定を行います。
今回は花の発注ページから情報を抽出します。
- URLにアクセス：検索ページのURLを指定し、「要素選択を開始」ボタンを押下してCoopel Selector Helperを起動します。
- webスクレイピング：Selector Helperで表示されたWebページ上の任意の場所をクリックし、表示されるアクション候補から「webスクレイピング」を選択します
ステップ2： 取得範囲の選択と設定
次に、取得したいデータがどの範囲にあるかをCoopelに認識させます。
- 取得範囲の調整：「webスクレイピング」を選択すると、ページ上の要素が薄い水色でハイライトされます。「前の候補」「次の候補」ボタンを使い、表全体がハイライトされ、かつ各行が点線で囲まれる状態に調整します。
- 取得項目の選択：「次へ」をクリックした後、取得したい「商品名」の列全体が濃いブルーになるようにカーソルを合わせてクリックします。
- カラム名の設定：取得する項目に「カラム名」を設定します。デフォルトの「データ1」から「商品名」といった分かりやすい名前に変更しておくと、後の設定で識別しやすくなるためおすすめです。
- 形式の選択：取得する形式が「テキスト」であることを確認し、「決定」をクリックします。
- 完了：他に取得する項目がなければ「完了」ボタンを押して決定し、「開発画面に戻る」をクリックします。
アクション名はこの手順中に編集できるので、わかりやすい名前に変更することも可能です。
ステップ3：spreadsheetへの転記
Webサイトから取得する設定が完了したら、次はそのデータを転記するGoogle Spreadsheet側の設定を行います。
- 「spreadsheetの新規作成」： 今回は既存のシートではなく、spreadsheet自体を新規作成し、そこに書き出すため、このアクションを配置します。
- アカウントとファイル名の設定：シナリオアカウントを選択し、作成するファイル名（チュートリアル中級編）とシート名（確認）を任意で指定します。
- 「シートをシート名で指定」：直前のアクションで新規作成したspreadsheet（ファイル）の中の、どのシートを操作対象にするか指定するため、「シートをシート名で指定」アクションを追加します。シート名には先ほど設定した「確認」を入力します。
- 「セルをペースト」：最後に「セルをペースト」アクションを追加します。対象シートは「シートをシート名で指定」を選択し、入力値には、ステップ2で設定した「webスクレイピング」のアクションの結果を参照するよう設定します。ペースト対象のセルにはA1を指定します。
実行と結果の確認
実行ボタンをクリックしてシナリオを実行します。 実行が完了した後、Google ドライブを確認すると、「チュートリアル中級編」というファイルが新規作成されていれば成功です。ファイルを開くと、「確認」シートのA1からA12セルにかけて、発注ページの商品名12個が正しく転記されていることが確認できました。
さいごに
今回は中級編の第一歩として、webスクレイピングの基本的な使い方をご紹介しました。長いシナリオを作る際は、今回のように「まずスクレイピングだけ」といった形で、アクションを数個ずつ並べて部分的に実行し、できているかを確認しながら進める方法がおすすめです。
特定のWebサイトから定期的に情報を収集するといった作業は、Coopelが非常に得意とする分野です。本日の内容は、こうした情報収集業務を自動化する際の基本的な操作となりますので、ぜひご活用ください。
ご参加いただいた皆様、ありがとうございました。