webスクレイピング

アクションの場所:基本操作 > ブラウザ > webスクレイピング
 

webサイトからの繰り返しデータの抽出を行います。
商品情報や口コミ、ランキング情報など、同じ構造のデータが一覧表示されているサイトから、その繰り返し構造を自動認識して簡単にデータを抽出することができます。
対象の指定はcoopel selector helperから行います。

Tips webスクレイピングは、URLにアクセスアクションの、要素の取得の操作内でも設定することができます。

設定方法(簡単)

CN7.1_webscrape
① 「基本操作/ブラウザ」カテゴリにある「webスクレイピング」アクションをクリックします。
② ブラウザ:操作対象のブラウザを指定します。
③ 要素:取得する要素(テキスト、リンクのURL、CSSセレクター、画像データ、動画データ、ファイルをダウンロード)を、「webサイト上のデータを一括で取得する」を参考に設定します。

設定方法(便利)

④ 戻り値にラベルを付ける(任意):アクションが返す値の各要素に任意のラベル(名称)を付けることが出来ます。後続アクションからの参照時にこのラベルを指定してデータを操作することが出来ます。
⑤ ラベルの並び方向を指定:④の[戻り値にラベルを付ける]でラべル名を入力すると、表示されます。ラベルの並び順が表に対して横方向、縦方向どちらになっているのかを指定します。
A列、B列、C列,,と列に対してラベルを付与している場合は横方向を選択します。
1行目、2行目、3行目,,,と行に対してラベルを付与してる場合は縦方向を選択します。
デフォルトは横方向です。

Tips - ③で取得する要素に「画像データ」、「動画データ」、「ファイルをダウンロード」を指定した場合、シナリオ実行後にアクションをクリックすると、実行結果にデータやファイルがリンク表示されます。これらのデータやファイルはクリックしてダウンロードすることもできます。
CN15-206_web_scraping_action_result

オプション設定

以下の設定項目は任意です。
⑥ フレームを指定:処理対象の要素がフレーム内にある場合にフレーム要素を指定します。
要素は[" "]で囲うように記載します。フレームがネストしている場合にはカンマ(,)区切りで記載します。
⑦ 子供の要素:子供の要素を指定します。
子供の要素とは、要素パラメータで指定された繰り返しデータに対して、それぞれの要素内での取得項目のことを指します。
要素パラメータの指定ボタンをクリックし、coopel selector helperから操作を行うと自動設定されます。
⑧ 子供の要素 参照設定:子供の要素をリストタイプのアクション結果を参照し、設定します。
⑨ 実行結果画面のキャプチャー種類:実行結果画面に表示する画面キャプチャーの種類を選択します
⑩ 要素検索のタイムアウト:指定した要素が表示されるまでのタイムアウトを秒単位で指定します。表示に時間がかかる画面の場合、長くすることでエラーが起きにくくなります。
⑪ 要素検索のタイムアウト 参照設定:指定した要素が表示されるまでのタイムアウトをテキストタイプのアクション結果を参照し、秒単位で指定します。
エラーを無視

関連アクション

関連ヘルプ