正解：イ
各選択肢の解説
ア公開されているページなので、集めた文章や画像を自社サイトにそのまま載せてよい。
誤り。公開されていることと、自由に転載してよいことは別です。分析のための複製は 著作権法で認められる場合がありますが、文章や画像を自社サイトに載せるのは 分析ではなく公衆への提供で、著作権の侵害になるおそれがあります。
イ利用規約で自動収集が禁じられていないか確かめ、アクセスの間隔を空けて負荷を抑える。
正解。スクレイピングは相手のサーバに繰り返しアクセスする行為です。サイトの決まりに 従い、相手の業務を妨げない頻度で行うことが、自社を法的・信用上のトラブルから守ります。
ウ短時間で集めきれるよう、間隔を空けずに大量のリクエストを送り続ける。
誤り。短時間に大量のリクエストを送ると、相手のサーバに負荷がかかり、サービスの 妨げになりかねません。攻撃と受け取られて接続を遮断されたり、 業務妨害を疑われたりするおそれもあります。
エrobots.txtで収集を拒否しているページも、人が閲覧できるなら自動で収集してよい。
誤り。robots.txtは、自動で巡回するプログラムに対して、運営者が収集してよい範囲を 示すファイルです。人が閲覧できるかどうかとは別に、自動収集については 運営者の意思表示として尊重します。
理解を深めるために
スクレイピングは「他人の店に何度も入って値札を写す」行為
スクレイピングは、Webページから必要な情報をプログラムで自動的に取り出す技術です。 便利ですが、やっていることは他人の店に入って値札を写し続けるのと同じです。 店の決まりを守り、営業の邪魔にならないようにする必要があります。 集める側の都合だけで進めると、自社が加害者になりかねません。
なぜ規約と頻度を確かめるのか
- 利用規約: 自動収集を禁じているサイトがある。違反すれば契約上の問題になりうる
- robots.txt: 自動巡回プログラムに向けた、運営者の意思表示
- アクセス頻度: 間隔を空けずに大量に送ると相手のサービスを妨げ、攻撃と見なされうる
- 集めた後の扱い: 分析に使うことと、文章や画像を転載することは別に考える
価格の数値を集めて動向をつかむのは、データの加工・分析の入口です。 入口で問題を起こすと、その後の分析の成果も使えなくなります。
加工・分析の用語との位置づけ
| 用語 | 何をするか |
|---|---|
| スクレイピング | Webページから情報を自動で取り出す（集める段階） |
| データマイニング | 大量のデータから規則性や傾向を見つける |
| テキストマイニング | 文章のデータから傾向や話題を見つける |
| シミュレーション | モデルを使って条件を変えたときの結果を予測する |
スクレイピングは「集める」段階の技術で、分析そのものではありません。 SGでは、集め方が相手や自社にどんなリスクをもたらすかを判断することが問われます。