データ分析・データ利活用データ基盤★★★

工場のセンサが出す計測値、問合せメールの本文、SNSの投稿など、形式がばらばらなデータを、 使い道を決める前にそのままの形でまとめて蓄積しておきたい。 データ基盤の中でこの役割を担うものはどれか。

正解:

  1. データレイク

    正解。データレイクは、構造化データも非構造化データも区別せず、元の形のまま 貯めておく置き場です。先に用途や項目を決めなくてよいので、後から新しい分析を 思いついたときにも、加工前のデータに戻ってやり直せます。

  2. データウェアハウス(DWH)

    誤り。DWHは、分析に使えるよう形式や項目をそろえたデータを時系列で蓄えるものです。 入れる前に整える点がデータレイクとの分かれ目で、形式が定まらないデータを そのまま受け止める用途には向きません。

  3. データマート

    誤り。データマートは、DWHなどから特定の部門や用途に必要な部分だけを切り出した 小さな置き場です。営業部の月次売上だけ、のように範囲を絞ることが目的なので、 全社の生データを受け止める役割ではありません。

  4. ETL

    誤り。ETLは置き場ではなく、データを抽出し、変換し、書き出す一連の処理を指します。 データを運ぶ側の仕組みなので、蓄積する場所を問うている本問の答えにはなりません。

港・倉庫・売り場

データ基盤の置き場は、食品の流れにたとえると分かりやすくなります。

  • データレイクは港。獲れたものを、選別せずそのまま水揚げして置いておく
  • データウェアハウスは倉庫。産地や等級で仕分けし、規格をそろえて保管する
  • データマートは売り場。今日売る分だけを、目的に合わせて棚に並べる

港に何でも置いてあるからこそ、後から「あの魚も使えたのでは」と戻れます。 逆に倉庫の中身は規格が決まっているぶん、すぐ数えられて集計に向きます。

整える前か、後か

データはふつう、データレイクからDWH、DWHからデータマートへと流れていきます。 この流れの中でデータを移し替えるのがETLで、抽出(Extract)・変換(Transform)・ 格納(Load)の頭文字です。変換をどこで行うかで呼び方が変わり、先に変換してから 入れるのがETL、先に入れてから基盤側の性能を使って変換するのがELTです。

4つを並べて比べる

用語 役割
データレイク 形式を問わず、生のデータをそのまま蓄積する
データウェアハウス(DWH) 分析用に形式をそろえたデータを、全社分・時系列で蓄積する
データマート 部門や用途を絞って、必要な部分だけを切り出す
ETL/ELT データを抽出・変換・格納し、置き場の間を移す処理

問題文に「形式がばらばら」「使い道を決める前」とあればデータレイク、 「特定の部門」「決まった帳票のため」とあればデータマートだと判断できます。

次の問題へ