正解:エ
各選択肢の解説
アPOSデータから、同じレシートで一緒に買われやすい商品の組合せを見つける。
誤り。これはデータマイニングの代表的な活用例(購買データの関連性の発見)です。 大量データから規則性を見つける点は同じなので混同しやすいのですが、 対象が商品コードや数量といった項目の決まったデータで、文章ではありません。
イ顧客マスタで、表記ゆれのある同一人物のデータを一件にまとめる。
誤り。これは名寄せです。氏名や住所の文字を照合するので文章を扱うように見えますが、 目的はデータを整える前処理であり、 文章の中身から傾向や意見を読み取る分析ではありません。
ウ製品の検査画像1枚ずつに、人が「良品」「傷あり」の正解ラベルを付ける。
誤り。これはアノテーションです。AIに学習させる教師データを作る作業で、 人がデータに意味を付け加える側の作業です。 すでにある大量の文章から傾向を取り出す分析とは向きが逆です。
エアンケートの自由記述から、よく出る語と一緒に出る語を数え不満の傾向をつかむ。
正解。文章を単語に分け、出現頻度や同時に出る語(共起)を数えることで、 読み切れない量の自由記述から傾向を取り出すのがテキストマイニングです。
理解を深めるために
文章の山から「よく出る話題」を掘り出す
アンケートの自由記述が1万件あったら、全部を人が読んで分類するのは現実的ではありません。 そこで、文章を単語に区切り、「どの語が何回出たか」「どの語とどの語が一緒に出やすいか」を数えます。 「待ち時間」と「長い」がよく一緒に出ていれば、待ち時間への不満が多いと見当がつきます。 このように文章(テキスト)を対象に傾向や関係を掘り出す手法がテキストマイニングです。
なぜそうなっているのか
- 自由記述・問い合わせ記録・SNSの投稿などは、行と列に収まらない非構造化データ
- そのままでは集計できないので、単語への分割(形態素解析)などで数えられる形にする
- 出現頻度、共起(同じ文に一緒に出る語)、肯定・否定の表現などから傾向を読み取る
- 大量データから規則性を見つけるデータマイニングのうち、対象を文章にしたものと考えるとよい
混同しやすいものとの違い
| 用語 | 何をするか | 対象 |
|---|---|---|
| テキストマイニング | 文章から語の頻度や共起を数えて傾向をつかむ | 自由記述・問い合わせ・SNS投稿 |
| データマイニング | 大量データから規則性や関連を発見する | 購買履歴などの項目の決まったデータ |
| 名寄せ | 同一の対象のデータを一件にまとめる | 顧客マスタなど |
| アノテーション | データに人が正解ラベルを付ける | 画像・音声・文章(教師データ作り) |
「自由記述」「口コミ」「問い合わせ内容」の分析とあればテキストマイニングです。 名寄せとアノテーションは分析の前の準備作業である点で区別できます。