データクレンジング入門

01 INTRODUCTIONデータは、入力のたびに揺れる

名前、住所、電話番号。こうしたデータは、入力する人やタイミングによって書き方が変わります。「山田太郎」と「山田 太朗」、「1-2-3」と「一丁目2番3号」。人間が見れば同じでも、コンピューターは「一文字でも違えば別のもの」と判断します。

この「揺れ」を放っておくと、「同じ人」を見分けられず、さまざまな場面で問題が起きます。

こうした問題を防ぐのが、データを整えるデータクレンジングと、同じ人を見つけてまとめる名寄せです。どちらも目立たない工程ですが、その精度には会社ごとに大きな差があります。

よくある表記ゆれの例

「表記ゆれ」は「表記揺れ」とも書きます（意味は同じです）。1件ずつなら人の目で気づけますが、数万件になると見つけるだけで大仕事になります。

この資料で使う言葉

02 TERMSデータクリーニング・正規化・名寄せとの違い

データクレンジングの周りには、似た言葉がいくつもあります。使う人や分野によって意味の幅が少しずつ違いますが、この資料では次のように整理します。

※データベース設計でいう「正規化」は、表の分け方を整える別の意味の言葉です。

作業の順番でいうと、正規化で書き方をそろえる → 重複の候補を見つける → 名寄せで1つにまとめる、という流れになります。書き方がそろっていないまま名寄せをしても、同じ人を見つけられません。

03 BASICS 1名寄せとは何か

申込フォームに入力される名前や住所は、人によって、また同じ人でも入力のたびに書き方が変わります。コンピューターは「一文字でも違えば別のもの」と判断するため、そのままでは同じ人を見分けられません。

下の表は、あるキャンペーン（プレミアム商品券の申込）のデータの一部です（架空のデータです）。

黄色の部分が「書き方の違い」。人間が見ればおそらく同じ人ですが、コンピューターにとっては3人の別人です。

名寄せは、次の3つの段階で「同じ人」を見つけていきます。

04 PITFALL名寄せの落とし穴 ──「見落とし」と「まとめすぎ」

名寄せの判定をゆるくすれば重複はたくさん見つかりますが、今度は「別人を同じ人とみなしてしまう」危険が高まります。反対に厳しくすれば安全ですが、重複を見落とします。これが名寄せの一番難しいところです。

名前も建物も同じですが、部屋番号と生年月日が違います。これは同じ建物に住む同姓同名の別人です（架空のデータです）。

もし「名前と番地が同じなら同じ人」という判定ルールだと、DとEは1人にまとめられ、どちらかの応募が無効になってしまいます。正しく応募した人を落選させることになり、苦情や信頼の低下につながります。

05 EXCELエクセルでできること・できないこと

数千件程度で、項目が少なく、1回きりの作業なら、エクセル（Excel）でも十分に整えられることがあります。一方で、エクセルだけでは難しい作業もあります。

「重複の削除」は一文字でも違えば別の行として残します。前の章のA・B・Cは、1行も消えません。

06 BASICS 2重み付け（スコアリング）とは何か

ポイント施策や会員施策では、お客さまの買い方に応じて点数をつけ（スコアリング）、誰にどんな特典を出すかを決めます。代表的な方法がRFM分析です。

架空の会員5人で見てみましょう（各項目を1〜3点で採点）。

会員2と会員3は合計点が同じ7点ですが、中身はまったく違います。会員3は以前は優良顧客でしたが、5か月買っていません。点数の合計だけでは見えないことがあります。

07 DESIGNスコアリング設計で押さえたい5つの観点

(1) そもそもRFMが使える商材か確かめる

RFM分析は、住宅・自動車・投資商品のように、めったに買わない高額な商品には向きません（「購入回数」がほぼ全員1回になるためです）。プレミアム商品券やキャンペーンの多くは日常の買い物に結びつくので基本的には使えますが、最初に一度立ち止まって確かめることが大切です。

(2) 「応募だけする人」を先に分けておく

キャンペーンのたびに応募だけを繰り返し、ふだんは買わない層がいます。たとえば「年12回応募しているが、キャンペーン期間外の購入はゼロ」という会員です。この層を混ぜたまま点数をつけると、全体の数字が歪み、「本当のファン」が見えなくなります。

(3) 目的は一つに絞り、目的に合った分析方法を選ぶ

「もっと買ってもらう」「別の商品も買ってもらう」「離れた人を呼び戻す」「他社から乗り換えてもらう」を一度に狙うと、たいていどれも中途半端になります。さらに、目的によって使うべき分析方法そのものが違います。優良顧客をもっと大切にしたいならRFM分析、上の会員3のような「離れかけた人の呼び戻し」が目的なら、在籍期間や離脱期間を軸に加えるCPM分析が向いています。

(4) 業界ごとの「節目」を考える

業界には、それぞれ購買の目安となる数字があります。たとえばタバコ業界では「連続3箱」がひとつの節目とされます。こうした節目をふまえて点数を設計すると、スコアが実態に近づきます。

(5) 「すぐ上のランク」が見える特典にする

会員ランク制は、「次のランクまであと少し」という目標がお客さまのやる気を高める、というのが業界で広く共有されている考え方です。ポイントは、特典がお金の価値に限らず「周りから見える」こと。航空会社の優先搭乗がよい例です。何を「見える特典」にできるかは、クライアントの事業の中に答えがあります。

08 OUTSOURCING外注・代行を検討する目安

データクレンジングは社内でも行えますが、次の項目に当てはまる数が多いほど、外部の専門家に任せたほうが確実で、結果的に費用も抑えやすくなります。

費用を見積もるときに伝えたいこと

データクレンジングの費用は、件数・項目・求める精度・納期によって大きく変わります。相談の段階で次の情報がそろっていると、見積もりが正確になり、話も早く進みます。

委託先を選ぶときに確認したい観点は、次の章のチェックリストにまとめました。

09 CHECKLIST委託先を選ぶ前に確認したい7つのポイント

各項目に、委託先への「聞き方」の例を添えました。実績値は、当社代表がこれまでに携わった案件のおおよその数値です（守秘義務のため案件名は伏せています）。

1. 二重登録をどこまで見つけられるか名前の書き方の違い（A・B・C）まで含めて、重複応募を見つけているか。
   実績例：約50万件の申込から約1,500件の二重登録を見つけ、約150万円の予算流出を防止
   聞き方の例：「表記ゆれのある重複は、どうやって見つけていますか？」
2. 抽選・選定の結果に偏りがないか確かめているか当選者やDMの送付対象が、特定の地域・年代・申込方法に偏っていないかを確認しているか。
   聞き方の例：「抽選や対象者の抽出のあと、結果の偏りをチェックしていますか？」
3. 世帯の判定をどう運用しているか「同じ世帯」の判定基準と、迷うケース（D・Eのような例）の扱いが決まっているか。
   実績例：約1.2万件の同一世帯の候補を検出。プライバシーに配慮して自動ではまとめず、候補リストを作って1件ずつ確認する運用に
   聞き方の例：「同じ世帯かどうか迷ったとき、どうしていますか？」
4. 件数が増えても精度を保てるか数百件のテストでうまくいっても、数十万件で同じ精度が出るとは限らない。テストデータの選び方が重要。
   聞き方の例：「本番の件数で精度をどう確かめますか？」
5. 処理の途中経過を説明できるか各段階で何件を除外し、何件をまとめたかを記録していて、あとから説明できるか。
   聞き方の例：「最初の件数から当選者数まで、途中の件数を出せますか？」
6. 不正を見つけた経験があるか組織的な不正応募や内部不正を見つけた経験と、その仕組みがあるか。
   実績例：店頭シール応募キャンペーンでの不正取得や、従業員による大口の不正を発見
7. 間違いが見つかったときの対応が決まっているか誤りが見つかった場合に、誰が・どこまで・どの手順で直すかが事前に決まっているか。
   聞き方の例：「当選者に誤りがあったら、どう対応しますか？」

10 SUMMARYまとめ

キャンペーンの成果も、DMの費用も、顧客分析の正しさも、元になるデータの質で決まります。表記ゆれを直し、同じ人を見つけ、世帯を判定し、結果を確かめる──こうした地道なデータクレンジングの積み重ねが、データ活用の信頼を支えています。

名寄せには必ず「見落とし」と「まとめすぎ」のバランスがあり、スコアリングには目的に合った方法選びが欠かせません。委託先を選ぶときは、仕組みの見た目よりも、判断の基準と途中の経過を、わかる言葉で説明できるかどうかに目を向けることをおすすめします。