CONCEPT — DATA CLEANSING
データクレンジングとは
データクレンジングとは、表記ゆれ、欠損、重複、誤りなど、データに混ざった汚れを見つけて直す作業です。データクリーニングとも呼ばれます。顧客の一覧に「（株）」と「株式会社」が混ざっている、日付の書き方が行によって違う、必須の項目が空欄になっている。こうした汚れがあると、集計がずれ、分析やAIの結果も信用できなくなります。この記事では、直す6種類の汚れ、進め方の7つの手順、Excelとツールの使い分けに加えて、直したデータを汚さないための入口の決め方まで解説します。
データクレンジングとは
データクレンジングとは、データの中にある誤りや不統一、重複、欠けている値を見つけ、使える状態に直す作業です。クレンジング（cleansing）は「洗浄」の意味で、データクリーニングとも呼ばれます。
データは、人が手で入力し、別々のシステムから集められ、何年もかけて積み重なっていくうちに、少しずつ汚れていきます。一つひとつの汚れは小さくても、集計や分析、AIへの入力に使うと、結果のずれとして表に出てきます。
データクレンジングは、こうした汚れを直して、データを「そのまま集計しても、そのまま渡しても困らない」状態にするための作業です。データ分析や、システムの入れ替え、AIの活用の前に行う準備として位置づけられます。
データクレンジングが必要になる場面
次のような場面で、データの汚れが問題として表に出ます。
- 集計や分析の前：同じ顧客が別々に数えられる、日付が読めない行が集計から漏れる、といったずれが起きます。
- システムの入れ替えや統合：古いシステムのデータを新しいシステムに移すとき、形式が合わない行が取り込めずに止まります。
- AIに社内のデータを渡す前：表記ゆれや古い情報が混ざったままだと、AIの回答も同じように揺れ、古い情報をもとに答えます。
- 請求や発送などの実務：古い住所や誤った宛先が残っていると、請求書や荷物が届かない、という形で実害になります。
どの場面でも、汚れは作業の直前に見つかり、担当者が手で直して間に合わせることが多いものです。毎回その場で直していると、直し方が担当者ごとに違い、同じ汚れが何度も戻ってきます。
直す6種類の汚れ
データの汚れは、おおむね次の6種類に分けられます。冒頭の図の順番です。
- 表記ゆれ：同じものが別の文字で書かれている状態。「（株）」と「株式会社」、全角と半角、「東京都港区」と「港区」など。
- 形式の不統一：同じ列に、違う書き方が混ざっている状態。日付が「2026/10/1」と「10月1日」で混ざる、金額に「円」が付いている行がある、など。
- 欠損：入っているべき値が空欄の状態。必須の連絡先が抜けている、業種が空欄、など。
- 重複：同じ相手や同じ取引が二回以上登録されている状態。これを直す作業を名寄せと呼びます。
- 誤りと外れ値：桁違いの金額、ありえない日付、選択肢にない値など、入力ミスや読み取りの誤り。
- 古い情報：登録した時点では正しかったが、移転、社名変更、担当者の異動などで、今は違っている状態。
6種類のうち、どれが多いかを最初に数えると、直し方の優先順位が決まります。表記ゆれと形式の不統一は決まりを作れば機械で直せますが、古い情報と誤りは、元の情報を確かめないと直せないことが多いからです。
データクレンジングの進め方：7つの手順
次の順番で進めると、直しすぎや、直したデータがまた汚れることを防げます。
- 手順1 目的を決める：何に使うデータか（請求、分析、システム移行、AIへの入力など）を一文で決めます。
- 手順2 対象と品質の基準を決める：目的に必要な項目と、どの状態なら使えるとみなすか（必須の項目、書き方の決まり）を決めます。
- 手順3 現状を調べる：項目ごとに、空欄の数、書き方の種類、重複の候補の数を数えます。
- 手順4 直し方の決まりを作る：表記をどうそろえるか、空欄をどう扱うか、重複をどう判断するかを一覧にします。
- 手順5 直す：決まりに沿って直します。元のデータは残し、直した結果は別に作ります。
- 手順6 確かめる：直した結果を、目的に照らして確かめます。集計の数字が変わった箇所は、理由を説明できるかを見ます。
- 手順7 入口を決める：入力の画面や取り込みの手順に、書き方の決まりと既存の記録の検索を入れ、汚れが再び入るのを防ぎます。
手順4の決まりを一覧にしておくことが大切です。決まりが担当者の頭の中にあると、次に同じ作業をする人が別の直し方をして、データの書き方がまた割れます。
Excelでのクレンジングと、ツールの使い分け
データクレンジングの道具は、件数、頻度、データの置き場所で選びます。
- Excelやスプレッドシート：数千件程度の一覧を一回直すなら、検索と置換、文字の種類をそろえる関数、空欄の絞り込み、重複の確認で進められます。
- データ準備の機能やETLツール：毎月同じ形式のデータを取り込んで直す場合は、手順を記録して繰り返せる道具が向きます。手で直す作業が毎回同じなら、仕組みに移す候補です。
- クレンジング専用のツールや外部サービス：件数が多い、住所や法人の情報を外部のデータと突き合わせたい、という場合に向きます。
道具を選ぶ前に、手順2の品質の基準と、手順4の直し方の決まりを決めておきます。決まりがないまま道具を入れると、道具の初期設定が決まりの代わりになり、自社の実務に合わない直し方が残ります。
名寄せ・正規化・マスタ整備との違い
データクレンジングと似た言葉は、作業の範囲で区別できます。
- 正規化：書き方を一つにそろえる作業で、クレンジングの中の一つの作業です。データベース設計で使う「正規化」（表を分けて重複をなくす設計）とは別の意味なので、話すときは区別します。
- 名寄せ：重複した記録を見つけて一つにまとめる作業で、6種類の汚れのうち重複を直す作業です。
- マスタ整備：顧客や商品などの正とする一覧と、登録・更新の決まりを作る作業です。クレンジングで直した状態を保つ役割を持ちます。
直したデータを汚さないために
データクレンジングでいちばん多い失敗は、きれいに直したのに、数か月後に元に戻っていることです。原因は、汚れが入ってくる入口が変わっていないことにあります。
- 入力の画面で書き方を決める：自由に書ける欄を、選択肢や決まった形式に変えられないかを検討します。
- 登録の前に既存を探す：新しい顧客を登録する前に、既存の記録を検索する手順を入れます。
- 正とする一覧を一つに決める：同じ情報を複数の場所で別々に更新しないよう、どこを正とするかと、変更の伝え方を決めます。
- 定期的に数える：空欄の数や重複の候補の数を、月に一度など決まった間隔で数え、増えていないかを確かめます。
sento.groupでは、クレンジングを一度きりの大掃除ではなく、データの持ち方の決まりを作るきっかけとして扱います。担当者が毎回手で直している作業を、入力と管理の決まりとして会社に残せば、次の分析やAIの活用のたびに同じ掃除を繰り返さずに済みます。
よくある質問
Q. データクレンジングとは簡単に言うと何ですか？
データの中の表記ゆれ、空欄、重複、誤り、古い情報などの汚れを見つけて直し、そのまま集計や分析に使える状態にする作業です。データクリーニングとも呼ばれます。
Q. データクレンジングとデータクリーニングは違いますか？
実務では、ほぼ同じ意味で使われています。どちらも、データの誤りや不統一を直して使える状態にする作業を指します。
Q. データクレンジングと名寄せの違いは何ですか？
データクレンジングは、データの汚れを直す作業の全体です。名寄せは、そのうち重複した記録を見つけて一つにまとめる作業を指します。
Q. データクレンジングはExcelでできますか？
数千件程度の一覧を一回直すなら、検索と置換、関数、絞り込み、重複の確認でできます。毎月同じ作業を繰り返す場合や件数が多い場合は、手順を記録して繰り返せるツールへの移行を検討します。
Q. データクレンジングはどのくらいの頻度で行えばよいですか？
頻度より先に、汚れが入る入口を閉じることをおすすめします。入口を決めたうえで、空欄や重複の候補の数を月に一度など決まった間隔で数え、増えてきたら直す、という運用にすると負担が小さくなります。
Q. データクレンジングから相談できますか？
はい。目的と品質の基準の決め方から、直し方の決まりづくり、入力と管理の仕組みまで一緒に進めます。お問い合わせから、対象のデータと使い道を教えてください。
データの汚れを、直して、戻らない形に
品質の基準と直し方の決まりを決め、入力と管理の仕組みまで整えます。分析やAIの活用の前の準備から支援します。
