CONCEPT — DATA INTEGRATION GUIDE
社内のデータがバラバラなときに読む記事まとめ
社内のデータがバラバラで困っている。同じ顧客が一覧に何行もある、全角半角が揃っていない、部署ごとに商品コードが違う、CSVを毎朝手で落としている、集計表を誰も見ない、正しい値がどこにあるか分からない。こうした悩みは、それぞれに原因と解決策があります。この記事は、悩みの型ごとに、今日やれる一手と、詳しく解説した記事へのリンクをまとめたガイドです。
悩み1:同じ顧客が一覧に何行もある
顧客一覧を開くと、同じ会社が「株式会社○○」「(株)○○」「○○ 本社」と別々に登録されている。売上を顧客別に集計しても、同じ会社が分かれて出てくる。この悩みの原因は、同じ相手が複数回登録されていることです。
- 今日やれる一手:重複していそうな行を並べて、本当に同じ相手かどうか見比べる。判断の基準(会社名と住所が同じなら同じ、など)を書き出す。
- 解決策:名寄せ。表記を揃えて照合キーを決め、同じ候補を出して人が確認し、統合する。
- 名寄せとは → 重複を見つけて一つにまとめる作業の全体
- データクレンジングとは → 名寄せの前に表記を揃える作業
悩み2:全角半角や表記がバラバラ
住所の「1丁目」と「1-」、電話番号のハイフンの有無、会社名の「株式会社」の位置。同じ情報なのに書き方がバラバラで、検索しても出てこない、集計が合わない。この悩みの原因は、入力のルールが決まっていないこと、または決まっていても守られていないことです。
- 今日やれる一手:揃えたい項目を一つ決めて、今どんな書き方が混ざっているかを洗い出す。
- 解決策:データクレンジング。表記のルールを決め、既存データを直し、入力の入口でルールを守らせる仕組みを入れる。
- データクレンジングとは → 表記ゆれや欠損を直す作業の全体
悩み3:部署ごとに商品コードが違う
営業と経理と倉庫で、同じ商品のコードが違う。横断で集計しようとすると、手で対応表を作って突き合わせている。この悩みの原因は、正のマスタが一つに決まっていないことです。
- 今日やれる一手:部署ごとの商品コード表を横に並べて、どこが違うかを洗い出す。
- 解決策:マスタデータ管理。対象ごとに正のマスタを決め、追加・変更・統合・廃止のルールと担当を決める。
- マスタデータ管理とは → 正の辞書を作り、保つための取り決め
- マスタが部署ごとにバラける → 部署ごとに違うマスタをそろえる
悩み4:CSVを毎朝手でダウンロードしている
SaaSからCSVをダウンロードして、Excelで加工して、別のシステムに入れる。毎朝やっているが、ミスもあるし時間もかかる。この悩みの原因は、システム間の連携が自動化されていないことです。
- 今日やれる一手:連携元のSaaSのAPI対応状況を調べる。APIがあれば自動化の可能性がある。
- 解決策:API連携、ETL、iPaaSのいずれか。データを集めて分析基盤に格納するならETL、SaaS間の連携とワークフロー自動化ならiPaaS、システム同士の直接連携ならAPI連携。
- API連携とは → システム同士をつなぐ仕組み
- ETLとは → データを抽出・変換・格納する処理
- iPaaSとは → SaaS同士を連携する基盤
- ETL vs RPA vs GAS の選び方 → 連携手段の使い分け
悩み5:集計表を作っても誰も見ない
毎週Excelで集計表を作っているが、会議で使われない。ダッシュボードを作ったのに、開かれていない。この悩みの原因は、集計表を見る人と、見たあとに何を判断するかが決まっていないことです。
- 今日やれる一手:その集計表を見る人と、見たあとに何を判断するかを書き出す。答えられないなら、作る意味を見直す。
- 解決策:BIツールの導入より先に、「月曜の営業会議で、先週の受注件数と金額を見て、今週の訪問先を決める」のように判断の場面と必要な数字を書き出す。
- BIツールとは → データを可視化して判断を支援する
- ダッシュボードが使われない理由 → 使われなくなる原因と対策
悩み6:正しい値がどこにあるか分からない
顧客の住所を確認したいが、営業管理SaaSと会計ソフトとExcelで値が違う。どれが正しいか分からないので、毎回本人に聞いている。この悩みの原因は、正の置き場所が決まっていないことです。
- 今日やれる一手:確認したい項目の値を、3つのツールで並べて比較する。どこが違い、どこを正にすべきかを考える。
- 解決策:データの一元管理。情報ごとに正の置き場所と更新する人を決め、ほかはそこを参照する形にする。
- データの一元管理とは → 正の置き場所を一つに決める
- データのサイロ化のほどき方 → 分断されたデータをつなぐ手順
最初に直す1つを選ぶ:月末に一番時間を取られている作業から
悩みが複数あるとき、先月の月末作業で何時間かかったかを書き出し、一番時間を食っている作業から着手します。
- 先月の月末にかかった時間を書き出す:「売上突き合わせ 4時間」「顧客名寄せ 2時間」「CSV加工 3時間」のように。
- 一番時間がかかっている1つを選ぶ:全部を一度に直そうとすると止まる。まずは1つだけ。
- 実害がある悩みを優先する:数字が合わない、請求ミスが起きている、など、放置すると損失が出る悩みは時間に関係なく先にする。
sento.groupでは、最初に「先月の月末作業で何に何時間かかったか」を確認します。時間がかかっている作業から逆算して、必要なデータと整え方を決める進め方です。
記事の関係:どう読み進めるか
このまとめ記事でリンクしている記事は、それぞれ独立して読めます。気になる悩みの記事から読み始め、必要に応じて関連記事に進んでください。
- 名寄せ・データクレンジング:データの汚れを直す作業。マスタ整備の前にやることが多い。
- マスタデータ管理・データの一元管理:正の置き場所と更新のルールを決める。汚れを直したあとに、戻らないようにする役割。
- API連携・ETL・iPaaS:データを自動でつなぐ仕組み。マスタや定義が揃っていないと、つないでも数字が合わない。
- BIツール:データを可視化する。データが揃っていないと、ダッシュボードも使われない。
「先にETLでデータを集めてからクレンジングする」こともあれば、「先にマスタを決めてからETLを設計する」こともあります。正解の順番は一つではなく、自社の状況に合わせて決めます。
よくある質問
Q. どの記事から読めばいいですか?
自分の悩みに一番近いものから読んでください。迷ったら、実害がある悩み(数字が合わない、ミスが起きている)から始めるのがおすすめです。
Q. 全部の問題を一度に解決できますか?
一度に全部を直そうとすると、範囲が広すぎて止まりがちです。まずは一つの悩みに絞り、小さく成功させてから次に進む進め方をおすすめします。
Q. ツールを入れれば解決しますか?
ツールを入れる前に、「商品コードは経理のマスタを正とする」「顧客名は営業管理SaaSの正式名称を使う」のように、データの意味と正の置き場所を決めます。これが決まっていないと、ツールを入れてもコードや名称の不一致は残ります。
Q. 自社の状況に合った進め方を相談できますか?
はい。先月の月末作業の内訳(何に何時間かかったか)をお持ちください。時間がかかっている作業から、内製で進めるか、支援を入れるかを一緒に決めます。
月末作業の内訳を持って相談する
先月の月末に何に何時間かかったかをお持ちください。時間がかかっている作業から、一緒に片付けます。