CONCEPT — DWH
DWH(データウェアハウス)とは
DWH(データウェアハウス)とは、分析のために、複数の業務システムからデータを時系列で集めて整えて置く、分析専用のデータベースです。営業管理、会計、在庫、ECなど別々のシステムに散らばった売上や顧客のデータを、一か所に集めて、過去から現在までの推移を見られるようにします。日々の取引を記録する業務用のデータベースとは役割が違い、DWHは「集計・分析・可視化」に特化した置き場所です。
DWHとは:分析専用のデータの置き場所
DWH(Data Warehouse、データウェアハウス)は、複数の業務システムに散らばったデータを、分析のために一か所に集めて保管する仕組みです。倉庫(warehouse)という名前のとおり、データを時系列で蓄積し、過去から現在までの変化を追えるようにします。
たとえば、営業管理SaaSには商談と受注のデータ、会計ソフトには売上と入金のデータ、ECサイトには注文と顧客のデータがあります。これらを月次の会議で横断的に見たいとき、各システムからCSVをダウンロードしてExcelで突き合わせるのは手間がかかります。DWHがあれば、集計用のSQLを一つ書くだけで、横断した数字を取り出せます。
DWHは1990年代にBill Inmonが提唱した概念で、当初は自社サーバーに構築するものでした。現在はBigQuery(Google Cloud)、Snowflake、Amazon Redshiftなどのクラウド型DWHが主流になり、自社でサーバーを持たなくても使い始められます。
データベースとの違い
DWHもデータベースの一種ですが、役割と設計が違います。業務用データベースとDWHの違いを整理します。
- 目的:業務用DBは注文や在庫の登録・更新など日々の処理を高速に行うため。DWHは集計や分析を行うため。
- 操作:業務用DBは挿入・更新・削除が頻繁。DWHは読み取り(SELECT)中心で、データを消さず追記していく。
- データの形:業務用DBは正規化(重複を減らしてテーブルを分ける)。DWHは非正規化(集計しやすいよう一つのテーブルにまとめる)。
- 保持期間:業務用DBは直近のデータ中心。DWHは数年分の履歴を蓄積し、推移を見られるようにする。
業務用DBのデータをそのまま分析に使おうとすると、重いクエリが業務処理に影響したり、過去のデータが消えていて推移が追えなかったりします。分析用にDWHを別に持つことで、業務の邪魔をせずにデータを見られます。
データマート・データレイクとの違い
DWHに似た言葉として、データマートとデータレイクがあります。それぞれの違いを整理します。
- データマート:DWHから必要な部分だけを切り出した、用途特化のデータの置き場所。営業用、経理用、マーケティング用など。DWHが全社のデータを持ち、データマートが各部門の分析に使うサブセットを持つ、という関係が多いです。
- データレイク:構造を決めずに、生データをそのまま蓄積する置き場所。JSONやログファイルなど、テーブルの形になっていないデータも入れられます。DWHは整理されたデータを入れますが、データレイクは「とりあえず全部入れて後で整理」という使い方ができます。
中小企業で最初からデータレイクを構築することは稀です。まずは分析に使うデータをDWHに集め、必要に応じてデータマートを切り出す、という順番が一般的です。
ETL・ELTとの関係
DWHにデータを入れるには、各システムからデータを抽出し、形式を揃えて、DWHに格納する処理が必要です。これがETL(Extract・Transform・Load)です。
- Extract(抽出):営業SaaSや会計ソフトからデータを取り出す。APIやCSVエクスポートを使う。
- Transform(変換):日付形式を統一する、顧客コードを揃える、不要な列を落とすなど、形式を整える。
- Load(格納):DWHにデータを書き込む。
最近はELT(Extract・Load・Transform)という順番も増えています。まず生データをDWHに入れ、DWH上で変換処理を行う方式です。BigQueryやSnowflakeなどクラウドDWHの処理能力が高いため、DWH側で変換したほうが速い場合があります。
ETLについては関連記事「ETLとは」で詳しく解説しています。
- ETLとは → 抽出・変換・格納の仕組み
DWHの仕組み:集める・整える・置く・見る
DWHを使った分析基盤は、四つの段階に分けて考えられます。
- 集める:業務システムからデータを取り出す。APIがあればAPIで、なければCSVエクスポートで。
- 整える:日付形式、コード体系、名称の揺れを統一する。「売上」の定義を決める。
- 置く:DWHに時系列で蓄積する。過去のデータは消さずに残す。
- 見る:BIツールやSQLで集計・可視化する。ダッシュボードやレポートを作る。
「見る」段階で「このデータも欲しい」と分かったら、「集める」に戻って追加します。一度に全部集めようとせず、判断に使うデータから順に増やしていきます。
- BIツールとは → 集計・可視化の道具
- データ基盤構築支援 → sento.groupの支援内容
主なクラウドDWH
現在主流のクラウドDWHを紹介します。詳しい機能や料金は各サービスの公式サイトで確認してください。
- BigQuery(Google Cloud):Googleが提供するフルマネージド型のDWH。SQLでクエリを書き、使った分だけ課金されるモデル。Google AnalyticsやGoogle広告との連携がしやすい。
- Snowflake:複数のクラウド(AWS、Azure、GCP)で動作するDWH。コンピュートとストレージが分離され、柔軟にスケール。
- Amazon Redshift:AWSが提供するDWH。AWSの他サービス(S3、Glueなど)との連携に強い。
- Azure Synapse Analytics:Microsoft Azureが提供するDWH。Power BIやMicrosoft 365との連携がしやすい。
どれを選ぶかは、すでに使っているクラウド、連携したいサービス、社内のスキル、データ量によって変わります。中小企業で最初の一歩を踏み出す場合は、BigQueryの無料枠から試すケースが多いです。
DWHを入れる前に確かめること
DWHは強力な仕組みですが、導入の前に確かめるべきことがあります。
- Excelやスプレッドシートで何が限界になっているか:毎月のCSVダウンロードと突き合わせに何時間かかっているか。同じ集計を何人がやっているか。
- 集めたいデータの定義は揃っているか:「売上」の意味が部署で違う状態でDWHに集めても、数字は合いません。先にメタデータ(データ定義)を揃えます。
- 誰が使うか、何を決めるために使うか:ダッシュボードを作っても見る人がいなければ意味がありません。どの会議で、何を判断するために使うかを先に決めます。
「とりあえずDWHを入れればデータ活用が進む」と思って導入すると、使われないまま放置されることがあります。先に、判断に使うデータと、見る人を決めます。
- スプレッドシート・Excelの限界 → 移す時期のサイン
- データのサイロ化とは → 分断されたデータの問題
導入の進め方:最初の1テーブルを決める
DWH導入は、一度に全社のデータを集めようとせず、最初に集める1テーブルを決めて始めます。
- 判断に使うデータを一つ選ぶ:毎月の会議で確認している売上データ、週次の在庫確認、など。
- そのデータの出どころと定義を確かめる:どのシステムから、どの条件で抽出するか。「売上」はいつ時点の何の金額か。
- ETL/ELTのパイプラインを組む:最初はシンプルに、CSVをDWHに入れる形でも構いません。
- BIツールかSQLで集計してみる:実際に数字を出し、今までのExcel集計と突き合わせる。
- 一周回してから次のテーブルを足す:使ってみて分かった必要なデータを追加していきます。
最初の1テーブルが回れば、次は関連するデータを足していきます。一度に全部やろうとするとプロジェクトが大きくなりすぎて止まります。
加工手順と定義を会社に残す:sento.groupの考え方
DWHを導入しても、集計の加工手順や「この数字はどの表から出したか」が担当者のPCのExcelマクロや個人のAIチャットに閉じていると、担当者が変わったときに再現できません。
- ETLの処理と定義をコードで残す:変換ロジックをスクリプトやETLツールの設定として残し、誰でも見られる場所に置きます。
- データ定義書を作る:DWHの各テーブル・各列について、意味、出どころ、更新頻度、持ち主を書きます。
- 集計ロジックの意図を書く:「この売上は、返品を引いた後の金額」「この顧客数は、3か月以内に購入した人だけ」など、集計の定義を残します。
sento.groupでは、DWHの構築だけでなく、データ定義書の整備や、担当者が変わっても同じ集計ができる状態を一緒に設計しています。データ基盤と、その上での判断の流れを、属人化させずに運用する進め方です。
- データ定義書の作り方 → 列の意味を1枚に
- 属人化とは → 判断が個人に閉じる問題
よくある質問
Q. DWHとは何ですか?簡単に説明してください。
DWH(データウェアハウス)とは、分析のために、複数の業務システムからデータを時系列で集めて整えて置く、分析専用のデータベースです。日々の取引処理ではなく、集計・分析・履歴の保持に特化しています。
Q. DWHとデータベースの違いは何ですか?
業務用データベースは注文や在庫の登録・更新など日々の処理に最適化され、DWHは集計・分析・履歴の保持に最適化されます。業務用DBは正規化、DWHは非正規化(集計しやすい形)になることが多いです。
Q. DWHとデータレイクの違いは何ですか?
DWHは整理されたデータを、テーブルの形で蓄積します。データレイクは構造を決めずに、生データ(JSONやログファイルなど)をそのまま蓄積します。中小企業では、まずDWHから始めるのが一般的です。
Q. 中小企業でもDWHは必要ですか?
複数のシステムに散らばったデータを横断で集計する必要があり、毎回のCSVダウンロードとExcel突き合わせに時間がかかっているなら、DWHの検討をおすすめします。データ量が少なくても、分析の負荷を減らせます。
Q. sento.groupではどんな支援ができますか?
DWHの選定・構築、ETL/ELTの設計、データ定義書の整備、BIツールとの接続まで一貫して支援します。データの意味を揃えるところから、担当者が変わっても回せる運用設計まで対応します。お問い合わせからご相談ください。
DWH導入のご相談
毎月のCSV突き合わせから解放されたい。過去の推移を一画面で見たい。そんなお悩みを整理するところからご一緒します。