データ リネージの概要

提供: ER/Studio Data Architect
移動先: 案内検索

データの抽出、変換、読み込みの文書化 への移動

データ リネージを使用すると、ポイント A からポイント B までのデータ移動、およびその中間段階についての情報を文書化することができます。このようなデータ移動は、ETL(抽出、変換、および読み込み)と呼ばれることがあります。ポイント A と B は、フラット ファイル、Oracle や DB2 のような DBMS、XML ファイル、Access データベース、および Excel ワークシートから任意に選択できます。これは、ソースとターゲットのマッピングと呼ばれることもあります。ER/Studio DA で作成されるモデルは、データ移動における任意の時点を表すことができます。データ設計者は、データの「ソース」と「ターゲット」をカラム/属性レベルに至るまで指定する必要があります。ソースとターゲットのマッピングを定義するメタデータは、データ移動中の処理内容を表すルールとなります。

データ移動の作業は、多くの場合、データ モデリングの経験に乏しい専門のデベロッパに依頼されます。そのようなデベロッパは、どのデータをどこに移動するのかを決定する際に役立つすぐれた文書を必要とします。通常は、データ開発者がデベロッパのためにデータの移動やマッピングに関する文書を作成します。データ開発者は非常に複雑なシステム間のデータを追跡する必要があります。たとえば、ある組織のデータ ウェアハウスが、さまざまなシステムをソースとする多数のデータで構成されているとします。ソースとなるのは、CRM(顧客関係管理)、従業員名簿、総勘定元帳、会計報告、製品、および在庫に関するシステムです。データ ウェアハウスには多数のオンライン データマートがあり、データ ウェアハウスからデータを取得して、営業責任者、人事責任者、およびマーケティング チーム向けに、ビジネスのさまざまな側面についてのパフォーマンス レポートを生成します。

次に、一般的なデータ移動プロセスについて説明します。

ETL.gif

この図では、左側にあるさまざまなソース システムからデータ ウェアハウスにデータが投入されます。データ ウェアハウスには、レポート作成に適した形式でデータが格納されています。このような仕組みにより、ソース システムのオーバーヘッドを軽減できます。ソース システム上のリソースは、レポート作成に直接使用されることはありません。データはクレンジングして、レポート作成に必要なデータの品質を確保する必要があります。レポートは、エンタープライズ データ ウェアハウス(EDW)から直接生成できますが、多くの場合、EDW から目的別に特化したデータ マートにデータが送られます。データをオンライン データ マネージャ(ODM)に移動する間に、データのクレンジングや操作がさらに実行されます。ER/Studio DA を使用すると、ほとんどのケースで、このようなプロセスの各パート(CRM、総勘定元帳/会計、発注、在庫、EDW、および ODM)をモデル化することができます。これらのシステム間のマッピングを作成するのは、データ設計者の業務です。データ設計者はモデルを管理し、レポート作成用のマッピングを定義して、データ ウェアハウスのエンジニアを支援します。データ マートにデータを投入する ETL デベロッパは、EDW からデータを取得するカラムとテーブルについての知識が必要です。データの整合性を保つために、レガシー システムやオンライン トランザクション処理(OLTP)システムからのマッピングも必要になります。

ER Studio Data Architect では、さまざまな方法でシステム間のデータ移動を文書化できます。

次のような方法で指定した ETL 情報を、レポートや生成済み SQL で確認できます。

  • テーブル エディタで、データ抽出の頻度とデータ移動を管理するルールを文書化できます。
  • テーブル カラム エディタで、データがソースからターゲットに移動する際のデータ変換(ソースとターゲットのマッピング)を文書化できます。

[データ リネージ]タブを使用して、データの移動と変換を可視化することができます。これによって、ソースとターゲットの関係、テーブル間のデータ フロー、およびデータ変換の詳細を確認できます。

関連項目