名前も1文字順番が違うだけ、ということで混乱される方もいらっしゃるかも知れない「ELT」と「ETL」。
本記事ではELTとETLの違いについて取り上げながら、導入にあたりどちらを選ぶべきか判断基準となる情報をまとめさせていただきます。
ELT、ETLはそれぞれどういったものか、また御社にとって最適な選択肢はどちらなのか見極めて下さい。
ELTとETLの違いは処理順序とデータベースへの負荷と必要容量
ETLとELTはどちらも、「システム間・アプリ間・企業間でのデータ連携をスムーズにし分析しやすい環境を整え業務効率を向上させるため」に用いられるツールです。
抜粋 ⇒ 『E』xtract
搭載する ⇒ 『L』oad
変換する ⇒ 『T』ransform
という3つの英単語の頭文字でそれぞれ命名されたETL・ELTは、文字の並び順の通り「処理の順序が異なる」という点が相違しています。
最初にデータの抽出「Extract」を行うところまでは同じですが、ELTではまず出力先のデータベース
にデータを送出したあと、データベース上でデータの変換・加工を実行する処理順です。
ETLではデータ送出に続いてデータ変換・加工を行い出力先へデータの送出を実行します。
処理速度としてはELTに軍配が上がりますが、この処理順序の関係からELTは必要とするデータベース容量が大きくなりがちであること、またELT処理時にはデータベースの利用に制限がかかってしまう点がポイントです。
こう見るとELTのほうがデメリットは大きいのでは？と思われてしまう方もいらっしゃるかも知れませんが、
そうとばかりも言い切れない為、ELT・ETLについて掘り下げて解説させていただきますので続けてご覧下さい。
ELT：データが蓄積されたデータベース内でデータを変換
ELTの場合は抽出したデータをデータベース（DWHなど）に保存した後、データベース内で変換・加工処理を行います。
そのためETLでは必要になるケースも多い『変換処理のための専用エンジン』や『システム開発の知識・スキル』は不要という点は大きな利点となるでしょう。
また普段から利用しなれているデータベース上の処理だけですみますから、新たなスキルを習得する手間もありません。
ETL：さまざまなデータを抽出・変換してデータベースに統合
ETLでは抽出したデータを加工・編集し、利用しやすく設定した条件で統一されたデータベースとして保存しELTと同じく業務の効率化を図れます。
ETLは社内外の連携よりも社内データを有効活用したいケースで活用されることが多く、BI（Business Intelligence）ツールとして用いられることが多くあります。
ELTとは違い、データの編集・加工・抽出などにシステム開発スキル・知識が求められたり、使いこなすために習得すべき知識を身に着けるための研修が行われることもあり、気軽に使えるものばかりとはいえない現状です。
ELTとETLの使い分け
ELTとETLの特徴から考えるとこのような使い分けができます。
ETLは『データの取り込みスピードが速く、必要なスキルも少なくすむ』という特長がありますね。
対してELTは『データベースにかかる負荷が大きく、稼働時はデータベースの利用ができない場合もあり、データベース操作などのスキルを要することがある』という特長がありました。
ですから使い分けをするならば、以下のようにするのがおすすめです。
- システム開発スキルが皆無の場合は「ELT」
- データベース必要量が少なく拡張の必要性もない場合「ETL」
- 1日中データベースを利用しなければならない場合「ETL」
- データ量はそこまで多くを必要としていない場合は「ELT」
ETL・ELTを使う人材のスキルや、データベースの容量、使用する頻度から考えるとスムーズになるでしょう。
システム開発スキルが皆無の場合は「ELT」
ツールによりシステム開発に関わるデータベース操作言語などのプログラミング言語の習得が必要になるETLツールはハードルが高いといえます。
ですのでシステム開発スキルのある人材が不在・スキルが不足する懸念がある場合にはELTがおすすめです。
データベース必要量が少なく拡張の必要性もない場合「ETL」
ELTを実行するには十分なデータベース容量が必要です。
必要とするデータベース容量が少なく拡張する必要性もない見込みがあるのであればETLでも問題ないでしょう。
データ量はそこまで多くを必要としていない場合「ELT」
データ量が膨大にはならない、もしくはオンサイトではなくクラウド型を検討しており、その際の従量制料金も問題ない、という場合にはELTがおすすめできます。
1日中データベースを利用しなければならない場合「ETL」
データベースへ高負荷となることが予測されるこのようなケースでは、ETLを利用することでスムーズな運用が可能になります。
ELTの仕組み・用途・利用メリット
ELTとETLの最も異なる特徴は『無制限のソースから情報を収集でき、処理場所にロードしたデータを実用的なBI（ビジネスインテリジェンス）に変換できる」ということ。
以下の3つのポイントの1つ以上に該当するのであれば、ELTを利用することがメリットとなります。
- 取り込みのスピードがとにかく重要である
- 豊富なインテリジェンスが必要な業務である
- データベースの拡張が必要となることが既に想定されている
ETLではデータベースの拡張が不可能であること、またBIのレパートリーがELTと比較して期待できない、データ量が多い場合にはデータベースへの負荷が高い事から、ELTを利用することでメリットを享受できます。
クラウド型ELT利用で「コスト削減と拡張性の高さ」にメリット
クラウドサービスの機能拡大により、業界専門家の多くが『近い将来オンプレミスデータセンターは時代遅れとなる』と考えています。
クラウドシステムで実現された『拡張性・シームレスな統合・オープンソース・コスト削減の実現性』により、ELTでは従来当たり前と考えられていた障害を克服するに至っていることもこの警鐘の裏付けといえるでしょう。
クラウド型ELT利用のメリット①「拡張性の高さ」
これまでのオンサイトのデータセンターを活用する方法では、ローカル処理のストレージ能力がELTを利用することにより急激に圧迫されることを考えなくてはなりません。
そうなるとシステム利用を一時停止しなくてはならないなどのリスクを回避するため、高価なハードウェアへアップグレードする必要が出てきたり、その調整期間中のダウンタイムが発生する可能性も否定できないのです。
ですがクラウド型のiPaaSやSaaSといった仮想クラウドインフラストラクチャ・ホステッドサービスを導入することで、臨機応変にリソースを拡張できるようになるため、上記のようなリスクを事前に容易に回避できるということになります。
データ量も多い、またシステム規模が大きなデータ変換タスクが必要になるようなシーンでも、問題なくなるということは企業にとって大きなメリットとなることは言うまでもないでしょう。
クラウド型ELT利用のメリット②「コスト削減」
クラウド型ではないETLにおいては『機能拡大 ＝ コスト発生』が当たり前でしたが、クラウド型ではそうではありません。
ハードウェアへの新たな投資も必要なく、またオープンソースだからこそ機能拡張もより気軽に低コストで実現できるようになったのです。
もちろんリソースの増幅、処理能力のアップという側面から考えても、従量制のものが多いクラウド型ELTは無駄なコストもかけることなく、年間の総所有コストを従来型と比較して大幅に削減できます。
ELTの進化「ビックデータタスクの一元化を実現」
ELTはビックデータを取り扱うタスクをより簡略化し、効率的に処理するまでに進化しています。
これまでは大規模タスクといえば、ジョブを細分化しリモートで処理を行った上で、データベース上にロードするという流れで行われてきました。
現在は仮想クラスタリングでローカルサーバーリソースの能力が飛躍的に向上し、大規模タスクでもジョブを細分化する必要性が激減し、クラウド上で分散させてたタスクを一元化することができるようになったのです。
ELT導入時におこりがちな4つの課題
ELT導入にあたって、大きな問題に繋がってしまったり、『思うように進まない』という状況にならないためにも、ELT導入時に取り上げられることの多い課題についてチェックしておきましょう。
セキュリティリスク
PB（ペタバイト）規模の大きなデータを取り扱う場合、セキュリティ面から全てのアプリケーション・ユーザーからデータにアクセス可能にすることは難しい課題です。
このようなリスクを回避するためにも、導入にあたってはデータの破損時やハッキングなどからデータを守れるセキュリティ対策を講じているELTを選ぶことが重要なのです。
コンプライアンス上の課題
ELTを導入する場合でもコンプライアンスは重要です。
国内のみならず国際的なコンプライアンスの規制に抵触してしまうことが無いよう
、監査の実施・基準を満たせているかということをしっかりと確認することも重要です。
データリソース増大の課題
運用するデータが無限に増大するのを抑制するためのプランがなければ、
いかに適切で良心的な価格設定のELTを選んだ場合であっても、コストが増幅しELT導入のメリットが薄くなってしまいます。
ビジネスを効率的に展開する為にも、データの増大をどのように抑えるかしっかりと計画を建てておく必要があります。
データガバナンス上の課題
「データガバナンス上の5w」も重要です。
- Why：ビジネスパフォーマンスになぜ、ELTが良のか？
- Who：マスターデータ管理を制御する人物とは？
- What：どんなデータが収集され保管される？
- Where：データの保管場所は？
- When：概観・監査はいつ実施される？
わかりやすく、必要な情報をしっかりとまとめることでELTを最大限活用しメリットを享受できるようになりますから、
導入時の計画で5wについても検討することをおすすめします。
ELTとETLのまとめ
ELTとは何か、そしてELTと言葉の順番が違うだけのETLとの違いとは何かについても解説させていただきました。
一文字順番が違うだけとはいえ、その差は大きいということもご理解いただけたのではないでしょうか。
また違いをご理解いただいた上で、ELTを選ぶべき時、ETLを選んだ方が良い時それぞれ判断いただくための情報もお伝えさせていただきました。
導入にあたって検討しておくべき課題も含めて、最適な方法で御社の業務効率改善に役立てていただければ幸いです。
