photo of gray building

情報処理で扱うデータは、日に日に大きくなっており、テラ~ペタ(ギガの上位単位)サイズの膨大なデータを扱うことも珍しくなくなりました。

ビッグデータは「今までの方法では処理できないほどの、大きなデータの集まり」と言われる、データ集合の集積物を表す用語です。ゲノムデータや気象データ、また金融など膨大なデータ量となるケースがこれに該当します。

ビッグデータは非常にサイズが大きく、データ量が膨大になるため、適切かつ高速に処理をし、管理するためにはサーバーの「パフォーマンス」の向上が重要になります。

データ一件ごとの処理にかかる消費リソースは小さくとも、膨大な量になればシステムには大きな負荷がかかります。その結果、CPUや、メモリなどのシステムリソースを大量消費することになります。

その対処法としては、パフォーマンス低下を招かないために、多くの「子サーバーを用意する」という方法が挙げられます。多くのサーバーで処理を並列的に分散して行うことで、パフォーマンスを向上させ、高速に処理を行うというものです。

今回はこういった親サーバー、子サーバーを使ったビッグデータの分散処理についてご紹介いたします。

分散処理フレームワークでビッグデータを処理可能

膨大なビッグデータを処理するためには、処理システムの「パフォーマンスの向上」が必須課題ですが、単純に高性能なサーバーにすると、多大なコストを要してしまいます。

そこで大きなデータ処理を行う際に使われるシステムが、「分散処理フレームワーク」です。
このシステムの特徴は、親サーバー(マスターサーバー)がデータの配置、リソースの管理を行いながら、複数の子サーバーに、処理を分割し、実行してもらうことです。

分散処理フレームワークのメリット

分散処理フレームワークがもたらす恩恵をまとめてみました。

1.全体の処理を高速化できる
分散処理フレームワークを使用し、子サーバーに処理を割り振ることで、全体の処理能力を向上させられます。

2.コストが安価
分散処理フレームワークは、安価なサーバーでも構築できます。安価なサーバーでも、複数台用意して処理を割り振ることで、パフォーマンスを向上できます。

3.耐障害性の向上
分散処理フレームワークは、一部の子サーバーが故障したとしても動き続けることができます。処理が継続できなくなるリスクを抑えられます。

分散処理フレームワークのデメリット

分散処理フレームワークには、上記のようなメリットもありますが、その反面デメリットもあります。

デメリットとは、システム管理が複雑になってしまうことです。というのも、分散処理では、サーバーの数が多くなり、それぞれに対してセキュリティ管理やハードウェア・サービス監視が必要になります。その結果、複数のシステムにまたがってしまい、管理が複雑となってしまうのです。

管理が複雑になると、人員の配置や、監視システムの導入など、思わぬところでコストがかかってしまうかもしれません。

そこで、分散処理によるデメリットを克服するにはどうすればよいのでしょうか?

統合監視ソフトを使い、合理的な管理を

分散処理によるデメリットを克服するには、「統合監視ソフト」の導入を検討してみましょう。

・複数のサーバーを一括で管理できる
・必要な種類の監視を選択して行える
・一つのソフトですべて監視するため、個別に導入するのに比べ大きなコストダウンにつながる
・人員を最小限に抑えられる
・サーバーごとにシステムの違いがあっても、監視できる

など、一つのソフトウェアで、大きなメリットをもたらしてくれます。

なお、弊社では、上記のメリットをもたらす統合監視ソフト「パトロールクラリス」をご提供しております。

パトロールクラリスとは

パトロールクラリスとは、国内4000社以上の情報システム部門を支えるエージェントレス型サーバ監視・ネットワーク統合監視ソフトウェアです。

パトロールクラリス特徴

エージェントのインストール作業やバージョンアップ等のメンテナンスが不要!稼働中のシステムを止めずに導入が可能です。

複数製品でカバーしていたサーバ監視・ネットワーク監視を一本化!運用の効率化にこだわった機能がオールインワン!無駄なアラート通知も柔軟にコントロール!

死活監視は無料!無制限!その他「68種類」の監視機能も設定数に応じて購入が可能!不要な監視機能にはコストがかかりません。

パトロールクラリスの詳細はこちら

パトロールクラリスではビッグデータの処理を行うサーバーのリソース監視はもちろん、サービスやログの監視などサーバー・ネットワークを細かに監視することが可能です。

ビッグデータの活用を効率的、かつ安全に運用するためには、分散処理と統合監視ソフトの活用で、コストを抑えつつも高いパフォーマンスを実現し、安定性の高いシステムを実現していきましょう。

コムスクエアでは「パトロールクラリス」以外にも、システム運用管理におけるソリューションをご用意しております。是非、ご覧ください。

製品・サービス詳細はこちら

関連記事