会社の規模別監視システム　２−１：ビッグデータには親サーバー、子サーバーを用意し、適切なサーバー監視を

情報処理で扱うデータは、日に日に大きくなっており、テラ～ペタ（ギガの上位単位）サイズの膨大なデータを扱うことも珍しくなくなりました。

ビッグデータは「今までの方法では処理できないほどの、大きなデータの集まり」と言われる、データ集合の集積物を表す用語です。ゲノムデータや気象データ、また金融など膨大なデータ量となるケースがこれに該当します。

ビッグデータは非常にサイズが大きく、データ量が膨大になるため適切かつ高速に処理をし、管理するためにはサーバーの「パフォーマンス」の向上が重要になります。

データ一件ごとの処理にかかる消費リソースは小さくとも、膨大な量になればシステムには大きな負荷がかかります。その結果、CPUや、メモリなどのシステムリソースを大量消費することになります。

その対処法としては、パフォーマンス低下を招かないために、多くの「子サーバーを用意する」という方法が挙げられます。多くのサーバーで処理を並列的に分散して行うことでパフォーマンスを向上させ、高速に処理を行うというものです。

今回はこういった親サーバー、子サーバーを使ったビッグデータの分散処理についてご紹介いたします。

分散処理フレームワークでビッグデータを処理可能

膨大なビッグデータを処理するためには、処理システムのパフォーマンスの向上が必須課題ですが、単純に高性能なサーバーにすると、大きなコストがかかってしまいます。

そこで大きなデータ処理を行う際に使われるシステムが、「分散処理フレームワーク」です。
このシステムの特徴は、親サーバー（マスターサーバー）がデータの配置、リソースの管理を行いながら、複数の子サーバーに、処理を分割して渡して実行してもらうことです。

分散処理フレームワークのメリット

分散処理フレームワークがもたらす恩恵をまとめてみました。

1.全体の処理を高速化できる
分散処理フレームワークを使用し、子サーバーに処理を割り振ることで、全体の処理能力を向上させられます。

2.コストが安価
分散処理フレームワークは、安価なサーバーでも構築できます。安価なサーバーでも、複数台用意して処理を割り振ることで、パフォーマンスを向上できます。

3.耐障害性の向上
分散処理フレームワークは、一部の子サーバーが故障したとしても動き続けることができます。処理が継続できなくなるリスクを抑えられます。

分散処理フレームワークのデメリット

分散処理フレームワークには、上記のようなメリットもありますが、その反面デメリットもあります。

1.複雑なプログラミングが必要になる
分散処理を行うためにプログラミングが必要になります。多くのサーバーで処理を行うほど、複雑なプログラムになりがちです。

2.子サーバーの管理が必要になる
分散処理ではサーバーの数が多くなりますが、それぞれに対してセキュリティ管理やハードウェア・サービス監視が必要になります。複数のシステムにまたがるほど、管理が煩雑になりがちです。

統合監視ソフトを使い、合理的な管理を

システムの規模が大きくなればなるほど、管理が煩雑になりがちです。人員の配置や、監視システムの導入など、思わぬ所でコストがかかってしまうかもしれません。

そこで、「統合監視ソフト」の導入を検討してみましょう。
・複数のサーバーを一括で管理できる
・必要な種類の監視を選択して行える
・一つのソフトですべて監視するため、個別に導入するのに比べ大きなコストダウンにつながる
・人員を最小限に抑えられる
・サーバーごとにシステムの違いがあっても、監視できる

など、一つのソフトウェアで、大きなメリットをもたらしてくれます。

まとめ

適切な分散処理と、管理を行うことによって、システム全体のコストを抑えながら高いパフォーマンスを実現出来ます。

企業でビッグデータが扱われるようになるなど、データのサイズは急激に増大しています。分散処理と統合監視ソフトウェアの活用で、コストを抑えつつも高いパフォーマンスを実現した安定性の高いシステムを実現していきましょう。

《　会社の規模別監視システム　１−３：サーバー監視に統合監視ソフトを活かす

会社の規模別監視システム　２−２：可用性を高める冗長化構成　》