ビッグデータ解析・集計ならQES

ソリューション SOLUTION : ビッグデータ処理基盤

サービス概要

大量のデータを処理する基盤を構築します。

ビッグデータ処理基盤構築サービスは、オープンソースのApache Hadoopを用いて、分散処理基盤を構築します。 Hadoopは、複数サーバで効率良く分散処理する仕組みが備えられており、ビッグデータ処理のための基盤ソリューションです。

各種ログデータなど、大量データを保持しているものの、今まで活用できていなかったデータをビッグデータ処理基盤で解析/分析を行うことにより、新たな発見が得られる可能性があります。本格的にデータマイニングに取り組むには、一般的に費用が高額になります。本サービスでは、お客様自身でデータ分析を取り組むための仕組みをご提供いたします。

また、データが大量であることが理由で処理時間が長くなっているバッチ処理は、分散処理により高速化することもできます。

サービスの特長

ビッグデータ処理基盤を構築

Apache Hadoop の環境を構築し、お客様自身で簡易的な分析処理ができる環境をご提供いたします。 Hive(SQLのようなクエリ)を用いることで、コーディング不要でデータ分析ができます。 お客様自身で、データ分析を行うことで、大幅にコストを削減することができます。 Hive等の実行が難しい場合は、お手伝いすることもできます。

大量データの定型処理実装

大量のログデータ集計など、定型処理をMapReduce処理(Hadoopの処理方式)で実装します。

バッチ処理の高速化

大量データが理由で、バッチ処理の時間がかかる場合は、Hadoopで処理を分散することにより高速化できる可能性があります。 既存処理をHadoopのMapReduce処理に置き換え、分散処理を実現します。 事前に、処理の高速化が見込めるか事前検証もできます。

スケールアウト可能

Hadoopは、スケールアウトにより処理性能を向上する仕組みとなっています。 当初はスモールスタートでコストを抑え、徐々にノードを追加することで、パフォーマンスが向上します。

サービスイメージ

このようなお客様に最適です

  • 大量のデータ(ログデータなど)を持っているが、活用できていない。
  • データ量が多すぎて、バッチ処理に時間がかかっている。
  • 本格的にデータマイニングに取り組むには、費用がかかりすぎるため、お試しで始めたい。