これで誰でもGoogleを作れるようになった(原理的にはね)

Announcing Amazon Elastic MapReduce
http://aws.amazon.com/elasticmapreduce/

Using Amazon Elastic MapReduce, you can instantly provision as much or as little capacity as you like to perform data-intensive tasks for applications such as web indexing, data mining, log file analysis, machine learning, financial analysis, scientific simulation, and bioinformatics research.

というわけで、以前、「AmazonのElastic Block Store(EBS)がなぜ素晴らしいかについて(Amazonへの要望付き)」というエントリーでは「AWSは(普通の)ウェブサービスなら何でも作れるだけのインフラになったよ」ということを書いたが、今度は「普通でない」ウェブサービスAWS上でできるようになりました。


「普通でない」ウェブサービスの代表例は検索エンジン検索エンジンというのは、膨大なストレージと膨大なCPUコストが必要なウェブサービスですが、原理的には、EC2, S3, MapReduceの3つの組み合わせでGoogleとほぼ同じものが作れてしまうことになりました。*1


テクノロジー、特にインフラレベルのテクノロジーの進化(というか陳腐化)が早すぎます。ムーアの法則とかそういうレベルじゃなく、もう少し別の次元の加速度で進化しているような気がします。ただ、難しいのは、これだけのスピードでインフラが進化したとしても、世の中の役に立つサービス(アプリケーション)を作るという部分は相変わらずスケールしない人間の創造性に依存している、ということが浮き彫りになるということです。


あ、実際に使ってみたい方は、以下のリンクが一番分かりやすい日本語解説かと。
Amazon Elastic MapReduceを使ってみた

*1:一応書いておくと、MapReduceというのはとても無敵に見えますが、多くの計算のうちMapReduce的な処理に乗せることでスケールアウトが可能なものというのは非常に限られているということをご理解ください。そもそも、Googleが最初にMapReduceを作ったのは、検索という行為に最適化して作ったわけで、当然応用は可能ですが、万能というわけでもありません。