大規模データ処理のための分散システムの実装とその応用

前橋 孝広  大原 重樹  

誌名
電子情報通信学会論文誌 D   Vol.J93-D   No.7   pp.1072-1081
発行日: 2010/07/01
Online ISSN: 1881-0225
DOI: 
Print ISSN: 1880-4535
論文種別: 招待論文 (インターネット技術とその応用論文特集)
専門分野: オーバレイネットワーク
キーワード: 
P2P,  分散キーバリューストア,  MapReduce,  ネットワーク計測,  

本文: PDF(276.1KB)
>>論文を購入


あらまし: 
インターネットサービスプロバイダ(ISP)は,自社のバックボーンネットワークを安定して運用するため,膨大な量のトラヒックデータを収集し解析している.IIJはこのような大規模データセットを扱うための技術基盤の一つとして"ddd"と呼ばれる分散システムを独自に開発/実装した.dddは,単一障害点をもたず一部のノードが故障しても全体は動き続ける,後から動的にノードを拡張して大量のデータを保持できる,大規模のデータ処理を複数のノードで効率的に並列分散処理する,などの特徴をもつシステムである.本論文では,このdddの開発にあたって利用した,P2P,分散キーバリューストア,MapReduceといった各種技術について述べるとともに,その有効性について説明する.