Bigegg Lab

2010年 8月 16日

GigabitEthernetでのiSCSIは実際の所どれほどスピードが出るのか気になっていました。

早速検証環境を作って試してみたので、その構築記録を公開します。

検証環境

【サーバ】

NEC Express5800/iR120a-1E …いわゆるラックマウントサーバ

CPU: Intel Xeon L5520 2.27GHz(Quad) x 2

Mem: 32GB

HDD: SAS 2.5inch 146GB 15krpm x 4 RAID 10

OS: CentOS 5.5(x86_64)

【クライアント】

NEC Express5800/iR120a-1E

CPU: Intel Xeon L5520 2.27GHz(Quad)

Mem: 16GB

HDD: SAS 2.5inch 300GB 10krpm x 2 RAID 1

OS: CentOS 5.5(x86_64)

【ネットワーク】

GigabitのCiscoのスイッチングハブにそれぞれぶら下がっています

この2台以外は稼働していないので、スイッチの負荷は掛かっていません。

CentOS 5.5(64bit)で試すiSCSI環境構築ガイド - よし研　-日々クリエイション-

今旬なハードウェア構成でのテスト記事です。

1年前 | 固定リンク | 2010年 8月 16日 |

2010年 6月 16日

まとめ

Red Hat GFSはiSCSIストレージネットワークと組み合わせることで、NFS単体で達成できるよりもより高い性能を提供できます。

GFS/iSCSI 対 NFS	GFS/iSCSI	NFS
クライアントの拡張性	300以上	10-20もしくは高負荷時にはより少ない台数
サーバとクライアント間の帯域	無制限	NFSサーバの最大帯域によって制限
大規模拡張時の複雑性	同一のボリュームで単一の名前空間を保持することで複雑性を排除し、管理を簡素化する	大規模拡張では、NFSファイルシステムは個別のボリュームにまたがるように分割せざるを得ず、管理の複雑さを増大し、達成できる性能を制限してしまう
POSIX互換	Yes。 最後に書き込まれたデータを常に読み出すことが可能で、アプリケーションを破壊しない	No。 最後に書き込まれたデータを読み込めるかどうかは不確定
小規模拡張、低いパフォーマンスの環境	GFS/iSCSIはコスト効率を小規模拡張、低いパフォーマンスの環境にもスケールダウンできる	NFSが得意とするのは小規模（5-10クライアント）で、低いパフォーマンスの環境のみ

レッドハット | オープンソース・カンパニー

NFSの負荷問題からrsyncに切り替えていました。
その次のステップ説いてGFSに心が傾いていましたが、より簡単なiSCSIに心が傾いています。

1年前 | 固定リンク | 2010年 6月 16日 |

2010年 6月 13日

asahi.com（朝日新聞社）：BIGLOBE、低コストストレージを活用した「PCバックアップサービス」 - e-ビジネス情報（提供：ＢＣＮ） - デジタル :
 http://www.asahi.com/digital/bcnnews/BCN200807080008.html

Roma、Fairyについてひとことふたこと - 古橋貞之の日記 :
 http://d.hatena.ne.jp/viver/20071129/p1

画像配信の負荷分散も比較的簡単？（その1） - 最速配信研究会 :
 http://d.hatena.ne.jp/yamaz/20060426

画像配信の負荷分散も比較的簡単？（その2） - 最速配信研究会 :
 http://d.hatena.ne.jp/yamaz/20060508

画像配信の負荷分散も比較的簡単？（その3） - 最速配信研究会 :
 http://d.hatena.ne.jp/yamaz/20060509

画像配信の負荷分散も比較的簡単？（その4） - 最速配信研究会 :
 http://d.hatena.ne.jp/yamaz/20060510

画像配信の負荷分散も比較的簡単？（その5） - 最速配信研究会 :
 http://d.hatena.ne.jp/yamaz/20060622

画像配信の負荷分散も比較的簡単？（その6） - 最速配信研究会 :
 http://d.hatena.ne.jp/yamaz/20060626

◆mixi

★関口秀之のJust Do IT★ > ★mixiを支えるシステムとは？★ : ITmedia オルタナティブ・ブログ :
 http://blogs.itmedia.co.jp/goal/2006/12/mixi_1b03.html

PostgreSQLで効率的な負荷分散を実現し、モバゲーやmixiを追撃 － TechTargetジャパン :
 http://techtarget.itmedia.co.jp/tt/news/0802/28/news03.html

ミクシィのCTOが語る「mixiはいかにして増え続けるトラフィックに対処してきたか」：ITpro :
 http://itpro.nikkeibp.co.jp/article/NEWS/20060330/233820/

mixiの生みの親“バタラ氏”が語るMySQLの意外な利用法 － TechTargetジャパン :
 http://techtarget.itmedia.co.jp/tt/news/0709/12/news01.html

◆Gfarm

Gfarm Documentation :
 http://datafarm.apgrid.org/document/

KEK:News＠KEK(大量のデータ処理手法で優勝) :
 http://www.kek.jp/newskek/2007/janfeb/Gfarm.html

ＮＴＴネオメイト｜コールセンタサービス :
 http://www.ntt-neo.com/news/2005/050701b.html

分散ストレージについて再び(6) - 近況 :
 http://d.hatena.ne.jp/pekeq/20070215/p2

◆MogileFS

Six Apart - Tech Talk Blog: MogileFS::Client と MogileFS 内部でのファイルノード管理 :
 http://www.sixapart.jp/techtalk/2006/10/mogilefsclient_mogilefs.html

Six Apart - Tech Talk Blog: 分散ファイルシステム MogileFS について :
 http://www.sixapart.jp/techtalk/2006/10/dev_mogilefs.html

Six Apart - Tech Talk Blog: MogileFS のインストールと初期設定 :
 http://www.sixapart.jp/techtalk/2006/10/dev_mogilefs_install.html

◆cagra

MOONGIFT: » C++製の分散ストレージシステム「cagra」:オープンソースを毎日紹介 :
 http://www.moongift.jp/2008/04/cagra/

P2P分散ストレージ「Cagra」 - 古橋貞之の日記 :
 http://d.hatena.ne.jp/viver/20080429/p1

2008-04-22 - nyaxtのPC作業ログ :
 http://d.hatena.ne.jp/nyaxt/20080422

◆Cleversafe

Cleversafeは好奇心を引くオープンソースプロジェクト - IT運用スペシャリストのためのブログ :
 http://d.hatena.ne.jp/kodeview/20061209/p1

Cleversafe、分散ストレージ ネットワークの商用化に着手 - japan.internet.com Webビジネス :
 http://japan.internet.com/busnews/20080219/12.html

「ストレージ2.0」いよいよ発進 : オープンソース - Computerworld.jp :
 http://www.computerworld.jp/topics/osst/69049.html

◆LustreFS

Lustreファイルシステムの概要 :
 http://mikilab.doshisha.ac.jp/dia/research/report/2004/0803/002/report20040803002.html

lustre - 詳解ファイルシステム - livedoor Wiki（ウィキ） :
 http://wiki.livedoor.jp/linuxfs/d/lustre

Lustre File System - Overview :
 http://www.sun.com/software/products/lustre/

◆OpenAFS

 囲い込まれた分散データを支援するOpenAFS :
 http://www.ibm.com/developerworks/jp/opensource/library/os-openafs/index.html

Gentoo Linux Documentation — Gentoo Linux OpenAFS Guide :
 http://www.gentoo.org/doc/ja/openafs.xml

MOONGIFT: » 成熟した分散化ファイルシステム「OpenAFS」:オープンソースを毎日紹介 :
 http://www.moongift.jp/2008/05/openafs/

◆Hadoop

Hadoopのインストールとサンプルプログラムの実行：CodeZine :
 http://codezine.jp/a/article/aid/2485.aspx

複数マシンへHadoopをインストールする：CodeZine :
 http://codezine.jp/a/article/aid/2699.aspx

Apache Hadoop のプロジェクト詳細 :
 http://projects.terra-intl.com/projects/hadoop.html

InfoQ: Googleライクなオープンソースインフラストラクチャ「Hadoopプロジェクト」が弾みをつける :
 http://www.infoq.com/jp/news/2007/08/hadoop-momentum

◆GoogleFS（Googleが内部利用している→Hadoop）

Google Research Publication: The Google File System :
 http://labs.google.com/papers/gfs.html

MapReduce:Simplified Data Processing on Large Clusters :
 http://labs.google.com/papers/mapreduce-osdi04-slides/

徒然な忘備録。 :
 http://d.hatena.ne.jp/kaidnu2/comment?date=20080609

グーグルデータセンターの内側—明らかにされた独自性 - page2 - builder by ZDNet Japan :
 http://builder.japan.zdnet.com/news/story/0,3800079086,20374847-2,00.htm

Google spotlights data center inner workings | Tech news blog - CNET News.com :
 http://news.cnet.com/8301-10784_3-9955184-7.html

アリエル　エリア - ドキュメント-Google File System(GFS)技術メモ :
 http://dev.ariel-networks.com/modules/xfsection/article.php?articleid=50

Perl Tips | Google File System (GFS) とは（GFS の論文） :
 http://perltips.twinkle.cc/google/gfs.php

巨大な検索システムを耐障害性の高いソフトと安価なマシンで実現 :
 http://internet.watch.impress.co.jp/cda/event/2004/11/16/5430.html

分散ファイルシステム（DFS）メモ - CASEY.JP

スケーラブルなDFS、とても気になっています。

1年前 | 固定リンク | 2010年 6月 13日 |

2010年 6月 13日

　GFS(GoogleFileSystem)の素晴らしさに触発され、何か一つ分散ファイルシステムを体験してみようというコンセプト。
　検査のためにコンピュータを用意するのは直観的だけれど、今回は何台か必要なので＆検証なのでVMを利用したい。

　ところで、なぜDFSが必要なのだろうか。システム管理者はシステムとハードウェアを常に監視していなければなら ない。日々バックアップを取り、週末にはサーバを停止してディスクチェックを行い、遅れがちなクライアントのメンテナンスでハードウェアクラッシュがあり その対応に追われる。

　少なくともデータをネットワーク上（NAS）に配置しておけばこれらの恐怖感から解放されることになる。
しかし、NASの重要性はますます高まり、壊れていないのに定期的に交換し、また特殊なハードウェアのため、検査に時間がかかったり検査ができなかったりする。こうして新しい恐怖に駆られることになる。

　そこで、DFSの出番である。DFSは壊れないファイルシステムといえよう。各々のデータは細分化されそれぞれの サーバに分散される。ここまではRAIDと同じような印象である。しかし、DFSはスケーラブルであり、どのような環境のシステムでも直ちに参加でき、あ るいは分離できることが特徴的である。さらに、障害が発生した場合には自動的にそれを除外して処理を続行する。

　GoogleはGoogleFileSystem(GFS)等による大規模なテストの結果として、１８００台のうち１６００台が故障しても耐えられるとしている。このテストは１８００台のサーバのうち、８０台の電源を引っこ抜いたとされている。

分散ファイルシステム（DFS）メモ - CASEY.JP

さまざまな分散ストレージの参考サイトが多く出ているのでリンク集として便利です。

1年前 | 固定リンク | 2010年 6月 13日 |