2010年 8月 16日

GigabitEthernetでのiSCSIは実際の所どれほどスピードが出るのか気になっていました。

早速検証環境を作って試してみたので、その構築記録を公開します。

検証環境

【サーバ】

NEC Express5800/iR120a-1E …いわゆるラックマウントサーバ

CPU: Intel Xeon L5520 2.27GHz(Quad) x 2

Mem: 32GB

HDD: SAS 2.5inch 146GB 15krpm x 4 RAID 10

OS: CentOS 5.5(x86_64)

【クライアント】

NEC Express5800/iR120a-1E

CPU: Intel Xeon L5520 2.27GHz(Quad)

Mem: 16GB

HDD: SAS 2.5inch 300GB 10krpm x 2 RAID 1

OS: CentOS 5.5(x86_64)

【ネットワーク】

GigabitのCiscoのスイッチングハブにそれぞれぶら下がっています

この2台以外は稼働していないので、スイッチの負荷は掛かっていません。

CentOS 5.5(64bit)で試すiSCSI環境構築ガイド - よし研　-日々クリエイション-

今旬なハードウェア構成でのテスト記事です。

1年前 | 固定リンク | 2010年 8月 16日 |

2010年 6月 16日

オープンソースで作る共有ファイルシステム：iSCSI+OCFS2(1)

こんにちわ、wakaです。
今回からは弊社の主力業務のひとつであるシステム運用面でオープンソースを活用したピックスを紹介していきたいと思います。
第1回目は共有ファイルシステムについてのお話です。

さて、皆さんファイル共有したいというときには何を使用するでしょうか？
Linuxになじみのある方であればNFS、Sambaあたりを思い浮かべると思います。
いずれもディレクトリ単位でのファイル共有をアプリケーションレイヤで行う仕組みです。
これらはアプリケーションレイヤでのファイル共有システムであるため、最大で60MB/秒ほどの転送速度が限界のようです。

では、データベースサーバーのような高速でのファイルI/O処理を行う必要がある場合のファイル共有はどうしたらよいのでしょうか？
その答えとなるのが今回のトピックスである「共有ファイルシステム：iSCSI+OCFS2」となります。
その名の通りファイルシステムレベルでの共有を行うため、アプリケーションに依存することなく高速な転送速度が期待できます。
しかし、一方ではファイルシステムについての正しい知識・複雑な管理が必要なため敷居が高いのも事実です。

以下に要点をまとめます。

○ファイル共有について
(1)NFS(NetworkFileSystem)
現在version4がリリースされている。ディレクトリ・ファイル単位でのファイル共有機能が使用可能。
設定・構築は比較的容易。ファイルI/Oの性能面で厳しい要件が求められない場合は最適。
※version4でのI/O限界値はReadで約80MB/sec、Writeで約60MB/secほど。
(2)Samba
Linux系OSでWindowsファイルサーバーなどとの相互接続を実現するフリーソフトウェア。
ディレクトリ単位でのファイル共有機能が使用可能。

○ファイルシステムについて
(1)Linuxローカルファイルシステムとしては通常使用されるのはext2/ext3/ReiserFSあたり？
これらは非共有型のファイルシステムなので無理やり共有して使用するとファイルシステムが壊れる。
(2)共有型ファイルシステムとしてはOCFS2(Oracle Cluster File System)/RedHat GFS/ZFSなど。
共有型ファイルシステムであり、使用用途は様々。GBイーサ環境が安価で構築できるようになり、手間を惜しまなければ低価格の機材構成でオープンソースのみを利用して比較的高性能な共有ファイルシステム環境が構築することができる。

○構築について
(1)物理的にもファイルシステムが共有できる必要があるため、今回はiSCSIで複数OSから接続したディスク領域にOCFS2環境を構築する。
(2)構築手順
　①iSCSI Target サーバー(ディスク領域として接続される側)の構築
　②iSCSI Client サーバー(接続する側)の構築
　③Clientサーバー上でiSCSI接続したディスク領域にOCFS2ファイルシステムの構築
　④共有ファイルシステム動作試験/性能測定
(3)構築例環境
OS：CentOS5.4
<構成図>

今回はここまで、次回からは実際に環境構築していきます。

waka

タグ : iSCSI, OCFS2

関連記事：

• オープンソースで作る共有ファイルシステム：iSCSI+OCFS2(3)
• オープンソースで作る共有ファイルシステム：iSCSI+OCFS2(2)
• オープンソースで作る共有ファイルシステム：iSCSIとNFSの比較

オープンソースで作る共有ファイルシステム：iSCSI+OCFS2(1) - ビットスター株式会社 -BitStar.inc- | ブログ

iSCSIでブロックデバイス共有、そして共有ストレージとしてOCFS2という組み合わせ、いいですね。

1年前 | 固定リンク | 2010年 6月 16日 |

2010年 6月 16日

まとめ

Red Hat GFSはiSCSIストレージネットワークと組み合わせることで、NFS単体で達成できるよりもより高い性能を提供できます。

GFS/iSCSI 対 NFS	GFS/iSCSI	NFS
クライアントの拡張性	300以上	10-20もしくは高負荷時にはより少ない台数
サーバとクライアント間の帯域	無制限	NFSサーバの最大帯域によって制限
大規模拡張時の複雑性	同一のボリュームで単一の名前空間を保持することで複雑性を排除し、管理を簡素化する	大規模拡張では、NFSファイルシステムは個別のボリュームにまたがるように分割せざるを得ず、管理の複雑さを増大し、達成できる性能を制限してしまう
POSIX互換	Yes。 最後に書き込まれたデータを常に読み出すことが可能で、アプリケーションを破壊しない	No。 最後に書き込まれたデータを読み込めるかどうかは不確定
小規模拡張、低いパフォーマンスの環境	GFS/iSCSIはコスト効率を小規模拡張、低いパフォーマンスの環境にもスケールダウンできる	NFSが得意とするのは小規模（5-10クライアント）で、低いパフォーマンスの環境のみ

レッドハット | オープンソース・カンパニー

NFSの負荷問題からrsyncに切り替えていました。
その次のステップ説いてGFSに心が傾いていましたが、より簡単なiSCSIに心が傾いています。

1年前 | 固定リンク | 2010年 6月 16日 |

2010年 6月 16日

iSCSI、NFSをマウントし以下のコマンドでファイルの書き込みを行う。

[ServerA #] time dd if=/dev/zero of=/mnt/iscsi-vol/testfile bs=128k count=8192

8192+0 records in
8192+0 records out
1073741824 bytes (1.1 GB) copied, 29.4537 seconds, 36.5 MB/s

real 0m29.457s
user 0m0.008s
sys 0m2.540s

	NFS	iSCSI	ローカルHDD
Write1回目	1073741824 bytes (1.1 GB) copied, 107.903 seconds, 10.0 MB/s	1073741824 bytes (1.1 GB) copied, 29.4537 seconds, 36.5 MB/s	1073741824 bytes (1.1 GB) copied, 7.62334 seconds, 141 MB/s
Write2回目	1073741824 bytes (1.1 GB) copied, 161.972 seconds, 6.6 MB/s	1073741824 bytes (1.1 GB) copied, 29.9452 seconds, 35.9 MB/s	1073741824 bytes (1.1 GB) copied, 7.45572 seconds, 144 MB/s
Write3回目	1073741824 bytes (1.1 GB) copied, 163.577 seconds, 6.6 MB/s	1073741824 bytes (1.1 GB) copied, 29.8378 seconds, 36.0 MB/s	1073741824 bytes (1.1 GB) copied, 7.36467 seconds, 146 MB/s
Read1回目	1073741824 bytes (1.1 GB) copied, 66.9923 seconds, 16.0 MB/s	1073741824 bytes (1.1 GB) copied, 53.7887 seconds, 20.0 MB/s	1073741824 bytes (1.1 GB) copied, 15.4124 seconds, 69.7 MB/s
Read2回目	1073741824 bytes (1.1 GB) copied, 35.1438 seconds, 30.6 MB/s	1073741824 bytes (1.1 GB) copied, 0.816578 seconds, 1.3 GB/s	1073741824 bytes (1.1 GB) copied, 0.931104 seconds, 1.2 GB/s
Read3回目	1073741824 bytes (1.1 GB) copied, 3.01381 seconds, 356 MB/s	1073741824 bytes (1.1 GB) copied, 0.790862 seconds, 1.4 GB/s	1073741824 bytes (1.1 GB) copied, 0.914567 seconds, 1.2 GB/s

Readについてはキャッシュの影響が大きいためあまり参考にならないがWriteについてはNFSとiSCSIの間で3倍〜5倍程度の差が生じている。

転送速度をみてもネットワーク環境がGBネットワークであればiSCSIとローカルHDDはほとんど速度を意識することなく使えそう。

NFSとiSCSIの性能差 - とあるネットワーク管理者の苦悩

iSCSIってそんなに便利な物だったんですか・・・！

以下によると、どちらもネットワーク経由でディスクをマウントすることには変わりないけど、NFSはファイルシステムを提供しますが、iSCSIはディスクまでを提供し、ファイルシステムは自分で用意(つうか自由に選択できる)するという事だそうです。
http://d.hatena.ne.jp/masatomix/20090421/1240273194

1年前 | 固定リンク | 2010年 6月 16日 |