Bigegg Lab

2011年 8月 27日

お使いのSSDがTrimをサポートしているかどうかは、hdparmコマンド（yum install hdparm）を使って確認できます。
同様に、NCQも有効になっているか等も確認できます。

hdparm -I /dev/sdc | grep TRIM
* Data Set Management TRIM supported (limit unknown)
* Deterministic read data after TRIM

LINUX - SSD TRIM (discard) problems with ext4 on Crucial C300 SSDs with CentOS 5.5 - efreedom

CentOS6に含まれているext4はTRIMをサポートしているので、特にマウント時にdiscardオプションを渡す必要はありません。
CentOS5台ではサポートしていないので、指定したとしても以下のメッセージが出てエラーとなります。
EXT4-fs warning (device sdc): ext4_issue_discard:2619: discard not supported, disabling

9ヶ月前 | 固定リンク | 2011年 8月 27日 |

2011年 8月 27日

手順1
端末（コンソール）を開きます。端末は、[アプリケーション]-[アクセサリ]-[端末]で開けます。

手順2
コマンドプロンプトで「hdparm -I /dev/デバイス名」と入力します。
デバイス名が分からない時は、 [システム]-[システム管理]-[ディスク・ユーティリティ]と開くことでデバイス名を確認できます。通常、「sda」「sdb」「sdc」などのように「sdX」ではないかと思います。

手順3
SSDが「not frozen」になっているかどうかを確認します。
「not frozen」になっていない場合は、SecureEraseを行えないので、そのままSSDをホットプラグで抜き差し（ケーブルの抜き取り差し込みでもかまいません）して、再度、手順2を実行し、「not frozen」になっているかどうかを確認します。

手順4
パスワードを設定します。
「hdparm —user-master u —security-set-pass password /dev/デバイス名」と入力します。「password」の部分は好きな文字列を入力してください。設定したパスワードの情報が表示されます。

手順5
再度、コマンドプロンプトで「hdparm -I /dev/デバイス名」と入力し、Security項目の上から2番目の「enabled」の左横に「not」の文字がないことを確認します。

手順6
「time hdparm —user-master u —security-erase password /dev/デバイス名」と入力します。「password」の部分は、手順4で設定したパスワードを入力してください。

手順7
再度、コマンドプロンプトで「hdparm -I /dev/デバイス名」と入力し、Security項目の上から2番目の「enabled」の左横に「not」の文字が付いていることを確認します。以上で、SecureEraseは終了です。

忘却の彼方: Linuxを使用したSecureEraseの手順

Linuxの「hdparm」を使用すればSecureEraseが行えるそうです。

9ヶ月前 | 固定リンク | 2011年 8月 27日 |

2011年 7月 4日

始めて SSD の初期不良に遭遇したのと深夜なので変にハイテンションでございますが、言いたいことは以下の点です！

• SSD にも初期不良はあるようです
  • マスターで使うならエージングしたいですね by marqs
• 少なくとも Intel/Mavell 系コントローラだと Reallocated_Sector_Ct の値は故障判定に使える
• SSD 内部の ECC が有効に機能しているらしく壊れたブロックはちゃんと Medium Error を返す

HDD でも役に立つので、不良セクタ数はグラフにしましょうね、と思いました。

また、稼働時間と他のホストの比較から、どう見ても初期不良に見えるため光の早さで公開しましたが、このエントリは凄く突っ走って書いております。

後でよく調べたらなんか間違ってるかもしれません。続報にもご注意下さい。

本番環境で初期不良の SSD を踏みました - mura日記 (halfrack)

SSDなどでio errorが起きたらsmartctl -a /dev/sda を使い、「Reallocated_Sector_Ct」を要チェック。
但し、使用しているRAIDコントローラによってはこのコマンドで見られないので、RAIDコントローラの専用コマンド、例えばtw_cliなどを利用しましょう。

10ヶ月前 | 固定リンク | 2011年 7月 4日 |

2011年 2月 11日

具体的なサーバの構成は次のとおり。

1. エッジサーバ
   • ヘッド用エッジサーバ
     少ない種類の動画の大量配信に特化（＝祭り用サーバ）
     同時接続数：20,000　要求ストレージ速度：高速　容量：低→SSD化＋10GbE化を進めスケールアップ
     
   • ミドル用エッジサーバ
     比較的新しめで、そこそこ見られている動画の配信
     同時接続数：120,000　要求ストレージ速度：大
     
   • テール用エッジサーバ
     同時接続数：60,000　要求ストレージ速度：最大（2TB程度）
2. オリジンサーバ
   エッジサーバにキャッシュされていない動画をここから取得 要求ストレージ：極大　ストレージサーバへのアクセスを極少にする。
   
   
3. ストレージ
   容量数百TBのストレージ：現3台
   
   • 来年にはPBに到達
   • NFSでアクセス→とても扱いやすい。現場としては今後もこれで行きたいという意見。
   要件
   
   • 可用性、スケーラビリティ、コスト→こちらがより重要である。
   • 速度はそこそこ必要（3～4Gbps）

　この辺りから、ではドワンゴのアプローチはどのようなものか？というまとめに入りました。

1. 自前主義：アプリケーション設計とサーバ構成で課題クリア
   多段キャッシュ、負荷分散、アクセス頻度による動画の置き場所調整, etc.
2. それらを実現してくれる製品はあるがあえて採用しない（例：SSD/HDDハイブリッドストレージ等）
3. 自前主義のメリット
   
   • 各レイヤーのリソース配分の自由度、スケーラビリティ
   • 個々のコンポーネントに求める要件がシンプル→製品選択幅広。混在がしやすい。
4. 自前主義のデメリット
   
   • 集積度が低くなりがちである。
   • 場所代、電気代の問題

　今後ドワンゴとして求めているストレージ製品は、

• ドライブレベルでは、SSD導入。また高速・長寿命であること。
• ストレージレベルでは、安価なHDDの大量積みができること。大ボリュームとして扱えること。

だそうです。

ニコニコ動画のストレージの話を聞いてみた: 日々記―へっぽこライブラリアンの日常―

1年前 | 固定リンク | 2011年 2月 11日 |

2011年 1月 23日

古いOSではTRIMがサポートされていません。TRIMを利用するには最新のOSとファイルシステムを使用する必要があります。現在のところ、以下のOSとファイルシステムの組み合わせでTRIMを利用することが可能です。

• Windows 7でNTFSを使用
• Windows Server 2008 R2でNTFSを使用
• Linux Kernel 2.6.33以降でext4を使用 (Fedora 13/14、Ubuntu 10.10など)
• Red Hat Enterprise Linux 6.0でext4を使用
  (Linux Kernel 2.6.32だがバックポートされている。Storage Administration Guide参照)

例外的にIntel X25-M G2については、Intel SSD Toolboxを用いることでWindows XP/VistaでもTRIMを利用することができます。

SSDに対するBlock Discard/TRIMをSystemTapで可視化する - SH2の日記

1年前 | 固定リンク | 2011年 1月 23日 |

2010年 10月 16日

後半の2セッションだけ参加してきたのですが、おそらく全4セッションのうちの前半の3セッション分は資料が公開されそうなので、最後のDeNA松信さんのセッションのメモを以下に残しておきます。

数字的な検証結果も興味深いところですが、ディスクやファイルシステムの特性、MySQLの仕様、I/O種別などを理解した上での適材適所な 設計をすることでパフォーマンスは大きく変わってくるんだと改めて再認識しました。めちゃめちゃ参考になりました！松信さんありがとうございました！

※ 尚、聞きながら、急ぎ足でメモを取ったので、内容・数字に誤りがある場合があるかもしれませんが、ご了承ください。

講演者

• 「MySQL環境におけるFusion-io検証結果とDeNAにおける活用価値」
• 松信 嘉範 氏
  • 株式会社ディー・エヌ・エー
  • システム統括本部 IT基盤部
  • インフラ担当プリンシパルアーキテクト MySQLエバンジェリスト

DBサーバにおいてSSDがなぜ必要か

• SSD化によって、IOPSが桁違いに向上する
• ほとんどのデータベースアクセスはランダムI/Oになる
• 通常のSAS HDDでは、1ドライブあたり200IOPS程度
  • HDDがボトルネックになるケースが多い
• SATA SSDのIOPSは、2000+ (write) / 5000+ (read)
• PCI-E SSDになると、数万単位のIOPSを実現できる

SSDによるパフォーマンス向上と、1台あたりの処理量が大きくなることによるサーバの台数削減が可能

DeNA松信さんの「MySQL環境におけるFusion-io検証結果とDeNAにおける活用価値」セッションメモ - RX-7乗りの適当な日々

1台170万円とそれ何理工科ですが、その性能はとても高いFusion-io。
そちらの松信さんによる検証記事です。

1年前 | 固定リンク | 2010年 10月 16日 |

2010年 9月 23日

●Q.SSDの空き容量によって、ドライブ性能って変わるんですか？

天野氏：変わるんです。特にランダム書き込み性能は変わります。空き容量ナシの上書き書き換えが最悪の状態で、ランダム書き込み性能はそのときの値を公称しています。

●Q.IntelのMLC-SSDの連続書き込みが他社より遅い訳は？

天野氏：言い訳のところもありますが（笑、クライアントPCで重要になるランダムアクセス向けに設計したからです。技術的には「キャッシュが小さいから」というのが理由です。

●Q.SSDでNative Command Queing(NCQ)は効果があるんですか？

天野氏：NCQを使うことでアクセスが整列されるため、SSD内のキャッシュ効率がよくなる。メモリの並列書き込みの効率化されるので、さらに性能向上が見込めます。

「だれにも聞けないSSDの疑問」を「神様」が解説、XP/Vista用のTrimツールも準備中、廉価版の話題も

「Intel Technology Day in Akiba 2009」での講演内容の抜粋です。
60GBくらいのデータだから80GBのSSDを使うのではなく、余裕を持った構成にする事と、NCQを有効にした方が良いとの事です。

RAIDカードでNCQを無効にしていたので、有効にすると速くなるのか、テストを行ってみたいと思います。

1年前 | 固定リンク | 2010年 9月 23日 |

2010年 7月 31日

ディスクキャッシュの仕掛けを自前で作ることにしました。この仕掛けは以下の三つの要素からなります。

1. Apacheのログを元にキャッシュするファイルの一覧を更新して、一覧から消えたファイルをキャッシュから消すスクリプト
2. 30分に一度ファイルの一覧に基づいて、ドキュメントルートの.cacheディレクトリにマウントされたSSDにファイルをコピーするrsync
3. 各リクエストについて、先に.cacheの下を調べてファイルがあればターゲットを.cacheの下に書き換える書き換え規則

RewriteCond /DocumentRoot/.cache/$1 -f
RewriteRule ^/(.*)$ /DocumentRoot/.cache/$1

ftp-adminの憂鬱: SSDによるコンテンツキャッシュ(ソフト編)

アクセスされる頻度の高いファイルをSSDに載せ、mod_rewriteするのは面白いアプローチですね。
但し、もしメモリを増やせる物なら徹底的に増やした方が、手っ取り早く諸問題を解決できます。

1年前 | 固定リンク | 2010年 7月 31日 |

2010年 6月 24日

某大手メモリメーカー筋のアナリストによると、DRAM単価が高騰しており、さらに2010年後半は上昇傾向にあるため「メモリとSSDを買うなら今の内だ」とか。「アップルが儲かると自作市場のNANDとDRAMは大きな影響を受けるだろう。自作マニアならアップル購入を今は控えるべきだ（笑い）」。

エルミタージュ秋葉原 海外と編集部を結ぶMSNからのこぼれ話「the 情報筋」

これから上昇トレンド再来でしょうか。

1年前 | 固定リンク | 2010年 6月 24日 |

2010年 5月 23日

SSDの話

講演者	村松雄介(株式会社はてな) id:halfrack @muranet
資料	http://halfrack.g.hatena.ne.jp/keyword/hbstudy11?mode=presentation

はてなでの歴史

• 2008/8/28にSSD購入
• 2009/2/26 X25M導入
• 現在 53ホスト

SSDのメリット

• alter table 速い
  • どのくらい速いかというと、RAID上でalter tableするより、RAID から tar + ncat でSSDに持ってきて、alter table してから再度 tar + ncat で RAID に戻す方が速い、というぐらい

SSDの用途

• MySQL参照系スレーブ
• squid COSS
• varnish キャッシュ

サーバ構成

• メモリ8GB、シングル(非RAID)
• ファームウェアバージョンもファイルシステムアラインメントも気にしない

SMARTの見方

• Media Wearout Indicatior が write量と強い相関
  • 大量に書き込むと減る。0が寿命だと言われているが、0になっても動くものもある
  • write性能が著しく劣化する模様

その他

• よれよれのSATA使うとread性能劣化
• AHCIにしないと性能劣化
• 通常使ってる分にはベンダサーバRAID×3台より速い
• 50以上のホストで使ってるがトラブルが起きたことがない。一方でRAIDはRAIDカードのコンデンサが爆発したりと、トラブルはちょこちょこ発生
  • そのせいでトラブル対処の経験がない
• SSDがあまりに速すぎるせいでEC2等のクラウド環境に持っていけない
• X25EだとオーバースペックなのでX25Mで十分
• SSDはルートディレクトリから乗っけてる
• はてなではXenを使った仮想化をしている。Dom0並べておいて、使い道はあとで考える感じ

hbstudy#11 - 科学と非科学の迷宮

先ほどのはてなのSSDの話のまとめ記事です。

2年前 | 固定リンク | 2010年 5月 23日 |

2010年 5月 23日

はてなにおける SSD のトラブル例

n0ts: @muranet SSDで実際に遭遇したトラブルとその対策方法を知りたいです！

• 50ホストとか動かしているのにトラブルが起きたことが無い(!)
  • データ化けのような障害が 2件あったがどちらもメインメモリが犯人だったので無罪
• BBU がボロボロ壊れたりコンデンサが爆発(!)する RAID カードより安心なのではないかという印象

はてなにおける SSD の結論

• 50ホスト以上動かしてトラブル皆無
• SMART値 223 は結構信用出来そう
• はてなにおける普通の DB だと SMART値 223 が 0 になるのは 3年以上先
• SMART値 223 が 0 になっても動いている SSD がある

• とりあえずポン付けで投入して S.M.A.R.T の 223 の減りが早ければ考えましょう。
• 上の数字を上司に見せて、御社でも SSD を導入してみては！

はてなにおける SSDの寿命に関するトピック - hbstudy11 - halfrackグループ

日々SSD(X25-E)の恩恵を受けている僕から言えることとしては、HDDタイプで過負荷になっていないシステムのDBにSSDを投入しても、そんなに速度に変わりはありません。（もちろんusing FileSortな悪いクエリは2倍程度速くなりますけれどね）
なお、メモリ積めるのであればHDDのままで24GBとか積んでおけば結構なんとかなります。
それでももうだめになりそうという時になって初めて、Intel X25-M G2を数台まとめて入れる計画です。

2年前 | 固定リンク | 2010年 5月 23日 |