みくにっき。

カテゴリー > サーバー(6)

≪前のページ | main | 次のページ≫

2015/04/24(Fri) :

ZFS on Linuxベンチマークおためし。そして…

フリーズしますね。(汗)
どうもSATAディスクのアクセスが、下手なようです。


ちょっと前から、ZFSのネイティブ版?(ただし非GPL)ということで、
ZFS on Linuxのテストをして、様子をみていました。
SSDをたくさん…は積めないのですが、ストレージの性能がどうにかほしくて
あのZFSなら、業務用のストレージのようなすごい機能も使えてイイネ!(゚∀゚)

…と思っていたのですが。
ちょっと使い物になっていません。。

単発ベンチマークではこんな数字はでるんですよ。
20150412zfs

ただ…
これでちょっとディスクアクセスを続けると、なんと。

I/O Waitが80%オーバーに、

LoadAvgが60.0を超え、

ストレージ操作がタイムアウトしまくり。

になってしまいます。
※このサーバーはNehalemのXeonで計8C/16T、メモリ24GBを搭載。

上記マシンはZVOLでRAWデバイスを割り当てたKVMの仮想マシンのWindows10(TP)の図。

同様にZVOLを使い、iSCSI経由のブロックデバイスとして割り当ててVMwareに
見せてみると…たいして負荷もかけていないのにストレージアクセスが止まり、
OSごとダウンしてしまいました。

これも原因はI/O WAITで、見たこともないようなレイテンシで10分近く無応答…
というような「わけのわからない」状態になりました。

LSIのMPTドライバもあやしいのですが、いろいろ試した限りでは、
「SATAのHDD/SSDを使って」いて、「IO負荷をかける」とだめでした。

そう、SASディスクではこのような負荷にはなりません。

これはどうやら、SATAの「NCQ」との相性(というかI/Oの出し方が下手)なようで、
SASのTCQではうまくハンドリングができていて、うまく動くようです。

ZFSがらみのFAQなどでも、「I/O WAITが高すぎてフリーズするんだけど…」
という報告がちらほらあるものの、あまり相手にされていなくて。

唯一見つけたこの記事でも、どうもSATAがだめらしいと分かってきた次第。。

ZFS Slow Performance Fix - Letsgetdugg
http://letsgetdugg.com/2009/10/21/zfs-slow-performance-fix/

どうやらもともとのZFSの系譜をたどると、OpenSolarisではよくあった話の様子。
この記事によれば、zfs_vdev_max_pending を設定すればよいのですが、
なんと、最新のZFS on Linux(0.6.4)でこのパラメータはなくなっていて、
別のいくつかのパラメータに置き換わっています。

ざっとあげると、
zfs_vdev_async_read_max_active
zfs_vdev_async_read_min_active
zfs_vdev_async_write_max_active
zfs_vdev_async_write_min_active
zfs_vdev_max_active
zfs_vdev_scrub_max_active
zfs_vdev_scrub_min_active
zfs_vdev_sync_read_max_active
zfs_vdev_sync_read_min_active
zfs_vdev_sync_write_max_active
zfs_vdev_sync_write_min_active

このぐらい、あります…(汗)

zfs_vdev_async_write_active_max_dirty_percent
zfs_vdev_async_write_active_min_dirty_percent

というのも関係ありそうです。
(man  zfs-module-parametersで参照可)

ですが、いろいろ設定してみても、I/O WAITは改善できていません。
もう少し悩んでみるつもりですが、なかなか根の深い問題かもしれません。

ZFSのMailing List(英語)にも参加してみたので、
同じような超絶I/O WAITで困っている症状の方がいたら、
便乗して食いついてみたい…とは思っていますが、英語はだめなのでwww


いやはや、低コストで、爆速なIOパフォーマンスと、
超絶高度なストレージ機能が全部ほしい!
って話なので、贅沢すぎるのかなぁ。

本家Solarisのx86版ではどうなのでしょうね。
OracleのSunストレージ(業務用)はそれ動いているはずなので、
そっちのZFSを一度動かしてみるのもありかもしれません。

気になる方には気になる世界だと思うのですが…(苦笑)
また情報仕入れてレポートしてみたいと思います。

(といいながら、このまま消えてしまいそう。。)



2014/01/17(Fri) :

DNSが止まりました。

image
ISPのDNSがいきなり変わっちゃって、ネットに繋がらなくなりました。

っていうかDNSサーバのアドレスなんてコロコロ変えるもんじゃないのだけど、ISPのサイトでしか事前アナウンスがなかったため同じISPの人たちは相当混乱したようです。
固定IPで繋いでいるのに、事前にしっかり周知されないなんてびっくりでした。。

DNSサーバがないと、URL指定がまったく使えなくなるわけで、
IPアドレスで直接アドレス指定してればいいんだけれども、ほぼ何もできなくなりますね。。

さらに、うちでは自宅内にもWebサーバやDNSキャッシュサーバがあり、内部LANだけでもある程度名前解決するようになっていたので、さらに混乱してしまいました。。
実家と接続しているVPNにも問題はないし、外部にあるメールサーバのping応答もある。
(いずれもIPアドレス直接指定)
けれどもブラウザがまったく機能しない…なんだこりゃ状態。

その後、nslookupやdigで「google.co.jp」の名前解決ができなかったので、「ははぁん…」と。こりゃDNSが怪しいわーと思ってよく調べると、予想通りPPPoEからの配布アドレスが変わっていました。

このあと、ルータの設定を書き換えて再起動。
無事復活。

PPPoEでDNSのアドレスを受け取っている場合は、そのアドレスを動的に取りに行くべきなんですけど…ルータなどの設定が必ずしも動的にできない場合があるので、固定のアドレスを指定しているケースはあるんですよね。
事前にISPからメールなどでの注意喚起が無いなんて思わなかったです。

今回の教訓から、PPPoEの完了時にDNSのforwardersを書き換えるようにスクリプトを追加して再発防止処置も完了。
インターネットでのDNS停止の怖さを再認識しました。

動的なDNSアドレス配布に対応している場合、極力固定にならないようにしないと。。
トラブルが発生してからISPのアナウンスを見ようとしても見れませんし…
(繋がらないんだもの…)



2013/12/12(Thu) :

みくりん、冬のHDD大増設まつり。

DSC_0349

こんばんにちは!(何w
10~11月は元気がなかったみくりんですが、今月は元気ですw
というか、やーっと元気が出てきた…という感じ。
まあいろいろありますね。。

そんな感じですが、冬のぼーなんとかで…
今年はHDDを更新してみることにしました。

実はうちのファイルサーバーは250GBとか500GBをたくさん繋いでいる状態でして。
なんというかもうかなり古いし、電気食うし、熱いし…
で、懸案の一番手、「電力消費対策」にポイントを置いた対策に乗り出しましたw

今年は電気代が夏のピーク時、なんと4万円越え!?
などという状態だったので、250GBなんかやめて「省電力大容量な3TB-HDD大増設」です。
ファイルサーバーも搭載可能本数が足りてないせいで、なぜかマシン2台体制だったりしてます…。
なので、これは容量をまとめれば1台減らせる…!!!! ←

よって…正確には増設ではなく交換で、電気料金をがっつり減らす作戦です(苦笑)
(ソーラーパネルも活躍してくれているけど、やっぱり消費量が減らないとね…)

ただ、HDD購入にはちょっとトラウマがありまして。。
実は、2年前ぐらいにSeagate製3TB-HDDを3本ほど買ったものの、2本がすぐに故障し、もう1本がS.M.A.R.T.エラーで半死半生の状態に。。
データ少し入れてしまっていたこともあって、メーカー交換もしたくなかったため、さらに2本追加(やはりSeagate…)という厳しい思い出がありました。
いやーあれはつらかった。。

でも250GBが6本とかいうのは、「容量単価」ならぬ「容量維持単価」が高すぎなので…大容量HDDへの更新が悲願なのです(苦笑)

そんなわけで前回の教訓から、今回はWestern Digitalで試してみることにw
買ったのはこれ。

【Amazon.co.jp限定】WD Green 3.5inch IntelliPower 3.0TB 64MBキャッシュ SATA3.0 WD30EZRX-1TBP/N 【フラストレーションフリーパッケージ(FFP)】

の、Amazonじゃない版。(あれw)
ちょっと前まで10,500円ぐらいだったんだけど…今みるとちょっと高い感じ…(´Д` )
1万円台前半なら買いどきなんですかね。。
(2年前は9800円で買えたんだけどな…)

とりあえず、今からぶっさして祈る、「Plug and Pray」の儀式です(笑)

ちなみに、デスクトップ向けの「WD Green」よりも、もう少しだけ耐久性が高くて、NASのような24時間稼動を考慮して設計されているといわれる「WD Red」も検討しました。
これ。

WD Red 3.5inch IntelliPower 3.0TB 64MBキャッシュ SATA3.0 WD30EFRX

だがしかし、価格が14,000円超えてくる感じで。(2013/12/12時点)
複数本買ったらかなりの差。
そこまでしてもまあ、HDDって壊れるときは壊れるわけで…
やっぱりWD Greenで安くしておいて、壊れたら買い換えればいいやと(1本ぐらいならね…)WD Greenにしちゃいました。
やっぱりねぇ…導入コスト優先ですよ庶民は。。

そんな感じです。

さらに今回は、HDD同士の共振対策として、RAID構成で同時アクセスするHDD×4本を「縦に重ねる」のではなくて…「水平に横に並べる」配置にしてみました。
まあ、ケースがラックマウントになったからできるんですけどw
どういうことかというと、こんな感じ。
image
これで、HDD内の円盤が同じ方向にほぼ同じスピードで回転しても中心軸が離れているので、お互いの影響が少ないのではないかと思うんです。
(専門家ではないので正確にはわかりませんが…)

あとはやってみるのみw
これでRAIDを組んでみようと思います。

今はまあ、あまりHDDが安い時期ではないと言えますね…。
それでも、この冬に「やっぱNASを導入しようかな~」なんていう方は、HDD自体のコストだけでなく、ケースの構造にも気をつけて選ぶのをおすすめします。

PCベースじゃない専用のNASだと「ぎっちり型」の搭載しかできませんけども。。 (笑)
こういう奴ね…

QNAP TurboNAS TS-421

まあこれはこれで、いいんですけどね、専用機だし。
何よりコンパクトだし。

とりあえず、WD Greenでも安定するようなら、またレポートしたいなーと思ってます。
あまり期待しないでお待ちください(笑)



2013/09/22(Sun) :

みくりんちサーバー事情。

DSC_0248a_300px
自宅は半分データセンター、、
ソーラー発電設備も設置して、もう何をやっているのやら(笑)
まあそんなみくりんち。

最近イベントとかにいけていないので、こんなネタ出しをふたたび…(笑)

今のメインサーバーがこのDELL C6100高密度サーバー@2Uラックマウント、になってます。
CPUにはXeon E5530@2.4GHzが全部で8個、メモリ合計96GB。
といっても、実際はCPUは2個づつで4台に分かれていて、普段起動しているのは1/4ぶんだけ。
(まあこれはもうブレードサーバーです…)
わっほいわっほい言いながらフルパワーで動かしたらかなりのリソースになるけど、電気をそれだけ消費してしまうので、今のところ省エネ運転です(/ω\)

これを導入する前は1UのSunサーバー(Xeon E5435 2個積み)だったんだけど。
いわゆるマザーボードにあたる部分が壊れてしまって…なぜか突然落ちるんで、どうしようもなくなり。
まさに\( ・д・) バルス!! /

メモリを抜き差ししたら一時安定したんだけど…
ブレーカーが落ちたり(爆)で再起動するとまた\( ・д・) バルス!! /
だめだこりゃでした。。

で、意を決して導入した中古サーバー(笑)
まあ新品のサーバーでこれを買ったら新車が買えたりしますが(笑)
RAIDコントローラが遅いということで、中古品が破格で売られていました。
うーん、確かにHDDアクセスがちょっとつらい…

でもまあ、消費電力が約300Wも減り、ランニングコストを考えたらとてつもない節約に繋がりました。
まあ悪い買い物ではなかったかなと思ってます。

そんなこんなで、ようやくこのブログも安定したところなのですw
(自宅サーバーなんですw)

#今ちょっとSPAMがひどいのでコメントつけられない状態ですが(^^;
#そっちも対策しなくちゃ…


あとは、古いほうの壊れたSunサーバーの処分が課題。
ラックマウントサーバーなんて本来業務用なので、家庭から捨てるのはなかなか(爆)

あーあ。

まあ気長に考えます…( ̄ω ̄)

2013/08/18(Sun) :

Linux & TEMPer1.4で室温測定サーバー

DSC_0334
天下の中国製、USB温度計ドングル。(TEMPerシリーズ最新版?のTEMPer1.4です) 

USB温度計! USB thermometer-528018
(Amazon.co.jp)

ちょうど丸っこい台座がついた延長ケーブルがあったのでこれも購入しました(笑)
 
BUFFALO USB延長ケーブル 2.0対応 スタンド付 2.0m ホワイト BSUC20EDWH
(Amazon.co.jp)

なかなか思ったデバイスIDのものが手に入らないんだけれど、今回はTEMPer1.4という「HIDで認識するタイプ」のものを購入してみました。
Linuxで使うので付属CDはいりませんが、Windows用のsetup.exeとmsiが入ってます。
(そちらの動作はよくわかりません)

とりあえずLinux上では、2013年現在だいたいのディストリビューションでちゃんとTEMPer1.4で認識してくれるみたい。いくつかのLinuxで試したけどdmesgはどれもこんな感じでした。

[71495.072061] usb 3-2: new low-speed USB device number 10 using uhci_hcd
[71495.247636] usb 3-2: New USB device found, idVendor=0c45, idProduct=7401
[71495.247643] usb 3-2: New USB device strings: Mfr=1, Product=2, SerialNumber=0
[71495.247648] usb 3-2: Product: TEMPerV1.4
[71495.247652] usb 3-2: Manufacturer: RDing
[71495.266149] input: RDing TEMPerV1.4 as /devices/pci0000:00/0000:00:1d.1/usb3/3-2/3-2:1.0/input/input1283
[71495.266458] hid-generic 0003:0C45:7401.09F5: input,hidraw0: USB HID v1.10 Keyboard [RDing TEMPerV1.4] on usb-0000:00:1d.1-2/input0
[71495.281195] hid-generic 0003:0C45:7401.09F6: hiddev0,hidraw1: USB HID v1.10 Device [RDing TEMPerV1.4] on usb-0000:00:1d.1-2/input1

なかなか感触良かったので、いろんな情報を探してfedoraやUbuntuやらで試したけど、最終的にたどり着いたのは以下のモジュール&Ubuntu12.04でビンゴ。 (上のdmesgもUbuntu12.04です)
※CentOS6.4やfedora19が現状最新。全部は試してないけれど、fedora17ではHIDデバイスとして認識までしていたので、たぶんいけるんじゃないかと思います。
(動いてたマシンをfedora17→Ubuntu12.04に入れ替えた時点で心が折れたので、動作確認はこれだけ^^;)

Setting up TEMPer USB thermometer on CentOS
http://www.omniweb.com/wordpress/?p=915

こちらの参照元(本家&ダウンロードリンク)は下記。
・情報ページ: http://www.penguinsunbound.com/User:goeko/Temp_Sensor
・ダウンロード: http://momtchil.momtchev.com/files/pcsensor-1.0.0-multi.tgz

まずソースをwgetなりでダウンロード。
# wget http://momtchil.momtchev.com/files/pcsensor-1.0.0-multi.tgz
# tar zxvf pcsensor-1.0.0-multi.tgz

tgzを展開すると、udev登録用のサンプルがあるので、/etc/udev/rules.d/に突っ込んでリブートします。
(USBだからドングル差しなおしでもいい?けど、リブート後の動作が保障できないので安全のため。)

# cd pcsensor-1.0.0-multi
# cat 99-tempsensor.rules
SUBSYSTEMS=="usb", ACTION=="add", ATTRS{idVendor}=="0c45", ATTRS{idProduct}=="7401", MODE="666"
# cp -p 99-tempsensor.rules /etc/udev/rules.d/
# shutdown -r 0

デバイスIDがさっき確認したdmesgの出力にあったもの(0c45:7401)と同じじゃないと駄目です。たぶん。
2013/8月現在、市場に出ている「TEMper1.4」はこれになってるはず。

それ以外はHIDで認識するなら、デバイスIDを書き換えてみると動くかもしれないですね。
(中国産なのでお察しください…ですが。でも現状では1.4が最新で、これ以前のものは入手困難っぽい)
※dmesg以外にlsusbの出力も見てみるとヒントになるかも。

リブートが終わって起動したら、

# cd pcsensor-1.0.0-multi
# make clean   ※怪しいのでバイナリは一旦消しましょう。
# make
# ./pcsensor -c

これで、下記のような結果を吐いてくれれば成功。

2013/08/18 01:46:55 Temperature 31.12C

デフォルトの出力結果です。
pcsensor.c のprintfをいじれば数字だけとかも吐けるようになりますね。

ソースをいじったあとは、Perlあたりでラッパーを作り、RDBにINSERTするようなスクリプトを組めば長期間のデータも取れるでしょう。
参考程度ならcronでファイルに吐いてもいいか。
Cacti使う人も同様にちょっと修正すればいけると思います。

ただ、うちではときどき取得に失敗するので、単純にファイルに吐くだけじゃなくて「駄目なときはリトライ」が必要になるかも?と思っているところ…

(エラー出力のとき)
USB interrupt read: Resource temporarily unavailable
Fatal error> USB read failed


でもまあもう一回「pcsensor -c」を叩けばちゃんと結果が取れます。
延長ケーブルが駄目っていう初歩的なケースもあるようなので、一応マシンのUSBポートに直接刺してみるといいかも。(ただし、ドングル自体が金属で包まれているので、直接ぶっさしたらマザーボードと同じ温度になりそうですね…^^;)

とりあえず、上記でなんとか値が取れるのがわかったので、今後は取得した温度をWebサーバに送ってWebからグラフを見れるようにしたいなぁ、なんて画策をしています。
あと、IrDAポートも用意してエアコン自動制御とか…夢が広がりんぐ(笑)

とにかく情報が少ないので、少しでも参考になれば幸いです。
まあ、買ってきても即ゴミ箱行きって事ももありうるので、一応そういう覚悟をしてから買いましょう。
(中国製だけに…)

にゃー。



2013/04/17(Wed) :

Intelさん、CPUちょっと高すぎませんかw

intel inside Xeon

最近のx86 CPUちょっと高くないです??

現状だいたいx86サーバーのスタンダードがSandyBridge E5-2600シリーズの8コア×2ソケット搭載。
そんで、出せる金額とパフォーマンスでいくとだいたいE5-2665@2.4GHzとか、E5-2670@2.6GHzあたり。

それでも、CPU一個だけでなんと16万円ぐらい。
サーバーはまあ普通に2個積みなのでなんと32万円ぐらい(笑)
CPUだけで!!

いや、SandyBridge確かにすごい速くなってて性能は申し分ないのだけど…
ECC RegisterdメモリでSASハードディスクを挿して、ベンダーが積んでくるコストぶんを加えると、まあ余裕の100万越え、下手すると200万やっと切るぐらい><

x86じゃなくてUNIXサーバが買えるじゃん!w

って話ですよええもうww
定格3.1GHz駆動のE5-2687Wなんて積んだら1個20万ぐらいからかな…?(汗)

現状デスクトップ向けCore i7製品は4コアがスタンダードで、6コアで上限なんですよね。
そこにきて、もっとスケールアップしたいなぁっていう場合、ワークステーションクラスで8コアのXeon…とかになるのですけど、パフォーマンスを考えて「E5-2665@2.4GHz」あたりにしても、お値段がまずCPUで16万ぐらいから~(笑)

しかも、「16万+その他全部」=(普通に考えて、せめてできれば)30万円台ぐらいで買いたいかなぁ…というのが買う側の平均的なラインじゃないかと思うわけですが、価格はドーンと80万とか(笑)

ついでにいうと、ワークステーションだとメモリもECC Registeredとかになるけど、スケールアップしたいのはメモリもほしいからなわけで、がっつり積むと金額もドーン!(笑)
あとは最近必ず出てくるSSD…がこれまたサーバー向けとかはくっそ高いww
200GBを1本で30万円ぐらいから…とかざらにあります。(原価いくらよ?w)
よって、

そんなの買えるか!www


とまあそういう具合のコストになるんです…法人でも(笑汗)


まあね、アーキテクチャが良いので、低いクロックでも速いし、2ソケットにこだわらず1ソケットで(デスクトップの6コア上限に対して)8コアのマシンが手に入るならそれでもいいじゃんという見方はもちろんありますよ。

ですが…第4世代Coreマイクロアーキテクチャ(IvyBridgeだよね?)採用のサーバーCPUをそろそろ出そうという今こそ、実用クロックの2.4~2.8GHzあたりの8コア版は、ぜひともぐぐっとお安くしていただきたい(笑)

そんででまあBOX品が安く出ればサーバー市場ももっと活気付くと思うんですよ。
特に日本は景気回復期待がでてきていて、IT投資も若干は見込めるかも…?
でもちょっとまだ早いかなぁ…と二の足を踏んでいる段階。

次のプロセッサが価格いくらで出るのか知りませんが、もうちょっといいやつを同じ予算で積みたい。
LinuxにもOracleDBを乗せる時代ですよ?

仮想化で統合するだけの時代は終わりです。
でもクラウドだってスケールアップもスケールアウトも両方やるんです。
単一マシン性能は高いほうが嬉しいです。

…同じ予算で。(笑)

期待してますよインテルさん!w

≪前のページ | main | 次のページ≫


Calendar

<< Nov, 2017 >>
SMTWTFS
   1234
567891011
12131415161718
19202122232425
2627282930  

New Entries

Categories

Recent Comments

Archives

過去の記事▼

Feed

RSS1.0 XML Feed

RSSリーダーにドラッグ&ドロップで登録すると記事を読めます。よろしくです♪

おすすめ


ドラゴンクエスト スマイルスライム ゆらゆらグラス


ねんどろいど けものフレンズ サーバル ノンスケール ABS&PVC製 塗装済み可動フィギュア


キキ&ララの『幸福論』 幸せになるための93ステップ (朝日文庫)


Raspberry Pi 3 Model B V1.2 (日本製) 国内正規代理店品