みくにっき。

カテゴリー > Solaris(10)

≪前のページ | main | 次のページ≫

2015/04/24(Fri) :

ZFS on Linuxベンチマークおためし。そして…

フリーズしますね。(汗)
どうもSATAディスクのアクセスが、下手なようです。


ちょっと前から、ZFSのネイティブ版?(ただし非GPL)ということで、
ZFS on Linuxのテストをして、様子をみていました。
SSDをたくさん…は積めないのですが、ストレージの性能がどうにかほしくて
あのZFSなら、業務用のストレージのようなすごい機能も使えてイイネ!(゚∀゚)

…と思っていたのですが。
ちょっと使い物になっていません。。

単発ベンチマークではこんな数字はでるんですよ。
20150412zfs

ただ…
これでちょっとディスクアクセスを続けると、なんと。

I/O Waitが80%オーバーに、

LoadAvgが60.0を超え、

ストレージ操作がタイムアウトしまくり。

になってしまいます。
※このサーバーはNehalemのXeonで計8C/16T、メモリ24GBを搭載。

上記マシンはZVOLでRAWデバイスを割り当てたKVMの仮想マシンのWindows10(TP)の図。

同様にZVOLを使い、iSCSI経由のブロックデバイスとして割り当ててVMwareに
見せてみると…たいして負荷もかけていないのにストレージアクセスが止まり、
OSごとダウンしてしまいました。

これも原因はI/O WAITで、見たこともないようなレイテンシで10分近く無応答…
というような「わけのわからない」状態になりました。

LSIのMPTドライバもあやしいのですが、いろいろ試した限りでは、
「SATAのHDD/SSDを使って」いて、「IO負荷をかける」とだめでした。

そう、SASディスクではこのような負荷にはなりません。

これはどうやら、SATAの「NCQ」との相性(というかI/Oの出し方が下手)なようで、
SASのTCQではうまくハンドリングができていて、うまく動くようです。

ZFSがらみのFAQなどでも、「I/O WAITが高すぎてフリーズするんだけど…」
という報告がちらほらあるものの、あまり相手にされていなくて。

唯一見つけたこの記事でも、どうもSATAがだめらしいと分かってきた次第。。

ZFS Slow Performance Fix - Letsgetdugg
http://letsgetdugg.com/2009/10/21/zfs-slow-performance-fix/

どうやらもともとのZFSの系譜をたどると、OpenSolarisではよくあった話の様子。
この記事によれば、zfs_vdev_max_pending を設定すればよいのですが、
なんと、最新のZFS on Linux(0.6.4)でこのパラメータはなくなっていて、
別のいくつかのパラメータに置き換わっています。

ざっとあげると、
zfs_vdev_async_read_max_active
zfs_vdev_async_read_min_active
zfs_vdev_async_write_max_active
zfs_vdev_async_write_min_active
zfs_vdev_max_active
zfs_vdev_scrub_max_active
zfs_vdev_scrub_min_active
zfs_vdev_sync_read_max_active
zfs_vdev_sync_read_min_active
zfs_vdev_sync_write_max_active
zfs_vdev_sync_write_min_active

このぐらい、あります…(汗)

zfs_vdev_async_write_active_max_dirty_percent
zfs_vdev_async_write_active_min_dirty_percent

というのも関係ありそうです。
(man  zfs-module-parametersで参照可)

ですが、いろいろ設定してみても、I/O WAITは改善できていません。
もう少し悩んでみるつもりですが、なかなか根の深い問題かもしれません。

ZFSのMailing List(英語)にも参加してみたので、
同じような超絶I/O WAITで困っている症状の方がいたら、
便乗して食いついてみたい…とは思っていますが、英語はだめなのでwww


いやはや、低コストで、爆速なIOパフォーマンスと、
超絶高度なストレージ機能が全部ほしい!
って話なので、贅沢すぎるのかなぁ。

本家Solarisのx86版ではどうなのでしょうね。
OracleのSunストレージ(業務用)はそれ動いているはずなので、
そっちのZFSを一度動かしてみるのもありかもしれません。

気になる方には気になる世界だと思うのですが…(苦笑)
また情報仕入れてレポートしてみたいと思います。

(といいながら、このまま消えてしまいそう。。)



2012/08/19(Sun) :

Solarisネットワーク設定。(ifconfig使わないよ)

ちょっとまたIP設定ではまったので整理。
そして自分に役立つものは他の人にも役立つかもしれない精神でこちらに(笑)

役に立ったら下のツイートボタンとか押して、コメントつぶやいていただけるとよろこびますww

以下は一応Solaris10のもの。
IPv6がらみとかで古/新しいverとか仕様が違うかもしれません。
今回はIPv4向け。

あと、UNIX分かってるけどSolarisだとどうなんだっけ?ぐらいの「それなりの方」向けですw

●大前提
Solarisでは最終的に恒久設定を決めるのは /etc/hostname.(if名) のファイルです。でした。
これがあるとSolarisちゃんが起動時にifをup/downしてくれましたよ。
うちだとたとえば /etc/hostname.bge0 とかずばり。

恒久設定には基本的に「ifconfigなんちゃらup」なんぞ使わないぐらいは当たり前ですね。
未設定でifconfig叩いてもSolarisではif名すらでてきませんし。
そういうサイト見て頑張っても再起動で全部まっしろなので、変な情報を参考にしないことw

●Solarisが認識しているif名を調べる。
# grep network /etc/path_to_inst
とするとNICがちゃんと認識されている(はず)ので、bgeが何番までとかを覚えておきましょ。
一時的に有効にしたいときは「# ifconfig bge0 plumb」するという手も。(逆はunplumb)

if名が分かれば設定ファイル名がめでたく決まります。
(蛇足: if名にはIPエイリアスもいけるっぽいです)

●その他詳細
一箇所でできないんだなぁ…めんどくさいです(笑)
無いファイルはばしばし作ります。(※パーミッションはセキュリティにあわせてね。)

・ホスト名
/etc/inet/hosts … Solarisでは/etc/hostsはリンクになってるので注意ですよね。
/etc/nodename … FQDNじゃなくてショートネームでいいみたい。1行でちょろっと記述。

・NICとIPアドレス
/etc/hostname.(if名) … 要はIP-NICの関連付けな感じ。ホスト名か直接IPアドレス1個書くといいみたい。(hostsと合わせましょう)
※「hostname」部分はそのまま文字で、ホスト名に変えたserver.bge2とかではなくhostname.bge2とかです。

・ドメイン名
/etc/defaultdomain … hogehoge.jpとかlocaldomainとか適当に1行で。

・デフォルトゲートウェイ
/etc/defaultrouter … ゲートウェイのIPアドレスを1行で。

・サブネットマスク
/etc/netmasks … (ネットワークアドレス)△(ネットマスク[ドット形式])のペアを1行で。
※いちおう断っておくけど△はスペース(とかタブ)ね(笑)

・DNSサーバー/ドメイン
/etc/resolv.conf … いつものやつ。

・名前解決順序
/etc/nsswitch.conf … この中の「hosts:」っていうところにありまする。
デフォルトでは「file dns」とある。逆にしたりできるみたい。ldapとかどうなんだろうか。


こんな感じです。
もしどこか間違ってたらごめんなさい。。

残りのNICはFT用に?するもよし、コンテナ(ゾーン)専用にphysicalに割り当てるもよし。
私はコンテナに物理NIC繋ぐの好きです。
あ、個人の好みはどうでもいいですか、そうですか(笑)


あとはMTUやらautoneg/full/halfとかですかね。
最近サボって指定してないので…必要になったらまた書きますw

ではっ



2012/08/09(Thu) :

Solaris10をインストールしてみる。

solaris10-8.11-login

なにかちょっと思うところがあり…
Solaris(x64)を使ってみようとしたのですが。

以前もSolarisはいろいろいじってみてたけど、なかなか実用にはしてなくて。
今回ちょっと実用的な利用を考えてみています。
途中で諦めるかもですがww

しかし、ちょっと?触らないうちに、いや、SunがOracleに買収されてから、よろしくないですな。
囲い込み大好きなOracleさんなので、嫌な予感はしてましたが、オープンソースに反する精神が全面に出しまくっていて、Solarisも個人ではろくに使えなくなりそうな…
まあ開発目的で使える「Solaris Express」ってのはでてくるみたいですけど、商用のUNIX本体が使えるかどうかっていう意義は大きいと思うんですよね。

opensolarisも開発中止だったなんて、知りませんでした。(遅
OpenOfficeはOracleになってダメになった(意訳)のは知ってたけど…

そんなわけで、ちょっと風前の灯のSolaris10を落としに行ったら、Sunの面影はなくなっていて…
あ、いえ、10な0のは単にSolaris11はopensolaris色すぎてLinuxぽいので10のほうが好きなだけです(笑)

と思ったけど、旧Verは契約がないと落とせないのですね。
Sunのときは落とせたような記憶があったりなかったり…?

Sunは好きだったんだけど、Oracleさんは嫌いです。
Oracle DBも嫌いです。ああでもDB2はもっと嫌…ry
まあそんな事はおいといて(笑)

自宅のメディアを漁ったら、Solaris10の5/09、10/08のメディアが出てきました。
んがしかし、SPARC版(笑)
SPARCマシン会社とかにしかないよ!!(´・_・`)

というわけで、いちおう落とせた最新のSolaris10 8/11のx86/x64版を落としてきて入れてみました。

そしたら。

あー


Solarisの太陽マークがなくなってる…

SolarisロゴまでOracleに改変したのか…

こ れ は ひ ど い。 ( ̄Д ̄;)

これじゃあSolarisじゃないよ!…じたばたじたばた(苦笑)
唯一uname値が、とりあえずSunOSなぐらいですか。

JavaもSunっぽいものはほぼなくなったし、Sunはもうなくなっていくんですねぇ。
市場にあるうちに、Sunのロゴついたサーバーとかラックとかを手に入れたいかもなぁ(笑) ←

なんてな。。



2009/05/17(Sun) :

ZFS on Linux(FUSE)

FUSE(Filesystem in Userspace)を使った、ZFSのLinux実装がある(現在β版)ことが判明。

http://www.wizy.org/wiki/ZFS_on_FUSE

LinuxカーネルへのZFS実装は、SunのCDDLライセンスに抵触するため不可能っぽい。

また、特許の問題もあるそうな。

 

詳しくは長文の英語の情報しかなかったので正しく理解できなかったものの、FUSE実装でパフォーマンスが出るようであれば、ZFSをLinuxでも十分に使えるだろう。

(特許は自己責任だが、FUSE経由ならカーネルのGPL/ZFSのCDDLライセンスには抵触しないらしい。)

今後の展開に期待したいところ。

詳しく知りたい方は「ZFS on FUSE」をキーワードに検索されたし。

 

ただ、そうはいっても単純にストレージの信頼性としてZFSを採用したいというニーズなら、iSCSI経由でSolarisサーバを直接採用するといった案も考えられる。

この場合、WindowsやMac OS XなどからもローカルストレージとしてZFSファイルシステム上の領域を使用できる。

 

ネットワーク経由で「ファイルサーバとして使う」のなら、いっそiSCSIでクライアントマシンからローカルストレージ風に用いるのも良い選択肢ではなかろうか。

GFSとiSCSIの組み合わせもあるので、iSCSIターゲットにSolaris/ZFSをそのまま用いるのは悪くないかもしれない。



2009/05/17(Sun) :

Solaris 10 Update 7 (5/09)とか

ありゃ…?
すごいタイミングでSolaris 10アップデートがリリースされた…

会社にSPARCサーバ導入したばっかりorz @約100万円

 

うーん?

OSごと入れ替えて起動できなくなったりしたら泣くなぁ…
というわけで、会社では触らないことに。

自宅には入れてみよう~(笑)

あ、自宅はもちろんx86版っすよw

 

とりあえず、この「Solaris10 5/09」で、ついにiSCSIターゲットとしてSolaris 10が正常に使えるらしい(10/08版までは駄目だったそうな)ので、本格的なZFSファイルサーバ構築を検討しようかな。

 

ただ、一方でLinuxでもDRBDによるネットワーク経由のミラーリング、RHCSとか、Heartbeatによるクラスタ、DM-MPによるマルチパスSAN@iSCSIとか、CLVMとかGFSとかいうキーワードにも興味が…(^^;

 

というわけで、本日見つけたサイトをメモ。

検閲TECH さん
http://ken-etsu-tech.blogspot.com/

miko's cafeterrace さん
http://cafelounge.net/dev/

 

いやはや、こんなにも有益な情報をバンバン公開されているとは…。
ほんとにすばらしいですね。

うちのサーバーもクラスタ化、冗長化、対障害性強化を推進したいところなので、ぜひとも参考にさせていただこうかと。

 

そういえば、土曜日にSofmapさんに行ったら、Opteron搭載のhpマシン(たぶんPCサーバ)がアウトレットで49,800円とかで売られてました。

ちょうどNASとかファイルサーバの追加とかを検討していたので気になったけど、お金が無いので我慢して帰宅(苦笑)※1

つかまった店員さん、なかなか話してて楽しそうでしたが今回は見送ります、ごめんなさいw

 

※1  お金が無いといいながら「けいおん!」の罠に落ちまくってますが…orz



2009/05/11(Mon) :

ZFS上でAdobeスイートを動かす

LinuxにZFSが移植されたら…なんとなくできてしまいます。

(1)LinuxをZFS上に入れる。
(2)VMware Serverを、そのLinux上に入れちゃう。
(3)Windowsを、そのVMware上に入れちゃう。

そうすると…Adobeスイート製品(Windows版)がZFS上で動く。

すごい!!

(…か?)

 

どうせならSolarisのクラウド上でAdobeスイートが動かないかな。

夢か…。



2009/05/09(Sat) :

続、Solarisゾーニング

前回は、結局リソースプールがうまくできてなかったみたい。

# pooladm –e
# pooladm –s

をもう一回やって、リソースプールの定義をやってみる。

# poolcfg -c 'create pset zone1 (uint pset.min = 1; uint pset.max = 2)'
# poolcfg -c 'create pool pool_zone1'
# poolcfg -c 'associate pool pool_zone1 (pset pset_zone1)'

 

すると、以下のような感じに。

# poolcfg -c info

system default
        string  system.comment
        int     system.version 1
        boolean system.bind-default true
        string  system.poold.objectives wt-load

        pool pool_zone1
                int     pool.sys_id 1
                boolean pool.active true
                boolean pool.default false
                int     pool.importance 1
                string  pool.comment
                pset    pset_zone1

        pool pool_default
                int     pool.sys_id 0
                boolean pool.active true
                boolean pool.default true
                int     pool.importance 1
                string  pool.comment
                pset    pset_default

        pset pset_zone1
                int     pset.sys_id 1
                boolean pset.default false
                uint    pset.min 1
                uint    pset.max 2
                string  pset.units population
                uint    pset.load 10
                uint    pset.size 1
                string  pset.comment

                cpu
                        int     cpu.sys_id 0
                        string  cpu.comment
                        string  cpu.status on-line

        pset pset_default
                int     pset.sys_id -1
                boolean pset.default true
                uint    pset.min 1
                uint    pset.max 65536
                string  pset.units population
                uint    pset.load 247
                uint    pset.size 1
                string  pset.comment

                cpu
                        int     cpu.sys_id 1
                        string  cpu.comment
                        string  cpu.status on-line

#

おおっ。
リソースプールがちゃんとできたので、確定。(これは前回やってない)

# pooladm –c

 

この後、前回作ったzone1をhalt→uninstall→installで再インストールしてみる。

# zoneadm -z zone1 halt
# zoneadm -z zone1 uninstall
ゾーン zone1 を uninstall してよろしいですか (y/[n])? y
#

アンインストール完了。
続いてインストール実行!

# zoneadm -z zone1 install
Preparing to install zone <zone1>.
Creating list of files to copy from the global zone.
Copying <12961> files to the zone.
Initializing zone product registry.
Determining zone package initialization order.
Preparing to initialize <1701> packages on the zone.
Initialized <1701> packages on zone.
Zone <zone1> is initialized.
Installation of these packages generated errors: <SUNWtpm>
The file </export/zones/zone1/root/var/sadm/system/logs/install_log> contains a log of the zone installation.
#

おおっ。

# zoneadm -z zone1 ready
#

おおおっ。

# zoneadm -z zone1 boot
#

やったー!!

つーことで成功しましたっ♪

にゃほほーい☆



2009/05/09(Sat) :

Solarisゾーニング

Solarisの素敵な機能、ゾーニング(Solarisコンテナ)の学習中。

今日はとりあえず「ゾーン」と呼ばれる、同一サーバなのに別サーバみたいなものを作ってみました。

 

まずはリソースプールの定義から。

# pooladm -e
# pooladm –s
# poolcfg -c 'create pool pool_zone1'
# poolcfg -c 'create pset pset_zone1 (uint pset.min = 1; uint pset.max = 2)'
# poolcfg -c 'associate pool pool_zone1 (pset pset_zone1)'

 

ゾーン作成開始!

# zonecfg -z zone1
zone1: そのような構成済みゾーンはありません
'create' を使用して、新しいゾーンの構成を開始してください。
zonecfg:zone1> create
zonecfg:zone1> set zonepath=/export/zones/zone1
zonecfg:zone1> set autoboot=true
zonecfg:zone1> set pool=pool_zone1
zonecfg:zone1> add net
zonecfg:zone1:net> set physical=pcn0
zonecfg:zone1:net> set address=192.168.0.98
zonecfg:zone1:net> end
zonecfg:zone1>
zonecfg:zone1> add attr
zonecfg:zone1:attr> set name=comment
zonecfg:zone1:attr> set type=string
zonecfg:zone1:attr> set value="Test Zone 1"
zonecfg:zone1:attr> end
zonecfg:zone1> verify
zonecfg:zone1> commit
zonecfg:zone1> exit
#

ここまでは難なく終了。

(エラーっぽいのは、新規ゾーンを作ろうとしてるから正常なはず。)


肝心かなめのインストールを開始すると…

# zoneadm -z zone1 install
zoneadm: zone 'zone1': 警告: プール 'pool_zone1' が見つかりません。デフォルトのプールを使用します
Preparing to install zone <zone1>.
Creating list of files to copy from the global zone.
Copying <12961> files to the zone.
Initializing zone product registry.
Determining zone package initialization order.
Preparing to initialize <1701> packages on the zone.
Initialized <1701> packages on zone.
Zone <zone1> is initialized.
Installation of these packages generated errors: <SUNWtpm>
The file </export/zones/zone1/root/var/sadm/system/logs/install_log> contains a log of the zone installation.
#

ありゃ?

リソースプールが見つかりません。
なんでだろー???

 

…と思いつつ、まあデフォルトプール使ってくれたようなのでreadyにしてみる。

# zoneadm -z zone1 ready
zoneadm: zone 'zone1': 警告: プール 'pool_zone1' が見つかりません。デフォルトのプールを使用します
zone 'zone1': WARNING: Pool not found; using default pool
#

やっぱりデフォルトプール。
まあいいや。実験だし。

 

つーことで、ゾーン(仮想コンテナ)起動!!!

# zoneadm -z zone1 boot
zoneadm: zone 'zone1': 警告: プール 'pool_zone1' が見つかりません。デフォルトのプールを使用します
#

またデフォルトプール(笑)

なんでじゃーーーー。

 

とりあえず、

# zlogin -C zone1

で、ポストインストール?(ゾーンの初期化)を実行、これで別マシンみたいなやつが動くようになりました。

わっほいわっほい。

 

…よくわからない方、すみません(^^;

 

※テスト環境: SXCE(Solaris Express, Commuinity Edition)/x86 (snv_112)



2009/05/05(Tue) :

SXCE/ZFS

SXCE(Solaris Express, Community Edition)で、ZFS/RAID-Zを使ってみるの巻。

そもそもみくりんにはSolarisのDISK管理の知識が無いのだけど、試行錯誤で下記をなんとか。
今回はSCSI接続の仮想DiskをVMwareで割り当てて、RAID-Zを構築してみました。

 

# format
Searching for disks...done

c2t0d0: configured with capacity of 7.98GB
c2t1d0: configured with capacity of 7.98GB
c2t2d0: configured with capacity of 7.98GB

AVAILABLE DISK SELECTIONS:
       0. c0d0 <DEFAULT cyl 5218 alt 2 hd 255 sec 63>
          /pci@0,0/pci-ide@7,1/ide@0/cmdk@0,0
       1. c2t0d0 <VMware,-VMwareVirtualS-1.0 cyl 1042 alt 2 hd 255 sec 63>
          /pci@0,0/pci1000,30@10/sd@0,0
       2. c2t1d0 <VMware,-VMwareVirtualS-1.0 cyl 1042 alt 2 hd 255 sec 63>
          /pci@0,0/pci1000,30@10/sd@1,0
       3. c2t2d0 <VMware,-VMwareVirtualS-1.0 cyl 1042 alt 2 hd 255 sec 63>
          /pci@0,0/pci1000,30@10/sd@2,0
Specify disk (enter its number):

 

で、ここからパーティションを切らないといけないので、ディスク番号を指定した後、fdiskコマンドを実行。

 

format> fdisk
No fdisk table exists. The default partition for the disk is:

  a 100% "SOLARIS System" partition

Type "y" to accept the default partition,  otherwise type "n" to edit the
partition table.
y
format>

 

ディスクの100%をSolarisパーティションにするか聞いてきたので、今回は迷わず「y」。あとはformatコマンドのdiskサブコマンドで対象DISKを切り替えつつ、同様のパーティション設定を1,2,3のDISKそれぞれに実施。

 

その後、

# zpool create rpoolz raidz c2t0d0 c2t1d0 c2t2d0

で、rpoolzができ上がるので、

# zfs create rpoolz/zwork

とやったら、、

 

# zpool list
NAME     SIZE   USED  AVAIL    CAP  HEALTH  ALTROOT
rpool   39.8G  10.1G  29.6G    25%  ONLINE  -
rpoolz  23.9G   266K  23.9G     0%  ONLINE  -

# zfs list
NAME                     USED  AVAIL  REFER  MOUNTPOINT
rpool                   10.6G  28.5G  32.5K  /rpool
rpool/ROOT              8.98G  28.5G    19K  legacy
rpool/ROOT/snv_112      8.98G  28.5G  8.84G  /
rpool/ROOT/snv_112/var   144M  28.5G   144M  /var
rpool/dump              1.00G  28.5G  1.00G  -
rpool/export             103M  28.5G    21K  /export
rpool/export/home        103M  28.5G   103M  /export/home
rpool/swap               512M  29.0G  36.1M  -
rpoolz                   171K  15.7G  28.0K  /rpoolz
rpoolz/zwork            25.3K  15.7G  25.3K  /rpoolz/zwork
#

めでたく rpoolz/zwork が完成。

あとはこのzfsエリアをSambaで共有して使うと、信頼性の高いファイルサーバーになるんじゃないかと画策中。

さぁてどうかな?



2009/03/27(Fri) :

opensolaris+ZFS!

090327_2208~0001

ZFSがすばらしすぎるのでLinuxを捨ててopensolarisにしようとか考え始めたみくりんです。

仕事でSolarisサーバを買ったので、物は試しにとopensolarisを自宅と会社のVMware上にインストール。

ちょっと触ったけどいい感じ……ではぜんぜんなくて、システムエンジニアの肩書きをはずしたいくらい絶望的にまったく分かりません(笑)

ネットワークがDHCPでインストールされているんだけど、IPアドレスの設定すらそもそもわからないとか、業務だったら崖から飛び降りたいくらいサッパリ(笑)

RedHat系LinuxはRHEL5もCentOSもFedoraもばりばり使っているし、Debian、Ubuntu、SUSEも試したのでだいたい分かるのだけど…。

SolarisはすばらしいOSなのに、学習してこなかった&仕事で関われなかったことに悲しみすら覚えます(_ _;)

Apache+MySQL+Perl/PHPが使えて、ATOKと日本語フォントもあるという(opensolarisのCDディストリビューションはAnthyのようですが)。
加えて、最強?のファイルシステム「ZFS」。
あんまり調べてないので欠点までは分かりませんが、利点は調べた感じ最強だと思いますね~。

ファイルシステムにトランザクションを適用する発想は前からあったけど、きちんと実装できるレベルまで来たことはすばらしいですね。

なぜSunがIBMに買収?されなければならないのか、Solarisがもっと普及しないのか信じられない感じですが。。

とりあえず、Solarisの今後と、自分の勉強のためにいろいろ触ってみようかと思います。

にゃん♪



≪前のページ | main | 次のページ≫


Calendar

<< May, 2017 >>
SMTWTFS
 123456
78910111213
14151617181920
21222324252627
28293031   

New Entries

Categories

Recent Comments

Archives

過去の記事▼

Feed

RSS1.0 XML Feed

RSSリーダーにドラッグ&ドロップで登録すると記事を読めます。よろしくです♪

おすすめ


ピュアニーモ キャラクターシリーズ No.076 ガリレイドンナ 星月・フェラーリ 完成品ドール[アゾン]《04月予約》


ガリレイドンナ もふもふミニタオル 星月


ガリレイドンナ 缶バッジ 星月・フェラーリ


Microsoft Windows 8.1 Pro (DSP版) 64bit 日本語 発売記念パック 窓辺ファミリーバージョン