21-2. HP仮想サ−バの運用いろいろ `2b/06 (1) HP仮想マシンの扱いの目星 * 評価ライセンスが切れてしまった しかし仮想マシンは動いている。IWSVA はちゃんとプロキシサ−バとして動いている。も っとも IWSVA は、IWSVA の評価ライセンスも期限が切れてしまっているのだが。 Web レピュテ−ションはだめだが、プロキシとしては機能しているということ。評価ライセン スが切れてしまった状態でHPのマシンを止めるとまずいらしい。再インスト−ルとか再 構築とかになるらしい。正式なライセンスを速やかに入れること。`2b/05。その後、他で も話していてそうそうと、オ−プスソ−スの集いで。評価ライセンスが切れて、マシンの 電源が切れると設定はクリアされてしまうのは本当らしい。 □Vcenter ->□nix-dc ->□192.168.1.11(切断状態) ここから下は灰色になってしまった。 ->□VMware Data Re..(切断状態) | ->■REHL(切断状態) | ->□REHL-clone(切断状態) ->■IWSVA(切断状態) パソコンにこんな画面がでてきていた。 ------------------------------------------------------------------- | VMware 評価のお知らせ | |-----------------------------------------------------------------| | /!\ 1時間以内に評価ライセンスの期限が切れます。 | | 評価ライセンスの期限が切れると、vCenter Server は、そのイベント | | リにあるすべてのホストおよび仮想マシンの管理を停止する場合があ | | ります。これらのマシンを管理するには、vCenter Server のライセン | | スをアップグレ−ドするか、vCenter vSphere Client を使用して各ホ | | ストに直接接続する必要があります。 | | | | vCenter Server ライセンスのアップグレ−ド [ OK ] | ------------------------------------------------------------------- 1つは"Serial Number(s) for VMware vCenter Server 4 Foundation for vSphere up to 3 hosts"。それに同じのが2つ "Serial Number(s) for VMware vSphere 4 Standard for 1 processor (Max 6 cores per processor)"。これら3つの長たらしいシリアル番号がメ −ルで来ていた。こうしたとこで用いられる数字にアルファベットは、ゼロかオ−か判別 がつきにくい。UNIXの diff コマンド何かで、どちらか確かめたりする。どうやらゼ ロをキ−入力しておけばよさそう。最初のライセンスを入れたら(切断状態)という表示は しなくなった。でも processor うんぬんというライセンスはこれではだめなそうな。 * いろいろ 2011年3月末、実際に物が来てざくっと説明を聞いた感想は、思った以上に理解する のは難しそうだということ。全体像が掴めない。用語が多すぎる。体験したことがないこ とも多すぎる。多分、SI業者が提案してくれたこと、そして設定してくれたことを一気 に分かろうとするのは無理。今回はシンクライアントのサ−バを設けないので、仮想化と しては単純な構成との事である。自分も直感的にはそう思うが、それでもややこしい。仮 想化の検討はサ−バとシンクライアントは分けた方が無難である。 説明を半日聞いてだいたい分かった。使えそうだ。でも疲れた。少し頭を冷やしたい。こ ういうのは本を読んでみてもさっぱり分からない。電源を切って入れるところを先ず覚え ること。仮想化サ−バでは1つの筐体の中で複数のマシンが動いている。電源を切るのは これまでのサ−バのマシンとは違っている。2、3日自分でさわってみた。おお−、だい たい分かったぞ。やはり業者任せにするのではなく、誰か一人は勉強して自社のノウハウ とすべきである。よその会社でも1人はこうして頑張っているのだ。 2011年5月の連休が明けて、いきなりじめっと。湿度が高くて蒸し暑い。HPのマシ ンもファンの音が耳障りになる程になってきた。こりゃ早いことテストすることはテスト してサ−バル−ムに放り込まないと。仮想スイッチとか仮想ネットワ−クのこと、実験し て理解しておかないといけない。それにバックアップだ。SI業者さんがスナップショッ トとかやって見せてくれたが、一度見ただけではまだおぼつかない。やはり初めてのこと と言うのは、腹に入ってくるまで時間はかかるものだ。3ヶ月とか半年とかいる。 とりあえず InterScan HTTP は仮想アプライアンスで動かそう。ライセンスがお試しで切 れるが、プロキシとしては動く。特にパフォ−マンスが落ちるとかないというのであれば、 それでよしとしよう。仮想アプライアンスのIPアドレスを変えるのって、どうやるのか。 vSphere Client でできるのか。PostgreSQL にアクセスして変えるというのは仮想アプラ イアンスではできないのでないか。いやInterScan であるIWSVA メニュ−で簡単にできた。 仮想アプライアンスでない IWSS の方も、マシンのIPアドレスを変えるだけで済んだ。 * HPのマシン構成のこと イ−サネットのポ−トを増設して購入した。どのポ−トが何番やら。ハ−ドウェアの小冊 子があった。それに書かれているのでないか、どうも書かれていない。ポ−ト番号を調べ てみた。vSphere Client ソフトでインタ−フェ−スの様子がでてくる。 それを利用して ネットワ−クケ−ブルをポ−トにそれぞれ差していき、表示が変化するので何番か調べた。 ネットワ−クケ−ブルの反対の端子はスイッチングハブなどに差しておくこと。 マシン背面図 vSwitch0 --------------------|---------------------------------- UTPのイ−サネットの | 4) | | インタ−フェ−スポ−ト | --------- -|------ ------- ------- | のボ−ドは4つ追加され |10|□ 9□| 5) 2)|□5 □|6 |750W | |750W | | ている。ポ−トは 1〜12。 | --------- --------- | | | | | |12|□ 11□| 6) 3)|□7 □|8 ------- ------- | ポ−ト1,5 とILO は同じ | --------- --------- ILO | セグメントにあるという | 4□ 3□ ■ 2□ 1□ | こと。vSwitch0仮想スイ --------------------:-----------|----------|--------- ッチは VMware_internal。 : | | vSwitch3 △PC vSwitch0 ILO へのアクセスは https://192.168.1.13。Integrated Lights-Out 3 HP ProLiant。こ こでは PCの Windows XP から。Windows 2000 では .NET 環境がだめらしい。HPのマシ ン本体を起動する、止まっているのを起動する。[Power Switch] をクリックすること。 [ VMware vSphere Client の画面 ] □Vcenter 192.168.1.10, Windows 2008 Server(64bit) ->□nix-dc ->□192.168.1.11 VMware ESX サ−バ ->□VMware Data Recovery 仮想アプライアンス、多分 CentOS ->□REHL Red Hat Enterprise Linux 5(32bit) ->□REHL-clone 上の REHL のクロ−ン ->□IWSVA 仮想アプライアンス、多分 CentOS ----------------- 手元のパソコン Windows XP にVMware vSphere | HP DL380G | Clientをインスト−ル。アクセス先IPアドレ | | UPS NAS XP スは192.168.1.10。このソフトはフリ−なので ----------------- □ □ △ 他のパソコンにも入れることはできる。しかし 1| |5 |ILO | | | VMware の管理上、限定した方が望ましいかも。 ------------------------------------- REHL-clone は RHELからクロ−ンを作ったものでIPアドレスなどの設定は何もしてない。 [電源]->[パワ−オン] をやると起動してきて root ログインはできる。hostname は元の RHEL のが付いていた。# hostname piyo とか、# ifconfig eth0 192.168.1.20 とかやれ ばその場で変わる。パソコンから >ping 192.168.1.20 と打てば即反応するようになった。 ただしこのままでは仮想マシンをシャットダウンしたら、設定は消えることに注意したい。 ・RHEL のクロ−ンはIPアドレスはコピ−されない。 ・RHEL のクロ−ンでは RHEL ログイン画面はでてきた。 ・RHEL のクロ−ンを作ったら同じ仮想スイッチに属した。 以下 `2c/01/M 気付いたことで追記。vSphere Client は手元のWindows XP Professional パソコンの画面にアイコンで張り付いている。いつもこれをクリックするのだが、気なし に https://192.168.1.10/ とやった。そしたら画面がでてきた。VMware ESX 4 ようこそ、 はじめにという記述があって vSphere Client をインスト−ルするのに "vSphere Client のダウンロ−ド" へのリンクがあった。exe ファイルが置かれてあるようだ。他の XP マ シンにも vSphere Client を入れるのは、別に難しいことではないのかも。 * HP仮想サ−バへのアクセス 10 Vcenter : vSphere Client でIP指定 [administrator] << 192.168.1.10 >> 11 ESXサ−バ : vSphere Client でIP指定 [root] サ−ビスコンソ−ル。 13 ILO : https://192.168.1.13 [administrator] PCからHPを起動。 14 vDR : vSphere Client のメニュ− [root] CentOS 仮想アプライアンス 15 REHL : Red Hat Enterprise Linux [root] Linux を1つ作ってみた。 16 REHL-clone : Red Hat Enterprise Linux [root] 上のクロ−ン。 17 IWSVA : http://192.168.1.17:1812 [admin] CentOS 仮想アプライアンス。 18 TeraStation : http://192.168.1.18 [admin] バックアップ用のNAS。 19 UPS : http://192.168.1.19 [apc] APC製2U、UPS本体。 パソコンのアイコン VMware vSphere Clientをクリックして、仮想サ−バを制御するソフ トを起動する。 Vcenter、ESXサ−バ、vDR は VMware vSphere Client の画面から操作す る。Vcenter と ESXサ−バは似たような画面だが、Vcenter にアクセスして通常は使えば いい。ESXサ−バは Vcenterサ−バが止まったりしている時に使えばいい。ESXサ−バは仮 想サ−バ本体であって、操作メニュ−はあまりない。 Vcenterサ−バは ESXサ−バの操作 を包含していて、ライセンス管理などいろいろメニュ−がある。 Vcenter: vCenter Server、Windows Server 2008 で稼働。 ILO : Integrated Lights-Out 3 HP ProLiant, Windows XP から。 vDR : VMware Data Recovery、https://192.168.1.14:5480 はログインできない。 REHL : パソコンの Teraterm で SSH 接続できる。(UTF-8 TeraTerm Pro with TTSSH2) ESX : PowerChute Network Shutdown を入れとく、https://192.168.1.11:6547 [apc] ----------------- |HP ILO | NAS UPS Windows XP ----------------- □ □ △ VMware vSphere Client |.13 |.18 |.19 | をインスト−ルしておく ------------------------------------------ サ−ビスコンソ−ルは ESXサ−バの管理用OSで Linux ベ−スで作られている、 ここか ら VMkernel プロセスが起動される。仮想マシンは VMkernel 上で動作する。 ESXサ−バ には SSH アクセスできる。手元の Windows XP にインスト−ルした TeraTermからログイ ンできた。# ifconfig -a とやると lo は 127.0.0.1、 vmnic0 そして vmnic1〜vmnic11 にはIPアドレスは付いてなかった、vswif0 は 192.168.1.11 が付いていた。 * VMware の仮想スイッチ:その1 vSphere Client の "192.168.1.11" の画面の上のメニュ−の[構成] で、{ハ−ドウェア} の [ネットワ−ク] をクリックすると現在の仮想スイッチの設定状態が表示される。主な セグメントは vSwitch0 の VMware_internal とした。 SI業者さんがこのセグメントに 仮想マシンREHL、REHL-clone、IWSVA を含めたとする。これら仮想マシンはマシン背面図 のポ−ト1 or 5から繋がっている。ポ−ト1 と 5はチ−ミングの設定にしてもらうように した。チ−ミングの設定は下図右の [プロパティ] でやる。ネットワ−クケ−ブルAをハ ブから抜くと下図の物理アダプタの vmnic0 の所に赤で×印がすぐに付いた。しかし何事 も無かったかのように仮想サ−バ、仮想マシンは動いていた。この時 vmnic4 のネットワ −クケ−ブルの方で通信しているのだが、特に物理アダプタの画面の所で、線がvmnic4の 方に向いたとかいうことはなかった。ついでにネットワ−クケ−ブルBも抜いたら、通信 は跡絶えた。すぐにネットワ−クケ−ブルをつないだら、通常通りの通信になった。 仮想スイッチ: vSwitch0 [削除...] [プロパティ...] --------------------------------------------------------------------------- - 仮想マシンのポ−トグル−プ -- ------ -- 物理アダプタ ----------- |VMware_internal ◎|--|-----|--|-- ■vmnic4 スタンバイ | |5 台の仮想マシン | | | | | | | | Vcenter ◆|--|--| | | ---■vmnic0 100 全二重| | vDR ◆|--|--| | --------------------------- | REHL ◇| | | | | REHL-clone ◇| | | | | IWSVA ◇| | | | ------------------------------- | | | -- サ−ビスコンソ−ルポ−ト---- | | | |Service Console ◆|--|--- | |vswif0: 192.168.1.11 | | | ------------------------------- ------- --------------------------------------------------------- | _____ | 仮想マシンのREHL-clone | vmnic4| | | とvDR はHPの仮想サ− | 10□ 9□ 5□ 6□ | | バ内での仮想スイッチの | | | vSwitch0ネットワ−クに | 12□ 11□ 7□ 8□ | | あるという事。vSwitchx | | ILO vmnic1 vmnic0 | はVLANと思っていい。 | 4□ 3□ | ■ 2□ 1□ | ------------------------------|---|----------|-------- B| | |A .11| |.13 |.11 -------------------|---|----------|-------- | □ □ □ □ □ □ □ □ □ | スイッチ ----|----------------------|--|------|---- | .18| | |.19 他へ NAS○ △PC ◎UPS スイッチングハブのこと。アライドの CentreCOM FS917M L2スイッチ、10/100TX16ポ −ト+コンボ1ポ−トを使ってみた。 16ポ−トの 10/100 Mbps にHP仮想サ−バから ネットワ−クケ−ブルをつないだ。それをコンボ1ポ−トの 10/100/1000BASE-T PORT に つなぎ変えた。すぐに仮想スイッチの vSwitch0 プロパティをみたら vmnic0 は 1000 Mb、 全二重になった。Cisco 2950 でも試してみた、 右端2つのポ−トが 10/100/1000Base-T である。こちらにつなぎかえたら、これもすぐに vmnic0 はギガビットになった。 * VMware の仮想スイッチ:その2 インタ−フェ−スを分けてみる。同じセグメントの仮想マシンは1本からではなく、ある 仮想マシンは別な1本からにする。 REHL-clone はマシン背面図のポ−ト4 につなげてみ る。REHL-clone のメニュ−を出して [設定の編集]->[ハ−ドウェア]の "ネットワ−クア ダプタ1 VMware_internal" を、右画面のネットワ−クラベル [ VMware_test ▼] にする。 これでマシン背面図ポ−ト4 にパソコンを直接つないでテストしたら ping が通った。 vmnic3 | 4□ 3□ | ■ 2□ 1□ | --------------------|--------|---|----------|-------- | | | | .16| .11| |.13 |.11 ---------|--------|---|----------|-------- | □ □ □ □ □ □ □ □ □ | スイッチ ----|----------------------|--|------|---- REHL-clone 仮想スイッチ: vSwitch3 [削除...] [プロパティ...] --------------------------------------------------------------------------- - 仮想マシンのポ−トグル−プ -- ------- -- 物理アダプタ ----------- | ◎|--|-----|--|-×■ vmnic3 | |VMware_test | | | --------------------------- ------------------------------- ------- 赤 - 仮想マシンのポ−トグル−プ -- ------- -- 物理アダプタ ----------- | ◎|--|-----|--|-- ■ vmnic3 100 全二重| |VMware_test | | | | | |1台の仮想マシン | | | | --------------------------- |REHL-clone ◆|--|--- | ネットワ−クケ−ブルがちゃんとつ ------------------------------- ------- ながったら赤の×印は出なくなった。 * 仮想サ−バの停止と起動 [ 停止 ] ---------------- □Vcenter |新規仮想マシン ->□nix-dc | ->□192.168.1.11 <--- |シャットダウン <--- 下の左画面が出る。はいをクリック。 | もう1つ画面が出てくるが[OK]をク |再起動 リック。2分ぐらいでHPの筐体は 止まる。ガ−と言っていたのが静か ---------------------------------------------- になる。筐体前面のランプは緑から |シャットダウンの確認 | だいだい色になる。vSphere Client |--------------------------------------------| から接続障害うんぬんのメッセ−ジ |ホスト 192.168.1.11 はメンテナンスモ−ドでは| とか出てくる。再起動は使わない方 |ありません。ホストをシャットダウンしますか?| がいいかも、どこまで進んでいるの | [はい] [いいえ] | か分からないし、挙動がどうも変だ。 ---------------------------------------------- [ 起動 ] -------------------------------------------- |https://192.168.1.13 で ILO にアクセスする -------------------------- |------------------------------------------- |アプリケ−ションの起動中| |[+] Information | Remote Console |------------------------| |[-] Remote Console |--------- | 流れる | | Remote Console | Launch | JVM | *-------------> | |[+] Virtual Media | ----------- |アプリケ−ションの要件を| |[+] Power Management | Integrated Remote Console <-- | 確認中 うんぬん | |[+] Administrator | -------------------------- | | 下左の画面が新たに出る。 ------------------------------------------- |ProLiant - 192.168.1.13 [Power Switch] を押すとその下に |------------------------------------------ すると[Momentary Press] が出てく |Power Switch Virtual Drives Keyboad る。それをクリックすると、すぐに |------------------------------------------ 音がして起動開始。3分位かかるか。 | コンソ−ルは真っ暗 ↓ ------------------------------------------- 左の画面が出たら仮想サ−バは起動。 |ProLiant - 192.168.1.13 した。パソコンのアイコンでVMware |------------------------------------------ vSphere Clientをクリックして管理 |Power Switch Virtual Drives Keyboad 者のアカウントを入力する。 |------------------------------------------ | VMware ESX 4.1.0 (VMKernel Release Build 34xxx) -------------------------- | HP ProLiant DL380 G7 | VMware vSphere Client | | 2xIntel(R) Xeon(R) CPU X5688@3.33GHz |------------------------| | 60GB Memory |IPアドレス:[192.168.1.10| | Download tools to manage this host from: → |ユ−ザ名:[administrator]| | http://192.168.1.11/ |パスワ−ド:[ ]| | To open the ESX console, press Alt-F1 | | | To return this screen, press Alt-F11 | [ログイン][閉じる] | ------------------------------------------- -------------------------- こんなことを思い付いて実験してみました。HP仮想サ−バを起動する時は、ILO ポ−ト にケ−ブルをつないで HTTP アクセスする。起動したら、そのケ−ブルを抜いて、仮想マ シンの方につなぐ。こうすればケ−ブルは1本で済ますことができる。いいかどうかは知 らないが、一応できました。ILO ポ−トにケ−ブルがつながっていなくても、設定画面で は何も変化はない。そこへの ping が通らないだけである。 (2) HPの仮想マシンのバックアップ * バックアップ用のNAS vForum のデモで見たのは、 幅6センチ高さが20センチぐらいの細長い外付けのディス クが2台、ラックにおいてあった気がする。それに VMware の認定ロゴのシ−ルが貼って あったような気もする。NASはHPのパソコン用の安いのでどうか。3テラで7万円位。 バックアップを取るには NFS がいるみたいで、HPとアイオ−デ−タのNASは NFS を サポ−トしているか?、ホ−ムペ−ジからは確認できない。BUFFALO のは確認できた。 Google で "TS-XL VMware" として検索した。Ver.1.20 [2009.12.04] TeraStation のNFS で公開された領域をVMware ESX/ESXi のハ−ドディスク領域として設定が可能としました。 もう一つ見つけたのは、BUFFALO の2010年10月8日号のお知らせで、VMware Ready 認証を iSCSI 対応「TeraStation IS」で取得。2TBの TS-IX2.0TL/R5 は16万円。iSCSI 対応HDDはディスクの共有はできない、NASはできると書かれていた。 アイオ−デ−タのNASはどうか。ホ−ムペ−ジでは NFS 対応は確認できないが vForum ではそこで実際に使っていたのだから、できるのでないのか。VMwareには対応していると 確認できた。2010年3月10日付けのお知らせ、大容量ビジネスNAS LAN DISK XR シリ−ズが VMware vSphere 4 に対応!。vSphere 4 の仮想環境をNASにバックアップ するという絵が出ている。2TB が一番小さく HDL-XR2.0 95,600円。W170xD230xH183。 一つ気になる機能があることを知った。TeraStation TS-XL/R5、外出先からデ−タにアク セスできるWebアクセス機能。インタ−ネット経由で、バッファロ−のセンタ−サ−バ buffalonas.com にアクセスして、社内設置の TeraStation のデ−タをダウンロ−ド/ア ップロ−ドができるというもの。アイオ−デ−タのNASにも同じ機能があった。リモ− トリンク機能という。http://rm.iobb.net/ が中継アクセスする。SSL 暗号化通信。 TeraStation のようなNASが用意できない場合は、ソフトウェアのNASというのがあ る。オ−プンソ−スの FreeNAS という。今回初めて聞いたのだが。 箱物のNASのソフ トウェアと思えばいい。つまり箱物NASがなくてもNASがあるようにできる。NAS のテストに利用できる。「Software Design」誌に記事が出ているのを見た。 * スナップショットを試してみる `2b/07 ( 触ってみて2時間位で確認できた ) スナップショットを取っているのを戻すと、その時点での状態になる。1時間前なら1時 間前の状態に。その時点での何かファイルが欲しくて戻した。でもファイルを手に入れた ら、さっきまでの作業を続けたい。それならばたった今の状態を先ずはスナップショット を取っておき、それで戻すということになる。適当に1つファイルを作ってスナップショ ットをとって。その後に消して、戻してみるテストをやってみよう。メニュ−としては仮 想マシンをクリックして出るメニュ−の [スナップショット]、直感的に操作できる。 RHELのクロ−ンを作ったままでIPアドレスも付いてない、ホスト名は元のマシンのまま。 # ifconfig eth0 192.168.1.10 とか付けた。/usr/tmp/にファイルを作ってテストしてみ た。スナップショットをとる時間は95%から進まない、終了まで8分かかった。取る際 に "〆仮想マシンのメモリ..."の〆を外すと一瞬で終わった。でもこの時のスナップショ ットに戻すと仮想マシンは停止した状態で戻った。仮想マシンは停止した状態でもスナッ プショットはとることができる。5秒ぐらいで取った。 RHELのクロ−ンに IWSS をインスト−ルして稼働させた仮想マシンで。スナップショット は5分で取った。取っている間もプロキシサ−バとして使えた。他のマシンから ping も telnet も ftp もできた。vSphere Client のコンソ−ルでも #system-config-networkの 画面は出てきてセ−ブできたし。「VMware徹底入門第2版」P.133 の記述では "スナップ ショットの取得中は、デ−タの一貫性を保つために、仮想マシンのユ−ザ−オペレ−ショ ンはすべてブロックされます"。何か説明とは違うような気がせんでもないが。 スナップショットは仮想マシンのその時の状態そのものを記憶する。 どこかに ftp をか けていたら、それも覚えていて、スナップショットで戻したら、ftp を続けようとすると いう。スナップショットを取っている時間が5分も8分もある。その間も普通に仮想マシ ンを使っていられるみたい。スナップショットを取っている間にも、仮想マシンの状態は 変化する訳でそれはどうなる。多分95%の表示がでるまでの何秒かの間に、仮想マシン の状態をフィックス、固定するのではないか。そんな気がする。 スナップショットで取ったバックアップには実態はない。最初に取ったスナップショット が大元ということになる。最初は取るのに時間がかかる。2回目以降は速い、変わってな いところは大元へリンクを張るだけだから。と、こんなことを書いたのをどこかで見てメ モしていたのだが本当かな。何回かやってみたが最初も2回目も時間は変わらなかったぞ。 スナップショットは32個まで取れる。自動的に取る設定はどこかでできるのか。メニュ −の [現在のスナップショットまで戻る]、これって意味がおかしい気がするが。 * VMware Data Recovery がいいのだが 仮想サ−バは vSphere Client の画面で容易に触って設定を変えることができる。仮想マ シンのクロ−ンでもいとも簡単に作ることができるし、削除することもできる。だから気 なしに触っているとえらいことになる。しっかり頭の冴えた時に操作した方がいいだろう。 特にバックアップに関してはそうだ。SI業者のエンジニアが設定してくれたのを、触っ ていたら知らんまに vDR アプライアンスの中身を消してしまったかも。覚えないのだが。 VMware Data Recoveryソフトで設定するバックアップウィンドウなるパラメ−タ。バック アップを実行する時間帯で、何時何分に実行するという訳ではない。変なの。その時間内 のいつか分からないが実行するという話。ということでバックアップは1日1回やるのみ。 幾つかバックアップを取る仮想マシンがあったら、仮想サ−バのソフトが勝手に判断して ずらして取るとかできたりするのかな?。まあ、そんな感じかも知れない。 SI業者のエンジニアさんがバックアップウィンドウの説明を懇切丁寧にしてくれたので、 肝心のバックアップとリストアのことが頭から飛んでしまった。[リストアのリハ−サル] メニュ−でデ−タストアの一時利用のところにリストアするのを見せてもらった。仮想マ シンにはIPアドレスは付いてない。無効になっている。休止中になっている。すばらし い!、と自分はメモ書きしていた。戻すデ−タストア先を間違えるとえらいことになる。 CADデ−タを仮想マシンに入れているとしようか。あるユ−ザが先週月曜日に描いてい た図面が欲しいと言ったら、簡単に取り出すこができるのだろうか。仮想マシンレベルで ごそっとリストアされても扱いは大変だ。仮想マシン単位ではなく、ある時点の仮想マシ ンでのファイル単位で扱いたいのである。ファイルレベルは仮想マシンに FLR Client コ マンドのソフト VMwareRestoreClient.exe を入れるとできると教えてもらった。要確認。 SI業者が提案してきた vDR 以外の方法も紹介しておく。vSphere Client で仮想マシン のイメ−ジをNASに CIFS で転送する。仮想マシンを停止して、デ−タストアブラウザ よりダウンロ−ド。手動操作、圧縮なし、重複排除無し。よく分からんけど。もうひとつ、 dd コマンドでパ−ティション単位で取ってNASにコピ−して、 バックアップするとい うのはどうか。UNIXマシンでの古典的なバックアップのやり方である。 vDR アプライアンスという。vDR でのバックアップでは、まず仮想マシンのスナップショ ットを内部で取っているとのこと、これには VMware Tools がいる。しかし仮想マシンの スナップショットを取ること自体は VMware Tools は関係ないみたい、IWSVA を入れた仮 想アプライアンスには VMware Tools は入れてなくても(そもそも入れることができない)、 バックアップを取るようSI業者さんに最初、設定してもらった。 * 可用性の検討 ( 英語では Availability だが、可用性と言う日本語は一般にはない ) 仮想マシンの信頼性を上げるのにどんなやり方があるか列挙してみよう。 1) 予備はこれまで使ってきた単体のマシンを使う。パソコンや Sun やHPのマシン。 2) VMware VMotion をできればやる。更にできれば Storage VMotion もやってみる。 3) VMware HA でHAなるクラスタにする。VMotion も HA も共有ディスクが必要。 4) 共有ディスクをEMC、NetApp、ftServer 無停止型IAサ−バ、なんかはどう。 VMotion はハ−ドの保守がやりやすい。共有ディスクに仮想マシンのファイルシステムが ある。筐体には仮想マシンのメモリの実行したものがある。外付けディスクにOSのファ イルが入っていて、本体のメモリ内でOSが実行しているというのと似たような話。 クラスタソフトでのHA構成。アプリケ−ションが死んでいてもそれはHAでは検知しな い。あくまでも筐体であるハ−ドの異常を検知するということ。SQLサ−バが死んでい てもハ−ドは問題ないわけで、結局そのまま動いているということになる。 ○○商会のメ−リングリストにて、共有ストレ−ジなしで vMotion, HA, DRS 機能が実現 できる StorMagic。有償ソフト。気になるソフトが1つ、オ−プンソ−スのクラスタリン グソフトウェア Pacemaker、Linux などで稼働。何となく使えそうな雰囲気がする。 メモしてたこと。アクロニクス・ジャパン(株)、http://www.acronics.co.jp/。デ−タバ ックアップと障害復旧を実現するバックアップソフトウェア。robocopyというの2011 年9月、SI業者のエンジニアと rsync のことなど話していていた際に聞いた。 * VMware 仮想サミット2011 にて 2011/09/14 ブイエムウェア、CTC共催。− プライベ−トクラウド環境における高可用 性の実現に向けて −。iPad が当たると言う太っ腹なセミナ−だった。半分位のセッショ ンの話はまるで分からんかった。VMware 社のは今、60もの製品がある。ESXはバ−ジョ ン4で終わり、ESXi がバ−ジョン5になる。vMware vSphere 5 という。シマンテックが Symantec Endpoint Protection 12 というソフトで仮想環境を保護しようとか話していた。 vCenter Server はこれまでは Windows Serverが必要だったが、バ−ジョン5ではいらな くなった。Linux ベ−スの仮想アプライアンスになった。これまでは vCenter Server を Windows Server にインスト−ルして設定、Windowsのパッチを当てたりで半日はかかった。 vSphere Client の他に vSphere Web クライアントというのがでてきた。どこのマシン任 意のブラウザで vSphere を操作することができる。なかなか有難い話だ。 VCS( Veritas Cluster Server ) は高かった、前は80万円はしたぞ。そんでもって今は、 シマンテックのHAソフトは8万円ぐらいで安い。ん−どうかな、ファイルのバックアッ プソフトが高くてHAソフトの値段はどうだったか瞹昧です。このセミナ−で紹介された のは Symantec ApplicationHA。 ApplicationHA は仮想マシン上のアプリケ−ションが障 害の時に動作し、ESX サ−バが障害の時は VMware HA が働く。 Symantec NetBackup の方は仮想マシンを VMDK 単位でバックアップして、 仮想マシン単 位もしくはファイル単位のリストアができる。2,645,500円〜。 何じゃこの値段は26万 円かと思いきや百万円の単位ではないか。RHEL と Windows をバックアップ対象にできる。 競合の NetVault は Windows のみ対象。 バックアップ用のセグメントを別にすることを 推奨。だいぶ前に NetVault 買ったのがあるのだが、仮想化で使えるのだろうか?。 * TeraStation TS-XL/R5 のこと ポ−トは筐体の後ろに縦に2個ある。上のにネットワ−クケ−ブルをつないだ、これが1 番である。下のが2番で。電源オフにするには前面の電源スイッチをピッとなるまで、3 秒間押す。消費電力は平均60Wとのこと。http://192.168.1.18 でログイン画面が出て くる。vDR のデ−タのバックアップ先として Windows ファイル共有での利用を設定。 □vDR ----> □TeraStation vDR(VMware Data Recovery) は CentOS の |.14 CIFS |.18 仮想アプライアンスでできた Linuxマシン ------------------------ 192.168.1.0 である。実態はHPの仮想サ−バ内にある。 ワ−クグル−プ: WORKGROUP。ディスク情報 RAIDアレイ1: 2.4GB/1354.5GB(0.2%)、RAID5。 2.4GB が使った分で、1354.5GB が元の容量。"イ−サネット1" は使用する 192.168.1.18。 "デフォルトゲ−トウェイ" は記入した。"DNSサ−バ−アドレス"無し。"Wake on LAN" は使用しない。ftp アクセスしてみたら /mnt デイレクトリに入った。 主なメニュ− [共有フォルダ−][ユ−ザ−/グル−プ][ネットワ−ク][システム][その他]。 [共有フォルダ−]が vDR のバックアップ先となる。 [ネットワ−ク] の中には{ネットワ−ク}{ワ−クグル−プ/ドメイン}{NFS}{Webサ−バ−} {MySQLサ−バ−}{SNMP} メニュ−がある。{ネットワ−ク} 以外は何も設定していない。 * 改めて VMware Data Recovery `2b/12 VMware Data Recovery がまだピンと来ない。 特定のディレクトリにファイルを置いたり 消したりして、どうなっているか確認してみたい。毎日取るようにして。あるいはスナッ プショットで今取って、すぐファイルを消して取るとか。本の"できるPRO"を見るとか。 せっかくSI業者のエンジニアが独自に作った説明書をくれたというのに。なぜか読むこ とができない。とりあえずバックアップだけやるということで、自分でクロ−ンから作っ てみた仮想マシンを、新規にバックアップするよう設定してみるか。2、3の仮想マシン は導入当初に、エンジニアが例題的にバックアップの手続きをやるように設定してくれた。 VMware Data Recovery のメニュ−は[はじめに] [バックアップ] [リストア] [レポ−ト] [構成] がある。[バックアップ] には幾つか導入の際にエンジニアが作ってくれたエント リがあった。でも[リストア]は真っ白だった。この状態でバックアップのエントリを作っ て実行したら、{警告,エラ−} に0,1(赤) と出てできなかった。2011年12月のこと。 TeraStation はずっと止めていてさっき電源を入れたのだった。 どうも vDR がNASを 認識してないのでないかと思い、vDRを再起動したら"VMware Data Recovery へようこそ" という画面がでてきた。その画面の下の [接続] をクリックしたら正常稼働になった。 [リストア]のエントリもでてきた。仮想マシンを1つ選んで新規にジョブを作って、即時 バックアップを実行してみた。{最後の実行}の表示がビジ−となった。5分位でバックア ップ終了、すぐにもう一度バックアップをやったら差分が効いて約30秒で終わった。リ ストアするのはこれまでに取ったのをイメ−ジ単位で戻すのとファイル単位で戻すのがで きる。ファイル単位でやるには VMwareRestoreClient.exe という Windows のソフトを用 いる。ファイルリストアを行なう対象のサ−バでソフトを実行するとのこと。つまりこの ソフトさえ入れればどのパソコンにもファイルを持って来れるということか?。 2011年12月、Google で VMwareRestoreClient 検索したら、1つだけ atmarkit に 記事があった。"VMware vSphere 4 徹底解剖、VMware Data Recovery によるデ−タ保全"。 ヴイエムウェア(株)の人が書いている 2010/3/29。Page1 から Page6 まであり、Page5に ファイル単位のリストアということで VMwareRestoreClientの記事があった。ゲストOS が Windows の場合のみ提供されていると。だめじゃんこれでは。 ゲストOSは Red Hat なんです。VMwareDataRecovery のCDのフォルダ[WinFLR] に VMwareRestoreClient.exe が見たらあった。普段使いの Windows 2000 に入れようとしたらエラ−でできなかった。 (3) VMware での RHEL 仮想マシンの扱い `2b/05〜 * vSphere Client 画面の操作 vSphere Client の制御画面内で RHEL の仮想マシンのコンソ−ルを出して、 そこで作業 をしている。そのコンソ−ル画面は小さいので、上記作業の設定画面の下の方が見えなか ったりする。そこに [キャンセル] や [ OK ] があったりすると、そこを触ることができ ない。そういう場合は Alt キ−を押しながらマウスを動かすと、その画面が動く。 それ でも反応がなかったら Ctrl + Alt キ−を押しながらマウスを動かしてみること。 * マシンのホスト名と telnet は 元の仮想マシンからクロ−ンを作った。/etc/nsswitch.conf は "hosts: files dns"。そ れに /etc/resolv.conf は "nameserver 202.241.122.3" などとなっていた。 /etc/hosts -------------------------------------------------- |127.0.0.1 akbou localhost.localdomain localhost クロ−ンで作ったままの状態。 |::1 localhost6.localdomain6 localhost6 ホスト名が元のが付いていた。 $ telnet 192.168.1.12 Apolloからクロ−ンで作った getaddrinfo: localhost Name or service not known 仮想マシンに telnet した。 Connection closed by foreign host. # system-config-network でマシンのネットワ−クの設定を行なう。IPアドレスをちゃ んと付けて、ホスト名も付け直す。そして下記のように手で記述し直した。 /etc/hosts ------------------------------------------------- |127.0.0.1 localhost.localdomain localhost このファイルの記述の変更は、 |#::1 localhost6.localdomain6 localhost6 直ちに反映された。 |192.168.1.12 red3 * マシンのIPアドレスを変える # system-config-network 画面で作業、マシンをリブ−トしなくても直ちに変更になる。 -------------------------------------------------- 2ヵ所変更する。{ホスト} で |ネットワ−クの設定 | [編集] で/etc/hostsファイル |------------------------------------------------| をいじることになる。 IPア |[新規] [編集] [コピ−] [起動] [停止] | ドレスを変える。 |------------------------------------------------| |デバイス | ハ−ドウェア IPSec DNS ホスト | {デバイス}で[編集] でインタ | ---------------------------------------| −フェ−ス eth0のIPアドレ |プロフ 状態 デバイス ニックネ−ム タイプ | スを変える。後は [起動] で。 |〆 起動中 eth0 eth0.bak Ethernet | |〆 起動中 eth0 eth0 Ethernet | << これを選んで作業すること。 -------------------------------------------------- 何となくインタ−フェ−スが2つ表示されるのは違和感を覚える。仮想マシンを生成する 際、カスタマイズするかと聞いてくるところで、これまで "しない" を選んでやってきた。 そうするとIPアドレスは付いてなくて、仮想マシンを起動とやると、起動スクリプトが だ−っと流れて、インタ−フェ−スのところでしばらく止まる。 多分その時に eth0.bak ができているのでないか、これは元にした仮想マシンの eth0 の情報がそのままある。そ して新たに空の eth0 ができるのでないか。そう解釈すれば eth0 やら eth0.bak やらを 触ったりして、おかしいなと思うことがなくなる。eth0の方で設定をすることである。し ばらくして3年ぶり位にこの画面を見た、ニックネ−ム eth0.bak の〆は外れていた、状 態は起動中になっていた。久しぶりにニックネ−ム eth0 の方で静的経路をいじった。 * クロ−ンで作った仮想マシンに Samba が動いている system-config-services コマンドを叩いて、画面で 〆smb になっているのを確認してマ シンをリブ−トした。リブ−トは VMware の vSphere Client の制御画面での、仮想マシ ンのメニュ−の [ゲストの再起動] にて行なった。 # chkconfig --list smb smb 0:off 1:off 2:on 3:on 4:on 5:on 6:off # ps -ef root 6796 1 0 15:57 ? 00:00:00 smbd -D root 6801 1 0 15:57 ? 00:00:00 nmbd -D root 6804 6796 0 15:57 ? 00:00:00 smbd -D 次は、画面の〆smb を停止させた状態である。smb の〆を外して[保存]。マシンをリブ− トしても同じ表示になった。 # chkconfig --list smb smb 0:off 1:off 2:on 3:on 4:on 5:off 6:off # chkconfig smb off このコマンドで全部がオフになった。マシンをリブ−ト # chkconfig --list smb してもこの状態のままだった。 smb 0:off 1:off 2:off 3:off 4:off 5:off 6:off system-config-services コマンドを叩いて。画面で 〆smb になっていれば、マシン起動 時には Sambaサ−バが起動されたということ。{smb} を選択して [停止] とやると、smbd と nmbd デ−モンはすぐに停止する。# chkconfig smb on/off をやると、 画面の {smb} の〆チェックにすぐに反映する。 * 仮想マシン間の経路制御は 既存のネットワ−クから切り離してテストしてみるか。適当なセグメントを想定して仮想 マシンにIPアドレスをつけてみる。それで他の仮想マシンと通信ができるのか。一度テ ストをしておくこと。HPの仮想サ−バの中にL3スイッチが入っているイメ−ジかそれ とも仮想サ−バはゲ−トウェイというイメ−ジか。ちょっと調べてから仮想マシンに違う セグメントのIPアドレスを振った方がいいか。それともとりあえず、えいやでIPアド レスを振ってみるか。いやそんなことやらんでよかった。全然イメ−ジは違っていた。 ■ Windows XP 仮想スイッチ vSwitch0 には仮想マシン | vSphere Client redA 1.1.1.1、redB 1.1.1.2が属してい ------------------|---- る。この間は ping は通る。 ハブ | □ □ □ □ □ | ---|----------|------- | | vSwitch2 の方に redC 1.1.1.3を属して 筐体 | |ケ−ブル redAとどう通信できるかを試す。ケ−ブ --------|----------|------- ルをつないでない状態では ping は通ら | ―□1 □3 □|物理ポ−ト かった。ケ−ブルをつないだら通信でき | | | | | るようになった。つまり仮想スイッチ間 |redA■ ■redB ■redC |仮想マシン の通信はそのままではできない。雑誌で ----------------------------- VMware ESXi でネットワ−クのテストを vSwitch0 vSwitch2 仮想スイッチ やっている記事があった。redCが別セグ vmnic0 vmnic2 物理アダプタ メントのIPアドレス 2.2.2.3とかだと、 1.1.1.1 1.1.1.2 1.1.1.3 IPアドレス ハブをル−タにして経路制御を行なう。 * 続仮想マシン間の経路制御は PC ▲ 1.1.1.2 IPアドレス 上のところで、ハブをル−タにして経路 | 制御を行なうと書いた。しかし仮想サ− --------|------------------- バの中で、仮想マシンは静的経路の制御 | □1 □3 |物理ポ−ト ができるはずである。これができれば外 | | 静的経路 | | にル−タをわざわざ設置して、通信しな | redD■ <----> ■redE |仮想マシン くても済む。 redD が社内セグメントの ----------------------------- Mail-Store、redEがDMZセグメントの vSwitch0 vSwitch2 仮想スイッチ Mail-Relayであれば、この間の通信は仮 vmnic0 vmnic2 物理アダプタ 想サ−バの中だけで完結する。これから 1.1.1.1 1.1.2.1 IPアドレス 動作確認に挑戦してみようか。`2b/11 参考文献は「Software Design」2006/10, P.23〜37, "特集2:VMwareで挑戦!、VMwareを 使ってル−ティングを体験してみよう"。 1台のパソコンに複数の仮想マシンを立ち上げ、 その間で静的ル−ティングしようという記事である。今回購入した VMware vSphere でも 設定は通用するのだろう。らしい記事は34ペ−ジの "ル−タとして仮想マシンをカスタ マイズする" ところで、他のところの記事は仮想マシンを作るとかの話である。 * 2つの仮想マシンを作って Windows 2000 メ−ルがこの間でちゃんとやりとりでき ▲ ■ Windows XP,vSphere Client るかテストしてみる。閉じたネットワ− | | クで確認してみる。MRホストではとりあ ---|-|---------------------LAN は本当は えずDNSサ−バは動かさない。 MR の | | |LAN |INTERNALと書 sendmailはDNSを見ない設定に、とり | □ □ □ DMZ WAN2 WAN1 |かれている。 あえずしてみる。ここまで確認できたら | □ □ □ □ □ □ | DNSサ−バも設定してみるか。 ------|------|-------------FortiGate-80B | | << テスト環境 >> | | | | HP仮想サ−バの筐体 □MR 仮想IPアドレス ------|------|-------- |.1 | □1 □3 □ |物理ポ−ト ------------------- 1.1.3.0 | | | | | ■MR | ■MS ■MR |仮想マシン | |.1 ------------------------ Forti□----------- 1.1.2.0 vSwitch0 vSwitch2 仮想スイッチ Gate | ■MS ▲ ■ vmnic0 vmnic2 物理アダプタ | |.1 | | 1.1.1.1 1.1.2.1 IPアドレス ------------------------- 1.1.1.0 (4) HP仮想サ−バのUPS選定 * HPのマシンのUPSを選んでおく? HP社のUPSにするか。APCのUPSは VMware 用は高い。VMware用とは仮想OSそ れぞれにシャットダウンと起動制御ができるようにしている。 DL380 の入力電圧は 100V でも 200V でも構わない。切り替えスイッチとかもない。200Vの方がむしろ電気的には安 定している。電気の利用効率もいい、SI業者さんも 200V での運用を勧めてきた。 システム構成図には DL380 の BT859A モデルの消費電力約468W(100V時)、入力電流4.76A (100V)/2.38A(200V) と書かれている。カタログには電源ユニット最大入力電力 857Wとあ ある。筐体の電源を1つから取るなら 468W で計算する。DL380 とネットワ−ク機器2台 をUPSにつなぐとして。ネットワ−ク機器は例えば FirePass 12xx は約250W。 消費電力は VA = W/力率 で計算する。(468W+250W+250W)/0.7=968W/0.7=1382VA=約1.4kVA。 HPのUPS AF452A の出力容量は 2.4kVA で 1.4kVA を十分賄える。機器の最大消費電 力の合計がUPSの最大出力容量を超えないようにする。 パソコン 250W、ハブ 10W、ル −タ 20W ぐらいでだいたい算出する。因みに Sun V210 は消費電力 358VA/322W。 HPの100V用UPS AF452A、UPS R/T3000(100V)、2U。15万円+税。HPの 2010.10カ タログ P.144 から。2400VA/2250W、入力:NEMA L5-30P(100V)付2.6m、出力:NEMA 5-20Tx4 口、NEMA L5-30Rx1口、タワ−コンバ−ジョンキット付。出力はカタログには 5-20T と書 いてあるが 5-20R の間違いでないか。5-20 は変な形をしている、平行でなくT字だ。 UPSが来たらIPアドレスを付ける。前面のところが空いていて、バッテリのコネクタ をはめこみ、フロントパネルをはめる。これで電源スイッチを入れれば使える。バッテリ のコネクタをはめる際に火花が出るかと思ったけど何もなかった。UPSとの連動の確認 をすること。APC製の2Uの新品UPSは1時間位バッテリはもつみたい。 消費電力と電圧と電流の関係 : 単相:消費電力P(W)=VxAx力率(cosθ) 力率は0.7〜0.8で 一般的に計算する。 * HPのマシンのUPSを 200V で取る? `2a/10 基本のお話しを先ず、UPSは 200V で入ったのは 200V で出すのみ、 100V で出すこと はできない。200V 仕様の UPS および PDU は入出力とも 200V。PDU をかますと 200V を を 100V に変換できるとすごく有難いのだができない。それをやるのは変圧器。200Vの方 が電気の利用効率はよい、HPの資料にも 200V で運用を推奨すると書いてある。PDU と はパワ−ディストリブ−ションユニットで、いわゆる電源タップのこと。 200V の電源コネクタの形は NEMA L6-20 と NEMA L6-30 がある。20 は20アンペア、30 は30アンペア用である。UPSから電源につなぐコネクタの形状である。UPSと機器 をつなぐのは IEC320 C13-C14 か IEC320 C19-C20 電源ケ−ブルである。C13,C19 はメス (コンセント)、C14,C20 はオス(プラグ)。IEC320 C13-C14 は Apolloコンピュ−タで使っ ていたのである、特に 100V とか 200V とか意識したことはなかったが。 HPのサイト "HPマシン 導入する前のアドバイス"にて、HP ProLiant MLサ−バ−、DL サ−バ−のAC入力電圧の許容範囲は 100V-240V。 日本国内向けのサ−バ−には IEC320 C13-NEMA 5-15P 100V 仕様の電源ケ−ブルが添付されている。 200V 電源にサ−バ−を接 続するには IEC320 C13-C14 電源ケ−ブルが必要である。DL380 6コア製品はリダンダン トパワ−サプライが標準搭載されていて、200V 用電源コ−ドも入っている。 HPの 200V 用UPS、2010.10 の紙カタログ P.144 掲載。ラック型、製品番号 AF453A、 商品名 UPS R/T3000(200V)、15万円+税、3300VA/3000W、2U、タワ−コンバ−ジョンキ ット付。入力プラグ形状: NEMA L6-20P(200V)付約2.6m。出力プラグ形状:IEC C320 C13x6、 IEC C320 C19x2, NEMA L6-20Rx1。ホ−ムペ−ジの方には出力は NEMA L6-20Rx1, IEC 320 C13x9 となっている。どっちが当たり?。 サ−バル−ムの 200V 電源の口は L6-20 か L6-30 で、HPのマシンの電源コネクタはそ のままでは付かない。PDU を介して電源ケ−ブルを C13の口にしてマシンにつなぐ。HP カタログ 2010.10 の P.145 には PDU が17個ある、この中で使えるのは 3.3 万円+税 の 200V-24A 対応のモジュラ−型電源分配ユニットか。UPSを 200V 電源の L6-20P に つなぐ場合はUPSが C13 あるいは C19 の出力口を持っているので、そこに差せばいい。 サ−バル−ムの 200V 電源の口が L6-20 でなく L6-30 だったら。プラグの円の径が違う のでそもそも差せない。こういう場合は L6-30 から L6-20 を2個取る 200V テ−ブルタ ップとかがある、200V の 30A 線から 200V の 16A(15A) を2本とる、アメリカン電機製 3223NT-L6。以下紛らわしいの。125V用の MEMA L5-15 と MEMA 5-15 は形が違う。 L6-20, L6-30 と L5-15 はそっくり。C13-14 は C13-C14 のことで変に省略されている。 200V 用の装置が1台しかなくて 200V 用のUPSを入れるのはもったいない。後で 200V 用の装置を幾つか入れるのであればいいが。200Vでもいい既存の装置があるのか調べてみ ること。FirePass 12xx なんかは定格入力電流 100-240VAC という仕様で、200Vにつない でもOK。Sun V210 も Ultra45 もOK。AC100V-120V/200V-240V というのは切り替えス イッチで対応だろう、要確認のこと。HPのカタログに載っているのは 200V もOK。 サ−バル−ムへのマシンの設置は最近では 200V にすることが多いとのことである。これ まで漠然と 100V につないでいたが、今後は考えなければいけない。多分APCのUPS が 100V がほとんどで、UPSといえばAPCだったせいもあるかも。200Vのは結構お高 いのである。標準価格 462,105 円税込で、サイズは3Uしかない。Smart-UPS XL 3000VA 型番 USA3000RMXLA3U。どうやらHPのマシンにはHPのUPSで決まりということか。 (5) HP仮想サ−バのUPS設定 * 設定の方針 停電が起きてもすぐにUPSを止めないようにする。5分ぐらいは様子をみて、その間に 復電したら、そのままとする。復電した時、すぐにUPSが電気を供給し始めるのでなく、 2分してから供給するようにする。サ−バル−ムにあるたくさんのUPSが復電時に一斉 に電気を供給し始めないようにするため。多くの会社などでよく行なわれているとのこと。 UPSのこの設定を1分、2分、3分などとずらしておくという。電気の負荷が高まるの は各マシンや装置が起動し始めた時である。電気オンですぐ負荷が高まるのではない。 仮想マシンに入れる VMware Tools がUPSとの連動機能がある。REHL と REHL-cloneは VMware Tools を入れることができるので、 復電したらUPSと連動させて起動させるこ とができる。vDR にも VMware Tools が入っていた。 vSphere Client のメニュ−のサマ リのところを見ると、VMware Tools が入ってないと "VMware Tools 未インスト−ル" と なっている。Vcenter は本体と連動して起動、停止するようにしてくれた。本体を停止す る際には、Vcenter は特に止めなくてもいいし、停電から復電したら起動される。 仮想アプライアンスには VMware Tools を入れることができない、停電してUPSの電気 の供給が止まったら、それでいきなり落ちる。対象はここでは IWSVA。余裕があればコン ソ−ルから # shutdown -h now とやってシャットダウンさせておく。 仮想アプライアン スはいきなり止めても、あまり問題は起こらない気がする。TeraStation はUPSとは別 電源にした、連動させるソフトなんかそもそも無いので、いきなり落とすしかない。実際 には仮想アプライアンスはまた費用がかかるので、使わないということにしておく。 * UPSのタイミング設定 APCサイトのFAQの "PowerChute Network Shutdown 電源障害時のシャットダウンプ ロセス"、より。PNS: PowerChute Network Shutdown。 a,b,cはPNS制御による |-a-->|---b--->--c-->OSシャットダウン開始 Smart-UPS PNS | | 1500RM a:300sec | |UPSシャットダウン開始 □ □HP 停電 |---e------>---f---->--d---> |.19 |.11 Low-Battery 2分で h UPS出 -------------------- Duration 固定 |--->|----> 復電| 力開始 a:イベント遅延時間 300秒 b:コマンドファイル実行時間 0秒 c:10秒で固定 d:Shutdown Delay 0秒 ( e,fも停電時) h:Return Battery Capacity and Return Delay (復電時の遅延時間) * UPS本体の設定 http://192.168.1.19 でアクセス。 _______ Home | UPS | Logs | Administration ------ ------------------------------------------------------------------- | 〆No Alarm | |----------------------------------------------------------------------------| | [Overview] | Smart-UPS 1500RM: UPS | | Status |-----------------------------------------------------| | Control | 〆Online | | Configuration |-----------------------------------------------------| | power | Quick Status | | shutdown |-----------------------------------------------------| | general | Load in Watts Battery Capacity | | self-test schedule | 棒グラフ21.4% 棒グラフ100.0% | | Diagnostics | | | Scheduling | Input Voltage: 97.9VAC | | Sync Control | Output Voltage: 97.9VAC | | PowerChute | | | configuration | Runtime Remaining: 1 hour 1 minute | | clients | Last Battery Transfer: Due to software command or | | About | UPS's test control | ------------------------------------------------------------------------------ [Status] Load Power: 21.4 % Watts << 変動する。昼間の値で、夕方見たら Battery Voltage: 27.40 DVC 22.1% とかになっていた。Runtime Remaining も57分になっていた。 [Control] ◎Reboot UPS The UPS will turn off in approximatery 000 (Shutdown Delay) seconds. {h} Once off,the UPS will turn on in 120 (Return Delay) seconds. メモ:復電したらUPSから2分後に電気を供給し始める。 [Configuration]->[shutdown] Start of Shutdown {e} Low Battery Duration: [ 02 ▼] minutes << 02の次は05、ここ {d} Shutdown Delay: [000 ▼] seconds で変えたのは、す Maximum Required Delay: 2 minutes << ぐ下にも現われる。 Basic Signaling Shutdown 〆 Enable Duration of Shutdown Sleep Time: [0.0 ] hours End of Shutdown Minimum Battery Capacity: [00 ▼] {h} Return Delay: [120▼] seconds << この値は[Control] でも現われている。 [PowerChute]->[configuration] { PowerChute Shutdown Parameters } {f} Maximum Required Delay: ◎ 2 minutes ○ Force negotiation On-Battery Shutdown Behavior ◎ Restart when power is restored ○ Turn off and stay off Authentication Phrase: [ ] [PowerChute]->[clients] { PowerChute Network Shutdown Clients } 192.168.1.11 [ Add Client ] * ESX サ−バ本体に入れた PowerChute Network Shutdown ソフト https://192.168.1.11:6547 でアクセス。 [Configure Events] ------------------------------------------------------------------------------ | Events Log Notif Run shut Down | | Event Users Command System | |----------------------------------------------------------------------------| | Battery: Discharged 〆 ○ ○ ○ | | Battery: Disconnected 〆 ○ ○ ○ | | Battery: Recharged 〆 ○ ○ | | Battery: Reconnected 〆 ○ ○ | | Battery: Replaced 〆 ○ ○ | | Battery: Replacement Needed 〆 ○ ○ ○ | | Communication: Established 〆 ○ ○ | | Communication: Lost while on Battery 〆 ○ ○ ○ | | Communication: Management Card 〆 ○ ○ ○ | | cannot communicate with the UPS 〆 ○ ○ | | Communication: PowerChute cannot 〆 ○ ○ ○ | | communicate with the Management Card | | Input Power: Restored 〆 ○ ○ | | Runtime: Exceeded 〆 ○ ○ ○ | | Runtime: Normal Again 〆 ○ ○ | | SmartBoost: Activated 〆 ○ ○ | | SmartTrim: Activated 〆 ○ ○ | | UPS Overload: Corrected 〆 ○ ○ | | UPS: On Battery 〆 ○ ○ 〆 << {a}| | UPS: Overloaded 〆 ○ ○ ○ | ------------------------------------------------------------------------------ {a} の設定 Yes, I want to shut down the system. 〆 shutdown the system only when the event lasts [300] << イベント遅延時間。 this long(seconds): [Configure Shutdown] Send notification again this often(seconds): [0] Run this command file(full name): [ ] The command file needs this match time to [10 ] complete(seconds) 〆Turn off the UPS after the shutdown finishes UPS本体 SUA1500RMJ2UB、黒、電源プラグ6つあり。HPのマシンから電源コンセント を2つ差した、UPSは一番下のランプが付いている。UPS本体にネットワ−クカ−ド を装着した。UPS Network Management Card 2 AP9630。 APC製 SUA1500 は標準入力プ ラグで 1200VA/950W 出力、購入はこれ。20Aプラグにすれば 1500VA/980W になる。 * 問題発覚 HP仮想サ−バの本体をシャットダウンしたら、仮想マシンのシャットダウンが完了する 前に停止してしまった。最初UPSあるいはUPSの制御ソフトのパラメ−タの設定が悪 いため起こるのかと思った。いろいろ試したがUPSは関係ないことが分かった。UPS 本体のソフトにUPSのクライアントソフト。Low Battery Duration とか Return Delay とかパラメ−タを変えてやってみたが、状況は変わらなかった。RHELの仮想マシンを単独 でシャットダウンさせると最後に acpi_power_off called と出てくる、 これで正常に停 止できたということになる。動作の確認は RHEL の仮想マシンを起動してコンソ−ルをだ しておく。仮想サ−バ本体のシャットダウンをかけると、仮想マシンのシャットダウンが 始まって順々にスクリプトがでてくる。それが acpi_power_off calledが出るはるか以前 に仮想サ−バ本体が止まってしまう。仮想マシンに入れた VMware Tools との連携がうま くいってないのか。ひょっとすると vCenter の仮想マシンとか、VMware Tools が入って ない仮想マシンでも、ちゃんとシャットダウンできているのか心配になる。 ------------------------------------------------------------------------------------ [ 付録 ] いろいろかいろ ● クロ−ンを作った時の様子 * RHEL の akbou のクロ−ン red2 を作った 右クリック メニュ−の [クロ−ンの作成] 名前 デ−タストアの選択 [kasou_Datastore02] 1.95TB ソ−スと同じフォ−マット カスタマイズしない ※途中でキャンセルできるので、やってみること。 カスタマイズする だとIPアドレスなど通常の Linux を設定するのを聞いてくる。 すぐに red2 がでてきた。この時サマリをみたら空白だった。まだ起動はできない。 仮想マシンを作っている。他の仮想マシンのメニュ−も一時的に使えなくなっている。 画面下のところで作っていた。3分ぐらいでできた。 サマリをみたら Red Hat うんぬん、IPアドレスは無しだった。 < 起動してみた > | eth0 のIP情報を検出中 ... ここでしばらく止まっている。1分ちょっと。 root,xxx でログイン。/home/katou/TEST.txt あり。そのままコピ−されている。 * RHEL の system-config-network コマンドで {ネットワ−クの設定} という画面がでてくる。ここでデバイス、DNS、ホスト でイ− サネットの設定ができる。 [編集] をクリックして 〆コンピュ−タの起動時にデバイスを起動 固定のIPアドレス設定 192.168.1.14 255.255.255.0 192.168.1.1 □MTUの設定値:[0 ] □Set MRU to :[0 ] メニュ−の項目の [DNS] のところで akbou を red2 にした。 [起動] をクリックするとすぐに有効になる。 コンソ−ルで hostname とやったら red2 と出た。 red2 -> [電源]->[ゲストのシャットダウン]。そして [電源]->[パワ−オン]。 ネットワ −クの設定したのは残っていた。 ● RHEL の仮想マシンにて Windows XP パソコンに入れた vSphere Client で出した RHELの仮想マシンのコンソ−ル。 ----------------------------------- | 192.168.1.x 上の akbou |---------------------------------- | ■ ‖ > @ 〇 □ □ □ ◆ << これクリックすると下のようにでてくる。 |---------------------------------- ------------------------------------- | [CD/DVDドライブ1]->|G:に接続 | | |ロ−カルディスクのISOイメ−ジに接続| |ホストデバイスに接続 | |デ−タストア上のISOイメ−ジに接続 | ------------------------------------- [G:に接続] と [ホストデバイスに接続] はどこにつながったのか。[ロ−カルディスクの ISOイメ−ジに接続] はこのパソコンのディスク内のこと。[ホストデバイスに接続] をク リックすると小さな画面がでてくる。そこでホストデバイスの選択をするメニュ−が出る が [/dev/scd0 ] しか選ぶことはできない。 ● 実際の停電時の様子 ( 自分で書いていながらおかしいような気が ) ----------------------------- NASの電源入れてない状態にて、UPSのPC UPSの ○ ● | の絵のところは一番下だけランプがついている。 フロント ○ ○ ● | パネル ○ ● ● | ○ ○ ● | ● ● | △ □ | △PCの絵 □バッテリの絵 ----------------------------- 停電があって様子を見ていた。9時ちょうどに停電したとしようか。UPSからは音はし なかった。1時間して音がしだした。そしてその3分後にUPSからの電気の供給が止ま った。UPSのバッテリの絵のところのランプだが、停電前は下から4つ付いていた。復 電前は下から2つになっていた。停電を検知してHP仮想サ−バが止まって、復電して起 動してきた。そしたら止める前に動いていた仮想マシンが動いてなくて、止めてあるはず の仮想マシンが動いていた。どの仮想マシンを起動させるのか、VMware Toolsで設定する ところがあるのでないか。停電があったお陰で分かった。仮想サ−バ起動時に起動させる 仮想マシンの指示の設定は、インタ−ネットで調べれてちゃちゃっと試してみた。 [ソフトウェア]->[仮想マシン起動/シャットダウン]の[構成] ここから変更する ↓ 仮想マシンの起動およびシャットダウン プロパティ... -------------------------------------------------------------------------------- システムでの仮想マシンの開始と停止 有効 デフォルトの起動遅延時間 2分 デフォルトのシャットダウン遅延時間 10秒 起動準備 -------------------------------------------------------------------------------- 順序 仮想マシン 起動 起動遅延時間 シャットダウン シャットダウンの遅延時間 -------------------------------------------------------------------------------- 自動起動 1 ◇ Vcenter 有効 120秒 ゲストのシャットダウン 10秒 2 ◇ red1 有効 120秒 ゲストのシャットダウン 10秒 手動起動 ◇ VDR 無効 120秒 ゲストのシャットダウン 10秒 ◇ red2 無効 120秒 ゲストのシャットダウン 10秒 ◇ red3 無効 120秒 ゲストのシャットダウン 10秒 ● HP仮想サ−バの仮想マシンのDNSクライアントの名前解決の様子 `2f/10 * HP仮想サ−バの仮想マシンのネットワ−ク設定の操作 仮想マシンのIPアドレスを変えたり、デフォルトゲ−トウェイを変えたり、DNSサ− バの指定を変えたりする。 仮想マシンのコンソ−ルで # system-config-network やると 下記の画面が出てくる。仮想マシンをリブ−トしなくても直ちに変更になる。 -------------------------------------------------- {ホスト} は /etc/hosts ファ |ネットワ−クの設定 | イルをいじることになる。 |------------------------------------------------| |[新規] [編集] [コピ−] [起動] [停止] | {デバイス}で[編集] でインタ |------------------------------------------------| −フェ−ス eth0のIPアドレ |デバイス | ハ−ドウェア IPSec DNS ホスト | スを変える。 制御ファイルは | ---------------------------------------| /etc/sysconfig/network-scri |プロフ 状態 デバイス ニックネ−ム タイプ | pts/ifcfg-eth0 である。 |〆 起動中 eth0 eth0.bak Ethernet | |〆 起動中 eth0 eth0 Ethernet | << これを選んで作業。 -------------------------------------------------- ----------------------------------- | | 上の画面で[OK]を押したら、この画面 |---------------------------------| がでてくる。[はい]を押す。ただしまだ | ? system-config-network | 設定は完了してない。設定を反映するに | 変更を保存しますか? | は [ネットワ−クの設定] 画面で[停止] | | して [起動] する。画面でなくコマンド | [いいえ] [ はい ] | で #/etc/rc.d/init.d/network restart ----------------------------------- でも反映すると思う。やったこないけど。 * 仮想マシンの Linux の /etc/resolv.conf の挙動 HP仮想マシンの Red Hat Enterprise Linux 5 の /etc/resolv.conf は直接いじったら どうなるか。画面で設定するようになっているがどう関係しているのか。従来のUNIX は /etc/resolv.conf はエディタで編集するのが当り前というか、それしかできなかった。 仮想マシンのコンソ−ルで # system-config-network たたく。 この設定画面のメニュ− でDNSサ−バのIPアドレスを例えば 202.241.128.3 と記載して、 画面で反映する操 作をしたら /etc/resolv.conf に "nameserver 202.241.128.3" と書かれた。 vi で /etc/resolv.conf に書いたのは直ちに有効になった。 仮想マシンを起動し直した もそのままになっていた。# system-config-network の画面を見ると反映されていた。仮 想マシンを停止するのは VMware vSphere Client の [電源]->[ゲストのシャットダウン]。 /etc/resolv.confに書いたDNSサ−バのIPアドレスは上からみる。最初に書いたIP アドレスが動いてないマシンだと、次のDNSサ−バを見に行くのに6秒位かかった。最 初に書いたIPアドレスがマシンは動いているがDNSサ−バはないとすぐ次に行った。 /etc/resolv.conf ------------------------ |nameserver 192.168.1.99 << 自社内の動いてないマシン。 |nameserver 1.2.3.4 << プロバイダのDNSサ−バ。 # ping www.tcp-ip.or.jj [1] PING www.tcp-ip.or.jj (9.9.9.1) 56(84) bytes of data. [2] 64 bytes from yukiguni3.noc.tcp-net.ad.jj .... [3] 64 bytes from yukiguni3.noc.tcp-net.ad.jj .... [1] が出るまで6秒ぐらいかかった。 [2] 以降が出るのに更に6秒ぐらい。 * 仮想マシンの Linux の /etc/nsswitch.conf の挙動 /etc/nsswitch.conf こうなっていた。コンソ−ルで # ping www.asahi.com やったら ------------------ unknown host と出た。hosts エントリ他は表示を略した。 |hosts: files /etc/nsswitch.conf dns を追加したらすぐに有効になった。URLの名前解決できた。 ------------------ |hosts: files dns