Job ArrangerからESXiの仮想ホスト自動起動

Zabbixから死活監視をして仮想ホストが死んでいる場合、仮想ホストを起動しなければならないです。起動方法はvSphereにログインしてホストを起動するか？ESXiにssh接続して起動するか？など人の手を借りて解決します。
どうすればrun boot見たいに自動でホストを起動するかを考えたところ登場したものがJobArrangerでありましたので、その起動方法を紹介して見ます。
JobArrangerはCで作られているのでLinux環境ではよいと思います。

１．ESXiにJob Arranger Agentをインストール

ESXiにはrpmコマンドがないのでrpmインストールができませんので他のLinuxサーバーからjobarranger-agentd-3.2.0-1.el6.x86_64.rpmをDownloadして
rpm2cpio jobarranger-agentd-3.2.0-1.el6.x86_64.rpm | cpio -idv
コマンドで解凍します。
解凍したらフォルダetc, usr, varを一つに纏めてzipファイルを作ります。
ESXiサーバの/vmfs/volumes/datastore1/　下にjobフォルダを作成します。
作成したjobフォルダにzipファイルを入れ解凍します。

参考１：ESXiサーバは再起動しても/vmfs/volumes/datastore*の下は変わりませんので自由に使います。
参考２：jobフォルダはご自由に変更してもかまいません。

２．jobarg_agentd.confファイルの修正

解凍したzipファイルからjobarg_agentd.confを修正します。
僕の場合は
/vmfs/volumes/datastore1/job/etc/jobarrangerにありますのでこれを修正します。
vi jobarg_agentd.conf

Hostname=esxi6
JaExtjobPath=/vmfs/volumes/datastore1/job/etc/jobarranger/extendedjob
TmpDir=/vmfs/volumes/datastore1/job/var/lib/jobarranger/tmp
JaLogFile=/vmfs/volumes/datastore1/job/var/log/jobarranger/jobarg_agentd.log
JaPidFile=/vmfs/volumes/datastore1/job/var/run/jobarranger/jobarg_agentd.pid
JaDatabaseFile=/vmfs/volumes/datastore1/job/var/lib/jobarranger/jobarg_agentd.db
JaExtjobPath=/vmfs/volumes/datastore1/job/etc/jobarranger/extendedjob

の部分を環境に合わせて修正します。
僕と同じパスならばそのまま使ってください。
HostnameはZabbixへ登録する名を入れてください。

３．jobarg_start.sh作成

cd /vmfs/volumes/datastore1/job
ここから作業します。
vi jobarg_start.sh

##JOB ARRANGER START SHELL

JOB_EXE=/vmfs/volumes/datastore1/job/usr/sbin/jobarg_agentd

JOB_CNF=/vmfs/volumes/datastore1/job/etc/jobarranger/jobarg_agentd.conf

cd `dirname $0`

./jobarg_stop.sh

${JOB_EXE} -c ${JOB_CNF}

exit $?

僕の場合は簡単に書きました。

重複チェックよりは必ずreboot感じで作成しました。

４．jobarg_stop.sh作成

vi jobarg_stop.sh

cd `dirname $0`

JOB_PROCESSES=`ps -Tcjstv | grep jobarg_agentd.conf | grep -v grep | awk '{ print $1 }'`

for i in  $JOB_PROCESSES
do
  echo $i
  kill -9 $i
done
exit $?

僕の場合は簡単に書きました。
皆さんは環境に合わせて書いてください。

５．実行権限

chmod 700 jobarg_start.sh jobarg_stop.sh

6. job arranger 実行

./jobarg_start.sh
で実行します。

７．Process確認

https://naiggy.blogspot.jp/2017/04/esxi.html
で紹介したように確認お願いいたします。

[root@localhost:~] ps -Tcjstv | grep job
35227  35227  jobarg_agentd                  35227  User,Native    WAIT    UWAIT   0,1       0.26419   /vmfs/volumes/datastore1/job/usr/sbin/jobarg_agentd -c /vmfs/volumes/datastore1/job/etc/jobarranger/jobarg_agentd.conf
35282  35282  jobarg_agentd                  35282  User,Native    WAIT    USLP    0,1       2.359539  /vmfs/volumes/datastore1/job/usr/sbin/jobarg_agentd -c /vmfs/volumes/datastore1/job/etc/jobarranger/jobarg_agentd.conf
35283  35283  jobarg_agentd                  35283  User,Native    WAIT    KTCP    0,1       0.691     /vmfs/volumes/datastore1/job/usr/sbin/jobarg_agentd -c /vmfs/volumes/datastore1/job/etc/jobarranger/jobarg_agentd.conf
35818  35818  grep                           35818  User,Native    WAIT    UPIPER  0,1       0.0       grep job
[root@localhost:~]

起動はできました。

８．esxi ファイアウォールを開けます

https://naiggy.blogspot.jp/2017/04/esxi_22.html
参照ください。

９．Zabbixへホスト登録

Zabbix　GUIからESXiのホストを登録します。
僕の場合はホスト名はesxi6になります。
Zabbixへactionを登録します。
actionの起動scriptは
https://naiggy.blogspot.jp/2017/04/job-arrangerifjobargexec.html
をご参照ください。

10．JobNetへ登録します

ジョブの登録の実行欄に
test1のホストを実行するコマンドです。
RUN_HOST=`vim-cmd vmsvc/getallvms | grep test1 | awk '{ print $1 }'`
vim-cmd vmsvc/power.on ${RUN_HOST}

このジョブが実行されると自動でtest1のホストがパワーオンになります。

結論

ZabbixのTemplate Virt VMware Guest: Power stateアイテムと組み合わせで自動でホストを起動することができます。
反対にホストを停止することもできますので
これを見てご自由に使用してください。

ESXiをrebootするとJob Arrangerが自動起動にならないので
vi /etc/rc.local.d/local.sh
/vmfs/volumes/datastore1/job/jobarg_start.sh
を追記するとESXiをrebootしても自動にjob arrangerが起動されます。


以上です。

esxi ファイアウォール 設定

ESXiへ新しいアプリのPortを開けるのはvSphereではできません。
ESXiのサーバーにssh接続してから作業しなければならないです。

ESXi 6.5から作業をします。
今回はJob Arrangerの穴を開けて見ます。
ファイアウォールのリストを確認します。
[root@localhost:~] esxcli network firewall ruleset list
Name                      Enabled
------------------------  -------
sshServer                    true
sshClient                   false
nfsClient                   false
nfs41Client                 false
dhcp                         true
dns                          true
snmp                         true
ntpClient                   false
CIMHttpServer                true
CIMHttpsServer               true
CIMSLP                       true
iSCSI                       false
vpxHeartbeats                true
updateManager                true
faultTolerance               true
webAccess                    true
vMotion                      true
vSphereClient                true
activeDirectoryAll          false
NFC                          true
HBR                          true
ftpClient                   false
httpClient                  false
gdbserver                   false
DVFilter                    false
DHCPv6                      false
DVSSync                      true
syslog                      false
IKED                        false
WOL                          true
vSPC                        false
remoteSerialPort            false
vprobeServer                false
rdt                          true
cmmds                        true
vsanvp                       true
rabbitmqproxy                true
ipfam                       false
vvold                       false
iofiltervp                  false
esxupdate                   false
vit                         false
vsanhealth-multicasttest    false
[root@localhost:~]

Enabledの意味は登録はされていますがtrueは穴が開けている、falseは開けてないことです。
見た感じだとjobarrangerがないため登録して見ます。
１．対象になるファイルのバックアップ
cp /etc/vmware/firewall/service.xml /etc/vmware/firewall/service.xml.bak

２．権限変更
chmod 644 /etc/vmware/firewall/service.xml
chmod +t /etc/vmware/firewall/service.xml

３．service.xmlファイルに登録
最後の部分</ConfigRoot>の上に

  <!-- Job Arranger -->
   <service id='0042'>
        <id>jobarranger</id>
        <rule id='0000'>
           <direction>inbound</direction>
           <protocol>tcp</protocol>
           <porttype>dst</porttype>
           <port>10055</port>
        </rule>
        <rule id='0001'>
           <direction>outbound</direction>
           <protocol>tcp</protocol>
           <porttype>dst</porttype>
           <port>10061</port>
        </rule>
        <enabled>true</enabled>
        <required>true</required>
     </service>
貼り付けます。
内容を説明すると
service idはuniqueになります。最後の番後の１つ上の番号を書きます。
idは表示される名前です。(例：jobarranger)
rule idはこれから使用するルールを書きます。
　　　　このルールとはinboundするかoutboundするかを書きます。
　　　　inboundとoutboundを利用するならrule idが2個になるし、色々Portを使用するならrule idが複数になります。でも、uniqueな番号を使ってください。。
directionはinboundかoutboundを使ってください。
protocolはtcpかudpかを書きます。
porttypeはdstです。
portは開くportを書きます。
enabledは追加する内容ですのでtrueをします。
requiredは追加する内容ですのでtrueをします。

４．権限戻し
chmod 444 /etc/vmware/firewall/service.xml

５．firewall再起動
esxcli network firewall refresh

６．確認
[root@localhost:~] esxcli network firewall ruleset list
Name                      Enabled
------------------------  -------
sshServer                    true
sshClient                   false
nfsClient                   false
nfs41Client                 false
dhcp                         true
dns                          true
snmp                         true
ntpClient                   false
CIMHttpServer                true
CIMHttpsServer               true
CIMSLP                       true
iSCSI                       false
vpxHeartbeats                true
updateManager                true
faultTolerance               true
webAccess                    true
vMotion                      true
vSphereClient                true
activeDirectoryAll          false
NFC                          true
HBR                          true
ftpClient                   false
httpClient                  false
gdbserver                   false
DVFilter                    false
DHCPv6                      false
DVSSync                      true
syslog                      false
IKED                        false
WOL                          true
vSPC                        false
remoteSerialPort            false
vprobeServer                false
rdt                          true
cmmds                        true
vsanvp                       true
rabbitmqproxy                true
ipfam                       false
vvold                       false
iofiltervp                  false
esxupdate                   false
vit                         false
vsanhealth-multicasttest    false
jobarranger                  true
[root@localhost:~]
赤い部分が追加されていることがわかります。

７．ESXiの再起動の対応
ファイアウォールはESXiを再起動すると最初のところに戻りますのでいつでも開けられるように設定します。
/etc/rc.local.d/local.sh　ファイルへ追記します。
最後のexit 0の上の部分
vi /etc/rc.local.d/local.sh
#Job Arranger START
cp /etc/vmware/firewall/service.xml /etc/vmware/firewall/service.xml.bak
chmod 644 /etc/vmware/firewall/service.xml
chmod +t /etc/vmware/firewall/service.xml
sed -i -e 's/<\/ConfigRoot>//g' /etc/vmware/firewall/service.xml
cat<<_EOT_>>/etc/vmware/firewall/service.xml
  <!-- Job Arranger -->
     <service id='0042'>
        <id>jobarranger</id>
        <rule id='0000'>
           <direction>inbound</direction>
           <protocol>tcp</protocol>
           <porttype>dst</porttype>
           <port>10055</port>
        </rule>
        <rule id='0001'>
           <direction>outbound</direction>
           <protocol>tcp</protocol>
           <porttype>dst</porttype>
           <port>10061</port>
        </rule>
        <enabled>true</enabled>
        <required>true</required>
     </service>
</ConfigRoot>
_EOT_
chmod 444 /etc/vmware/firewall/service.xml
esxcli network firewall refresh
##Job Arranger END

これで再起動対策は完了になります。
Job ArrangerをESXiにインストールして見ましょう。
http://naiggy.blogspot.com/2017/04/job-arrangeresxi.html
ご参考ください。

以上です。

Linux Disk拡張作成

本書はCentOS7を基準にします。
Disk追加に関しては
https://naiggy.blogspot.com/search/label/Disk%20Add%20jp
書いています。
拡張の意味はVolume groupを拡張することです。

拡張手順は

１．vSphere ClientからDisk追加からDiskを拡張

前回書いたDisk追加をご参考ください。

/mntを拡張します。

２．OSからDisk拡張

fdisk -lから確認します。

fdisk /dev/sdcコマンドを利用してパーティションを追加します。
コマンド (m でヘルプ): n   (nはnewの意味です)
Select (default p): p　(pはprimaryの意味です)
コマンド (m でヘルプ): w  (wはwriteの意味です)

##Physical volumeを生成します。

[root@test1 ~]# pvcreate /dev/sdc1 

  Physical volume "/dev/sdc1" successfully created.

##既存のVolume groupを拡張します。

[root@test1 ~]# vgextend  VgPark /dev/sdc1

  Volume group "VgPark" successfully extended

##logical volumeを拡張します。

[root@test1 ~]# lvextend -l +100%FREE /dev/VgPark/LvPark 

  Size of logical volume VgPark/LvPark changed from 2.00 GiB (511 extents) to 3.99 GiB (1022 extents).

  Logical volume VgPark/LvPark successfully resized.

[root@test1 ~]# xfs_growfs /dev/VgPark/LvPark 

meta-data=/dev/mapper/VgPark-LvPark isize=512    agcount=4, agsize=130816 blks

         =                       sectsz=512   attr=2, projid32bit=1

         =                       crc=1        finobt=0 spinodes=0

data     =                       bsize=4096   blocks=523264, imaxpct=25

         =                       sunit=0      swidth=0 blks

naming   =version 2              bsize=4096   ascii-ci=0 ftype=1

log      =internal               bsize=4096   blocks=2560, version=2

         =                       sectsz=512   sunit=0 blks, lazy-count=1

realtime =none                   extsz=4096   blocks=0, rtextents=0

data blocks changed from 523264 to 1046528

[root@test1 ~]# 

３．確認

df -hで確認します。

ESXiにてプロセス確認

ESXiにてプロセスを確認するために、psコマンドを利用して確認をします。しかし、Optionがわからなくどうすればよく情報を取れるか気になったことがあります。
今日はPSコマンドで情報を取る方法を紹介します。

ps コマンドをを見ると
[root@localhost:~] ps --help
ps
    -C           Display only cartels
    -P           Display PCID
    -T           Display used time
    -c           Display verbose command line
    -g           Display session ID and process group
    -i           Display summary information
    -j           Display GID
    -n           Display nChildren (only with --tree)
    -N           Display nThreads  (only with --tree)
    -s           Display state
    -t           Display type
    -u           Display only userworlds
    -U [N]       Display [only] userspace ID
    -v           Display non truncated values
    -Z           Display the security domain
    -z           Display zombie cartels
    -J or --tree Display userworlds in a tree layout
[root@localhost:~]
になります。

そこを組み合わせして
ps -Tcjstvコマンドを実行すると色んな情報が見えます。
例えば　sshdの実行プロセスのPIDを調査して見ます。
[root@localhost:~] ps -Tcjstv | grep sshd
35745  35745  sshd                           35745  User,Native    WAIT    UPOL    0,1       0.117159  sshd -i
36172  36172  grep                           36172  User,Native    WAIT    UPIPER  0,1       0.0       grep sshd
[root@localhost:~]

ここでProcessをkillするとプロセスがなくなります。
kill -9 35745して見ては。。

これをいつ使うかはghettoVCBを利用するときにたまに、ゾンビになりますので
そのときに使うと便利です。

以上です。

ESXiのHOST強制停止

一般的にESXiのHOST強制停止するなら電源パワーオフを考えていますが重い処理、または外部ファイルをLinkなどがある場合は電源パワーオフがちょっと時間がかかります。または電源パワーオフしても電源パワーオフができない場合があります。

なぜか、時間がかかるかわからないですが一気に停止する方法があのでそれを紹介します。

ESXiにsshで接続します。

[root@localhost:~] esxcli vm process list
test1
   World ID: 35331
   Process ID: 0
   VMX Cartel ID: 35330
   UUID: 56 4d 11 5a 33 05 74 09-42 1e e2 b4 81 2a b6 05
   Display Name: test1
   Config File: /vmfs/volumes/58c6a2fd-43824507-ea95-000c2968d936/test1/test1.vmx

test2
   World ID: 36062
   Process ID: 0
   VMX Cartel ID: 36061
   UUID: 56 4d 28 49 b1 5d 09 1f-ba 63 3e 7c 73 87 1f c6
   Display Name: test2
   Config File: /vmfs/volumes/58c6a2fd-43824507-ea95-000c2968d936/test2/test2.vmx
[root@localhost:~]

動作中の仮想ホストのリストが表示されます。
強制停止したホストのWorld IDを利用して停止します。
[root@localhost:~] esxcli vm process kill --type=force --world-id=35331
[root@localhost:~] esxcli vm process list
test2
   World ID: 36062
   Process ID: 0
   VMX Cartel ID: 36061
   UUID: 56 4d 28 49 b1 5d 09 1f-ba 63 3e 7c 73 87 1f c6
   Display Name: test2
   Config File: /vmfs/volumes/58c6a2fd-43824507-ea95-000c2968d936/test2/test2.vmx
[root@localhost:~]
コマンドはesxcli vm process kill --type=force --world-id=35331を発行しました。
typeにはsoft,hard,forceありますが僕の場合はforce を利用しています。
world-idにはlistで見えた数字を入れます。
そうすると一気に停止することがわかると思います。

以上です。

Linux Disk追加作成

本書はCentOS7を基準にします。
ESXiのCentOSからDiskを拡張ではなく新しくDiskを追加したい時どうすればよいか判らない場合があります。Diskを拡張することはDiskをresizeしてボリュームを大きくすることです。Disk追加はDiskを新しく入れることです。Windowsで話をするとD:を追加することになります。Diksを追加作業をする場合自分がやっている作業が正しいか正しくないか迷う場合があります。
その悩みを一気に解消するためにエビデンスを見せながらDisk追加作業を説明します。
それでは始まります。

１．vSphere ClientからDisk追加

下記のように動作します。

新規ディスクを作成します。

もし、既存のDiskがある場合を既存のディスクを選択した

それのパスを選択します。既存のディスクは今度

Oracle RAC構成の記事で書くつもりです。

 新規作成ですのでシックプロビジョニングを選択します。

仮想デバイス　ノードには　SCSI(1:0)を選択します。

今回は拡張ではなくディスク追加ですので既存のデバイスと分けるためです。

他には同じのものを選択します。

これでDisk追加準備は完了です。

Diskサイズにより生成時間がかかります。 vSphereしたにある

最近のテスクにあるステータスを参考ください。

それが100%になるまでお待ちください。

２．OSからDisk追加作業

dfコマンドと

fdisk -l コマンドで　現状の状態を確認しました。

ここまではまだDiskを追加(１．番)をしてない状態。

ここからはDiskを追加になります。

表示されているところが新しく追加した内容になります。

これをパーティションが追加します。

①パーティションが追加

[root@test1 ~]# fdisk /dev/sdb

Welcome to fdisk (util-linux 2.23.2).

Changes will remain in memory only, until you decide to write them.

Be careful before using the write command.

Device does not contain a recognized partition table

Building a new DOS disklabel with disk identifier 0x999fb263.

コマンド (m でヘルプ): n  

Partition type:

   p   primary (0 primary, 0 extended, 4 free)

   e   extended

Select (default p): p

パーティション番号 (1-4, default 1): 1

最初 sector (2048-20971519, 初期値 2048): 2048

Last sector, +sectors or +size{K,M,G} (2048-20971519, 初期値 20971519): 20971519

Partition 1 of type Linux and of size 10 GiB is set

コマンド (m でヘルプ): w

パーティションテーブルは変更されました！

ioctl() を呼び出してパーティションテーブルを再読込みします。

ディスクを同期しています。

[root@test1 ~]# 

確認画面です。

表示されているところが新しく追加したパーティションです。

 ②物理ボリュームの作成

[root@test1 ~]# pvcreate /dev/sdb1

  Physical volume "/dev/sdb1" successfully created.

[root@test1 ~]# 

③ボリュームグループを作成する

[root@test1 ~]# vgcreate VgPark /dev/sdb1

  Volume group "VgPark" successfully created

[root@test1 ~]# 

④Logical Volume 作成

[root@test1 ~]# lvcreate -n LvPark -l 100%FREE VgPark

  Logical volume "LvPark" created.

[root@test1 ~]# 

確認

[root@test1 ~]# lvdisplay

  --- Logical volume ---

  LV Path                /dev/VgPark/LvPark

  LV Name                LvPark

  VG Name                VgPark

  LV UUID                L4Jmqt-JrLW-ae1Y-1UpD-6EHV-pGjm-zk0czh

  LV Write Access        read/write

  LV Creation host, time test1, 2017-04-06 21:41:03 +0900

  LV Status              available

  # open                 0

  LV Size                10.00 GiB

  Current LE             2559

  Segments               1

  Allocation             inherit

  Read ahead sectors     auto

  - currently set to     8192

  Block device           253:2

   

  --- Logical volume ---

  LV Path                /dev/cl/swap

  LV Name                swap

  VG Name                cl

  LV UUID                v2D5GC-oEVG-Hp4n-VrQN-CWKg-Jexv-he33ep

  LV Write Access        read/write

  LV Creation host, time localhost.localdomain, 2017-03-13 22:58:45 +0900

  LV Status              available

  # open                 2

  LV Size                1.00 GiB

  Current LE             256

  Segments               1

  Allocation             inherit

  Read ahead sectors     auto

  - currently set to     8192

  Block device           253:1

   

  --- Logical volume ---

  LV Path                /dev/cl/root

  LV Name                root

  VG Name                cl

  LV UUID                2MLMGn-myim-eAVy-mgMf-s9iG-21Mt-RvaG25

  LV Write Access        read/write

  LV Creation host, time localhost.localdomain, 2017-03-13 22:58:46 +0900

  LV Status              available

  # open                 1

  LV Size                8.00 GiB

  Current LE             2047

  Segments               1

  Allocation             inherit

  Read ahead sectors     auto

  - currently set to     8192

  Block device           253:0

   

[root@test1 ~]# 

 ⑤Disk Format

[root@test1 ~]# mkfs.xfs /dev/VgPark/LvPark
meta-data=/dev/VgPark/LvPark     isize=512    agcount=4, agsize=655104 blks
         =                       sectsz=512   attr=2, projid32bit=1
         =                       crc=1        finobt=0, sparse=0
data     =                       bsize=4096   blocks=2620416, imaxpct=25
         =                       sunit=0      swidth=0 blks
naming   =version 2              bsize=4096   ascii-ci=0 ftype=1
log      =internal log           bsize=4096   blocks=2560, version=2
         =                       sectsz=512   sunit=0 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0
[root@test1 ~]#

⑥Disk Mount

[root@test1 ~]# mount /dev/VgPark/LvPark /mnt

確認

これでDisk追加は完了です。

しかし、rebootした場合はmountがなくなりますのでfstabファイルを編集します。

⑦fstabファイル編集

最後の部分に追記します。

[root@test1 ~]# vi /etc/fstab 

/dev/mapper/VgPark-LvPark /mnt                   xfs     defaults        0 0

新しく追加したDiskをdfコマンドから見える/dev/mapper/VgPark-LvPark /mnt をそのまま書きます。

Disk追加は以上です。

Zabbix ESXi監視

Zabbix Serverにて、vSphere APIを利用してESXiを監視します。
CentOS7, Zabbix 3.0を基準にします。

これを監視して見ます。

１．zabbix_server.confファイルを修正

vi /etc/zabbix/zabbix_server.conf
StartVMwareCollectors=1 ##1以上にします。

zabbix 再起動
# systemctl restart zabbix-server

２．監視対象のホストの登録

Zabbix　WEB ページから

設定　→　ホスト　→　右上にあるホストの作成ボタンをクリックします。

ホスト名にはESXiのポスト名以外を入れます。

IPアドレスにはESXiがインストールされているIPを書きます。

3．監視対象のホストにマクロ登録

ホスト登録画面からマクロタブをクリックします。

{$USERNAME}にはESXiログインするときのユーザーを書きます。

{$PASSWORD} には{$USERNAME}のパスワードを書きます。

{$URL}にはhttps://ESXiのホストIP/sdkを書きます。

４．template追加

ホスト登録画面からテンプレートをクリックします。

選択からTemplate Virt VMwareを選択します。

ほかのものを選択しないでくたさい。

もし、Template Virt VMware, Template Virt VMware Guest, Template Virt VMware Hypervisorを全部入れた場合はエラーになります。

Unknown hypervisor uuid.と言うエラーはTemplate Virt VMware Guest, Template Virt VMware Hypervisor両方選択によるエラーです。

Template Virt VMware Guest, Template Virt VMware Hypervisorから削除してください。

作成したホストには必ずTemplate Virt VMwareだけ選択してください。

完了画面

以上です。