2013年3月26日火曜日

ZabbixでMongoDBを監視する

表題の通りZabbixでMongoDBを監視してみようと思います。 環境
  • Zabbix Server
    • CentOS release 6.2 (Final)
    • zabbix-server 1.8.16-1.el6.JP.x86_64
    • mikoomi mongodb plugin (Rev 78)
  • MongoDB & Zabbix Agent
    • CentOS release 6.3 (Final)
    • MongoDB 2.2.1

はじめに

今回は、mikoomiさんに作っていただいたMongoDB Zabbixテンプレートを使います。
仕組みとしては、zabbixのextentionにMongoDBドライバをつかったPHPのスクリプトを置き、PHPのスクリプトがMongoDBに接続して、各種ステータスをクエリでとってきて、zabbixに渡すというもの（zabbix-agentは使いません）。 これにより、時系列でのクエリ件数やらいろんな統計情報が取得できます。

[処理シーケンス]
Zabbix --> Zabbixテンプレート --> PHPスクリプト --> MongoDB-PHPドライバ --> MongoDB

手順

基本的にmikoomiさんブログ通り進めていきます。 ZabbixとMongoDBのインストールは割愛します。

MongoDB-PHPドライバのインストール

まず、必要なライブラリをyumでインストール。 
# yum install php-devel php-pear gcc make
次に、Mongo-phpドラインをインストール 
# pecl install mongo
最後に/etc/php.iniに以下の行を追加。 
extension=mongo.so
MongoDB-PHPドライバの稼働確認には以下のスクリプトを書いて、phpで実行し、成功するかどうかを確認すればＯＫです。 
<?php
new MongoClient("mongodb://server:27017");
?>

Zabbix-MongoDB監視テンプレートのインストール

まず、mikoomiさんの作ったphpとshをzabbixのexternalscriptsに置きます（私がとったときはＳＶＮのリビジョンは78でした。） そして、実行権限を与えます。 
# cd /etc/zabbix/externalscripts/
# wget http://mikoomi.googlecode.com/svn/plugins/MongoDB%20Plugin/mikoomi-mongodb-plugin.php
# wget http://mikoomi.googlecode.com/svn/plugins/MongoDB%20Plugin/mikoomi-mongodb-plugin.sh
# chmod 755 mikoomi-mongodb-plugin.*
# chwon zabbix:zabbix mikoomi-mongodb-plugin.*
次に、このZabbixテンプレートのXMLをダウンロードして、zabbixのテンプレートに追加します。これで完了です。

MongoDBのサーバをZabbixAgentとして登録

まず、Zabbixのホストを追加して、「リンクしているテンプレート」に「Template_MongoDB」を選択します。
次に、これが唯一のハマりどころ（※）ですが、「マクロ」のところに、以下の二つの値を定義します。
  • マクロ　＝　"{$SERVER}"　,　値　＝　MongoDBのサーバのIPアドレス
  • マクロ　＝　"{$PORT}"　,　値　＝　MongoDBのポート番号

これで以下の図のようにMongoDBの各種統計情報がとれていると思います。


※）ハマりどころについて

mikoomiさんのブログには{$MONGODB_HOSTNAME}、{$MONGODB_PORT}、{$MONGODB_ZABBIX_NAME}の３つの値をマクロにセットしろと書いてあるんですが、これだとうまくいきません。phpやshにうまく引数が渡りません。
テンプレートのXMLをみると 
item type="10" key="mikoomi-mongodb-plugin.sh[-h {$SERVER} -p {$PORT} -z {HOSTNAME}]" value_type="3"
と書いてあるので、ここに合わせて{$SERVER}と{$PORT}を定義したところうまく動きました。
投稿者 時刻: 2:04 0 コメント

2013年1月5日土曜日

git pushでThe requested URL returned error: 403

githubにpushしようとしたところ、以下のエラーがでた。 
The requested URL returned error: 403
これはgitのプロトコルをsshではなくhttpでクローンしたため、pushすることができなかった。sshでクローンしたら問題なくできた。

こんな単純なことで結構はまってしまいましたので、情報共有まで。
投稿者 時刻: 22:40 0 コメント

2012年11月23日金曜日

逆引きKVM(Kernel-based Virtual Machine)

この記事はKVM(Kernel-based Virtual Machine)の逆引きTipsです。 CentOS 6.3のKVMを基にしています。

最小構成のCentOS 6.3 64bitにKVMをインストール

CentOS 6.3 64bitを最小構成でインストールする
SELinuxを切る 
# setenforce 0
# vi /etc/sysconfig/selinux
---
SELINUX=disabled
---
Firewallを切る 
# /etc/init.d/iptables stop
# chkconfig iptables off
ネットワークインターフェースをブリッジにする 
# vi /etc/sysconfig/network-scripts/ifcfg-eth0
---
DEVICE=eth0
ONBOOT=yes
BRIDGE=br0
---

# vi /etc/sysconfig/network-scripts/ifcfg-br0
---
DEVICE=br0
ONBOOT=yes
TYPE=Bridge
IPADDR=192.168.1.2
NETMASK=255.255.255.0
GATEWAY=192.168.1.1
---

# /etc/init.d/network restart
# ifconfig eth0 0.0.0.0 promisc up
kvmをyumで入れる 
# yum -y groupinstall "Virtualization" "Virtualization Client" "Virtualization Platform" "Virtualization Tools" "X Window System"
virt-manager用に日本語fontを入れる 
# yum -y install "vlgothic-p-fonts"
mDNS クライアントの作成失敗のエラー回避のためavahiを入れる 
# yum -y install avahi
# /etc/init.d/messagebus restart
# /etc/init.d/avahi-daemon restart
# chkconfig messagebus on
# chkconfig avahi-daemon on
# /etc/init.d/libvirtd start
libvirtdの起動 
# /etc/init.d/libvirtd start
# chkconfig libvirtd on

WindowsからGUI(virt-manager)でKVMを管理する

Linux付属の仮想マシンマネージャ(virt-manager)を利用します。
sshのX11 Forwadingという機能で、仮想マシンマネージャのX Windowをローカルに転送します。
手順
  • X11サーバをクライアントに入れます (xmingがお勧め)
  • X11サーバを起動します
  • sshクライアントで、X11のフォワーディングを有効にする
    • puttyならば「メニュー」→「接続」→「SSH」→「X11」→「X11フォワーディングを有効にする」をチェック
    • teratermならば「設定」→「SSH転送」→「リモートの(X)アプリケーションをローカルのXサーバに表示する」をチェックして、設定を保存。再度teratermを立ち上げる必要あり。
  • その状態で sshでKVMホストにログイン
  • ログインしたら「virt-manager」とコマンドを打てば、仮想マシンマネージャが起動します。 
# virt-manager

MacからGUI(virt-manager)でKVMを管理する

Linux付属の仮想マシンマネージャ(virt-manager)を利用します。
sshのX11 Forwadingという機能で、仮想マシンマネージャのX Windowをローカルに転送します。
手順
KVMにssh。その際X11を飛ばすためにオプション -Xをつける 
# ssh -X root@(KVMホスト)
virt-magagerを起動すると、Macに画面だけ飛んできます。 
# virt-manager
注意
仮想マシンのコンソールにアクセスしたときに alt＋ctrlが効かなくてマウスを出せなくなるので、
ユーザのホームディレクトリに .Xmodmapを作成して、下の設定する必要があります
# vi ~/.Xmodmap
---
clear Mod1
keycode 66 = Alt_L
keycode 69 = Alt_R
add Mod1 = Alt_L
add Mod1 = Alt_R
---

コンソールからvirshでKVMを管理する

コンソールでKVMを管理する場合、Linux付属のvirshコマンドを使います

起動中の仮想マシン一覧表示

# virsh list

全ての仮想マシン一覧表示

# virsh list --all

仮想マシンの情報

# virsh dominfo (仮想マシン名)

仮想マシンの起動

# virsh start (仮想マシン名)

仮想マシンの停止

# virsh shutdown (仮想マシン名)

仮想マシンの強制停止（電源OFF)

# virsh destroy (仮想マシン名)

仮想マシンの一時停止

# virsh suspend (仮想マシン名)

仮想マシンの一時停止の再開

# virsh resume (仮想マシン名)

仮想マシンの保存(メモリをファイルに書き出す)

# virsh save (仮想マシン名) (保存ファイル名)

保存した仮想マシンの復元(ファイルからメモリに戻す)

# virsh restore (保存ファイル名)

仮想マシンの構成変更(メモリ量変更など)

  1. 仮想マシン停止
  2. /etc/libvirt/qemu/(仮想マシン名).xml を変更
  3. 変更を反映
    # virsh define /etc/libvirt/qemu/(仮想マシン名).xml
  4. 起動

仮想マシンのコンソールログインする設定

以下の設定を入れる これをすると、ホストOSからvirsh consoleで接続できるようになる。
grubの設定ファイル変更(CentOS 5系＆6系共に実施が必要) 
# vi /etc/grub.conf
---
serial --speed=115200 --unit=0 --word=8 --parity=no --stop=1 # この行を追加
terminal --timeout=5 serial console # この行を追加
title CentOS (2.6.18-128.4.1.el5)
       root (hd0,0)
       kernel /vmlinuz (中略) console=ttyS0,115200n8 # console以降を追加
       initrd /initrd-2.6.18-128.4.1.el5.img
---
コンソール端末を作成 (CentOS 5 系のみで必要)
# vi /etc/inittab
---
S0:12345:respawn:/sbin/agetty ttyS0 115200 # この行を追加
1:2345:respawn:/sbin/mingetty tty1
---
コンソールからrootでログインできるようにする。(CentOS 5 系のみで必要)
# vi /etc/securetty
---
ttyS0 #追記
---

仮想マシンのコンソールに接続

# virsh console (ドメイン名)
※ 抜ける場合はctrl + ]

仮想マシンを起動＆そのままコンソール接続

# virsh start (ドメイン名) --console

KVMの運用

仮想マシンのバックアップ

基本的には、以下の二つのファイルをバックアップしておけばOK
  • 仮想マシン設定ファイル
    • /etc/libvirt/qemu/(仮想マシン名).xml
  • 仮想ディスクイメージファイル
    • 上記設定ファイルにイメージファイルの場所は書いてあります
    • 通常は /var/lib/libvirt/images/(仮想マシン名).img

仮想マシンのバックアップからのリストア

  • 仮想ディスクイメージファイルを適切な場所(設定ファイルあるパス)に置く
    • 通常は /var/lib/libvirt/images/(仮想マシン名).img
  • 仮想マシン設定ファイルを適切な場所に置く
    • 通常は /etc/libvirt/qemu/(仮想マシン名).xml
  • 以下のコマンドで仮想マシン設定ファイルの読み込み
# virsh define (仮想マシン設定ファイル)

バックアップスクリプト

rubyのバックアップスクリプト作ったので、もしよかったら使ってください→ コチラ

VMWareの仮想ディスクマシンをKVM用に変換

vmwareの仮想ディスクイメージ(vmdk)をkvmに変換するときは以下のコマンドを打つ。 
qemu-img convert (vmdkファイル) -O raw (kvmイメージファイル)

KVMのトラブルシューティング(CentOS6系)

mDNS クライアントの作成に失敗

/var/log/libvirt/libvirtd.logのエラーメッセージ
2012-07-17 15:47:49.240+0000: 15548: info : libvirt version: 0.9.10,
package: 21.el6_3.1 (CentOS BuildSystem <[http://bugs.centos.org>,]
2012-07-03-16:15:49, c6b8.bsys.dev.centos.org)
2012-07-17 15:47:49.240+0000: 15548: error : virNetServerMDNSStart:460
: 内部エラー mDNS クライアントの作成に失敗しました: Daemon not running
対応
# yum -y install avahi
# /etc/init.d/messagebus restart
# /etc/init.d/avahi-daemon restart
# /etc/init.d/libvirtd restart
# chkconfig messagebus on
# chkconfig avahi-daemon on
# chkconfig libvirtd on
参考

virt-managerの日本語fontが表示されない

fontが足りていない
対応
# yum install "vlgothic-p-fonts"

適切なエミュレーターを見つけられない

/var/log/libvirt/libvirtd.logのエラー
2012-07-24 01:43:07.595+0000: 2126: error : qemuCapsExtractVersion:1566 : 内部エラー x86_64 の適切なエミュレーターを見つけられません
対応
# ln -s /usr/libexec/qemu-kvm /usr/bin/qemu-system-x86_64
# /etc/init.d/libvirtd restart

KVMのカーネルモジュールが読み込まれない

KVM を利用できません。これは KVM パッケージがインストールされていない。また
は、KVM のカーネルモジュール (kvm.ko) が読み込まれていないことを意味します。
QEMU が使われるので動作が遅くなるでしょう。

warning: KVM is not available. This may mean the KVM package is not installed, or the KVM kernel modules are not loaded. Your virtual machines my perform poorly
一時的な対応はカーネルモジュールの読み込めばOK
# modprobe kvm
# modprobe kvm-intel
再起動後も設定を継続させる場合は、 /etc/rc.d/rc.sysinitに以下を記載
modprobe kvm
modprobe kvm-intel

仮想マシンがKVMの内部のネットワークから外に出れない。

仮想マインのインターフェースがプロミスきゃすになっていない
対応
# ifconfig eth0 0.0.0.0 promisc up
投稿者 時刻: 15:16 0 コメント

2012年11月20日火曜日

Rubyでバッチを書きやすくするフレームワーク作りました

私はよくRubyでバックアップやディレクトリ同期等のバッチスクリプトを書くのですが、
ログ出力とか設定ファイル読み込みとか勝手にやってくれるものがほしかったので、作りました。

コチラです→RBatch:Ruby-baseバッチスクリプトフレームワーク
投稿者 時刻: 9:00 0 コメント

MongoDB設定値全解説を書きました

githubにMongoDBの設定値の日本語解説がなかったので書きました。

コチラです→MongoDB設定値全解説

こちらは丸の内MongoDB勉強会で発表したものです。こちらもよろしく。

投稿者 時刻: 8:51 0 コメント

2012年10月20日土曜日

Ruby CGI + Oauth2 (facebook) Web Application Sample

facebookのOAuth2を使って、RubyのCGIウェブアプリケーションを認可するサンプルです。

Preparation

  • Ruby CGI environment
    • For example, Apache 2.2 and ruby 1.8.7
  • facebook application ID and secret ID

Sequence

 

Code

login.rb

#!/usr/local/bin/ruby
require "cgi"

client_id    = "xxxxxxxx"  # set your facebook application client_id
redirect_uri = CGI.escape("http://myapp.com/top.rb") # set your application url

#
# 2. Redirect
#
url = "https://graph.facebook.com/oauth/authorize?" +
  "response_type=code&" +
  "client_id=#{client_id}&" +
  "redirect_uri=#{redirect_uri}"
cgi = CGI.new
print cgi.header({ 'status' => 'REDIRECT', 'Location' => url })

top.rb

#!/usr/local/bin/ruby
require 'rubygems'
require 'json'
require 'cgi'

client_id     = "xxxxxx"  # set your facebook application client_id
client_secret = "xxxxxx"  # set your facebook application client_secret
redirect_uri  = CGI.escape("http://myapp.com/top.rb")  # set your application url


#
# 5. Access Token Request
#
code = CGI.new()["code"]
url = "/oauth/access_token?" +
  "client_id=#{client_id}&" +
  "client_secret=#{client_secret}&" +
  "redirect_uri=#{redirect_uri}&"+
  "code=#{code}"

# start ssl
require 'net/https'
https = Net::HTTP.new('graph.facebook.com',443)
https.use_ssl = true
https.verify_mode = OpenSSL::SSL::VERIFY_NONE

access_token=""
https.start {
  response = https.get(url)
  # perse string such as  "access_token=AAAsZCLvBgZDZD&expires=4992995"
  response.body.split("&").each do |param|
    access_token = param.split("=")[1] if param.split("=")[0] == "access_token"
  end
}

#
# 7. Request User Information Using Access Token
#
json=""
url = "/me?access_token=#{access_token}"
https.start {
  json = https.get(url).body
}

#
# 9. User Infomation Page
#
name = JSON.parse(json)["name"]
print "Content-Type: text/html\n\nHello #{name}\n<hr>\n#{json}\n"
投稿者 時刻: 12:18 1 コメント

2012年9月21日金曜日

KVM Disk Images Backup Script with "ruby-libvirt"

ruby-libvirtを使ってKVMのディスクイメージをcpやscpでバックアップするスクリプトです。

Test Enviroment
  • CentOS release 6.3 (Final)
  • ruby 1.9.3p194 (2012-04-20) [x86_64-linux]
  • ruby-libvirt (0.4.0)
Script 

#
# KVM Disk Image Backup Script
#
#                fetaro@gmail.com
#
# usage : $ ruby kvmbackup.rb (domain-name)
#
# 1. Get Disk image paths from domain-xml
# 2. Susupend domain if running
# 3. Backup Disk image to BACKUP_DIR with BACKUP_CMD (cp or scp)
# 4. Resume domain if suspended
#
require 'libvirt'

BACKUP_CMD="scp"
#BACKUP_CMD="cp"
BACKUP_DIR="host:/path/to/backup/dir"
#BACKUP_DIR="/path/to/backup/dir"

if ARGV[0].nil?
  STDERR.puts "There is no argument"
  exit 1
end

domain=ARGV[0]
conn = Libvirt::open("qemu:///system")
dom = conn.lookup_domain_by_name(domain)

# get disk image path
img_paths = []
require "rexml/document"
xml = REXML::Document.new(dom.xml_desc)
xml.elements.to_a("domain/devices/disk").each do |disk|
  if disk.attributes["device"] == "disk"
    img_paths << disk.elements["source"].attributes["file"]
  end
end

return_code = 0
begin
  if dom.state[0] == 1 # domain is running
    puts "suspend #{domain}"
    dom.suspend
  end

  img_paths.each do |img_path|
    cmd = "#{BACKUP_CMD} #{img_path} #{BACKUP_DIR}"
    puts cmd
    system cmd
    if($? != 0) then
      STDERR.puts "fail to #{cmd}"
      return_code=1
    end
  end
rescue => e
  p e
  return_code = 1
ensure
  if dom.state[0] == 3 # domain is paused
    puts "resume #{domain}"
    dom.resume
  end
end

exit return_code
投稿者 時刻: 1:24 0 コメント
登録: 投稿 (Atom)