2015年4月7日火曜日

Serverspec で公開鍵+ Passphrase で SSH ログインしてテストする方法

概要

サーバへのSSHログインが公開鍵+パスフレーズによる認証の場合にServerspecを実行する方法を紹介します

環境

  • CentOS release 6.6 (Final)
  • Serverspec 2.14.0

設定方法

spec_helper.rb の修正

以下の設定をspec_helper.rbに追記します

options[:keys] = ENV['KEY'];
options[:passphrase] = ENV['PASSPHRASE'];
options[:user] = ENV['USER'] || Etc.getlogin

環境変数「KEY」「PASSPHRASE」「USER」を実行時にセットできるようにします
追記した版のspec_helper.rbの全貌はこちら

require 'serverspec'
require 'net/ssh'

set :backend, :ssh

if ENV['ASK_SUDO_PASSWORD']
  begin
    require 'highline/import'
  rescue LoadError
    fail "highline is not available. Try installing it."
  end
  set :sudo_password, ask("Enter sudo password: ") { |q| q.echo = false }
else
  set :sudo_password, ENV['SUDO_PASSWORD']
end

host = ENV['TARGET_HOST']

options = Net::SSH::Config.for(host)

## for login key + passphrase configurations
options[:keys] = ENV['KEY'];
options[:passphrase] = ENV['PASSPHRASE'];
options[:user] = ENV['USER'] || Etc.getlogin
# options[:user] ||= Etc.getlogin

set :host,        options[:host_name] || host
set :ssh_options, options

実行方法

上記を記載したら実行します
実行方法は以下の通りです

rake spec:targetHost USER=hoge PASSPHRASE=fuga KEY=/opt/keys/hoge_login_key.pem

USERは指定しないと現在ログイン中のユーザで実行されます

最後に

今回は環境変数を使って実現していますが、例えばJSONファイルに設定を記載してそれを読み込むことでログインすることも可能だと思います

2015年4月6日月曜日

Graphviz を使って dot 言語で Server のインフラ構成を管理してみる

概要

Graphvizを使ってインフラ構成図をdotファイルで管理してみました
過去にRubyからGraphvizを使う方法を紹介しましたが、今回はGraphvizのみを使ってDotという言語でサーバの構成管理をしてみました

環境

  • CentOS release 6.6 (Final)
  • Graphviz (dot) 2.26.0

インストール

Graphvizのインストール

CentOSであればyumコマンドを使ってインストールすることが可能です

yum -y install graphviz

サンプルの動作確認

軽くサンプルの動作確認をしてみます

  • touch sample.dot
    以下の内容を記載します
digraph sample {
  LB -> server001;
  LB -> server002;
  server001 -> db001;
  server002 -> db001;
}

これをPNG形式の画像に変換してみます
dotというコマンドを使って画像を作成します

dot -T png sample.dot -o sample.png

「-T」オプションで出力する画像のタイプを指定します
「-o」オプションで出力先のファイル名を指定します

出力されたPNGファイルを確認すると以下のようになっていると思います
sample.png

これだけでも構成図っぽいですがもう少し拡張してみます

もう少し拡張してみる

サーバをroleごとに管理する

例えば今回の場合はserver001とserver002はいわゆるWebアプリケーションサーバだとします
「web」というロールを作成してそこにserver001と002を属するようにrole分けしてみます

sample.dotを以下のように拡張します

digraph sample {
  LB -> server001;
  LB -> server002;
  server001 -> db001;
  server002 -> db001;

  subgraph cluster_web {
    // node [style = filled];
    // style = filled;
    server001;
    server002;
    label = "web";
    color = blue;
  }
}

subgraphという命令を使います
ポイントはsubgraphの名称が「cluster」で始まらないと線が描画されない点です

好きな名前を使うと線が描画されない現象にハマるので注意しましょう

最低限記載したほうが良さそうなのは属性は「label」と「node名」かなと思います
「label」を指定すると囲った線内にラベルを表示してくれます
「node名」を指定すると指定したnode名を線で囲ってくれます
その他、レイアウトや色を指定するオプションがありますが、ここは自由に指定するといいと思います

この状態で出力される画像は以下の通りです
sample2.png

LISTENしているポートを記載する

例えばLBは80番でLISTENしていてサーバの8080に流すと言ったパターンは多くあると思います
今回はポート情報をノード内のテーブル構成を使って表現してみたいと思います

sample.dotを更に以下のように拡張します

digraph sample {
  node [shape = record];
  LB [label = "{ 80 | LB }"];
  server001 [label = "{ 8080 | server001 }"];
  server002 [label = "{ 8080 | server002 }"];

  LB -> server001;
  LB -> server002;
  server001 -> db001;
  server002 -> db001;

  subgraph cluster_web {
    // node [style = filled];
    // style = filled;
    server001;
    server002;
    label = "web";
    color = blue;
  }
}

ポイントは各種ノード情報にlabel属性を指定して表示をテーブル構造に変更する点です
テーブル構造を使うためにはnode [shape = record]を指定する必要があります
shapeにはrecord or Mrecordを指定することができます
Mrecordを指定すると若干角が丸まった図形を使用することができます

これで画像を作成するとnodeの上部にポート番号が表示され下部にリソース名が表示されるようになると思います
sample3.png

DBのサーバだけ図形のスタイル変更する

現在はすべての図形が同じ形の図形ですがDBサーバはわかりやすいように別の形にしたいということはあると思います
なので、DBサーバだけ別の形にしてみたいと思います

sample.dotを更に以下のように拡張します

digraph sample {
  node [shape = record];
  LB [label = "{ 80 | LB }"];
  server001 [label = "{ 8080 | server001 }"];
  server002 [label = "{ 8080 | server002 }"];
  db001 [shape = box3d];

  LB -> server001;
  LB -> server002;
  server001 -> db001;
  server002 -> db001;

  subgraph cluster_web {
    // node [style = filled];
    // style = filled;
    server001;
    server002;
    label = "web";
    color = blue;
  }
}

db001のnodeに対してshape属性を追加することで個別に形を変更することができます
今回は「box3d」を指定しました
他にもいろいろな図形を指定できるので、その他の形についてはこちらを御覧ください
これでDBサーバだけそれっぽい形に変更することができました
sample4.png

なぜこんなことをするのか

インフラ構成図を作成するときに自分がよく見るケースはパワポ等を使ってオートシェイプでポチポチ作成するケースです
パワポ等で作成するとインフラ構成に変更があった場合などに、いちいちパワポを開いて編集しなければならないとかいろいろと面倒です

今回はとりあえずDot言語で管理できるようにしてみました
これだけでもgit等のバージョン管理システムを使えるので大きなメリットだと思っています
ただ、結局Dotファイルを手動で変更していると作業工数的にはパワポでの作業とあまり変わらなくなってしまいます

なので自分が最終的にやりたいと思っているのは

  • インフラ構成の情報をクラウドAPIを使って取得して
  • その情報をDotファイルに落としこんで
  • 作成したDotファイルをJenkinsがビルドして画像を作成し
  • 作成した画像をクラウドストレージにアップロードして
  • ブラウザ上で閲覧できるようにする
  • というJenkinsのジョブを毎日回す

ということが最終的にできればと思っています
これができればクラウド上に動的にサーバが作成されても何も編集することなく新しいサーバ構成図を作成し確認することができます
クラウドストレージにアップロードするのは、アップロードすること自体が目的ではなく、サーバ構成図をURIでアクセスできるようにするのが目的です

最後に

いかがでしたでしょうか
もちろん、この方法がインフラ構成の管理方法として完全な正解ではないと思っています
もっと効率的かつ簡易に管理する方法はあると思っています

ただ「Infrastructure as Code」という言葉があるように少なくともコードで管理することは重要だと思っています
もちろん Chef や Puppet のコードがすでに見える化されているならばこんなことはする必要ないと思いますし、二重管理にもなるのでやること自体微妙かと思います

それでも Chef や Puppet はあくまでもサーバの設定自体をコード化するツールかなと思っているのでインフラ構成自体を見える化するにはやはり別のツールや手法が必要なのかなと思っています
(もしかしたら Chef のレシピからサーバ構成図を作成するツールがすでにあったりするかもしれないですが)

2015年4月2日木曜日

Intel x86 の高速 Android エミュレータでスクリーンショットが取得できない

概要

Android のエミュレータを高速にする方法としてIntel x86のCPUをエミューレートする方法が有名ですが、高速エミュレータを使っていてスクリーンショットが取得できない現象に遭遇しました
これまではわざわざARM CPUを使ったエミュレータを別途作成して、それを起動した上でスクリーンショットを取得していたのですが高速エミュレータ上でもうまく取得できるようになったので紹介します

環境

  • Mac OS X 10.10.2
  • Eclipse Luna 4.4.1
  • Android ADT extentions 3.5.1
  • Android-SDK 24.1.2
  • Android 5.1 (API 22)

ポイント

高速エミュレータを動作させるための設定

エミュレータを作成する際にCPUにIntel x86のCPUを選択することはもちろんですが「Use Host GPU」のチェックボックスもONにすると思います
これをONにしないとエミュレータを起動してもずっと黒い画面から進まない状態になるからです(自分はそうなるので「Use Host GPU」をONにしています)

高速エミュレータとして設定したAVDの設定はだいたい以下のようになっていると思います
config_highspeed_emu.png

Use Host GPU をONにしていてもスクリーンショットを取得できるようにするには

これも動作したときの自分の状況ですがポイントはTargetで指定しているAPIのバージョンかなと思います
動作しないときは 4.4 や 5.0 の API Level を選択していたのですが 5.1 が Android SDK Manager からダウンロードできるようになり、それを設定してからはスクリーンショットが取得できるようになりました

なので今回の結果としては
Android SDK Manager で Android 5.1 (API 22) にアップデートする
というのが回答になります

Tips

実はこの問題は公式?でも2013年くらいから議論されています

2015年3月に入って進捗があったようでここでもアップデートしたら動作したという回答があるようです

バージョンや環境に依存する問題なのでアップデートしても動作しない可能性はありますが、とりあえず自分が「環境」の部分に記載したバージョンやマシンの組み合わせであれば動作したので紹介しました

2015年4月1日水曜日

CentOS 6.6 に yum コマンドで MongoDB をインストール

概要

過去にアーカイブ版をダウンロードしてインストール方法を紹介しました
MongoDBの最新版がyumでインストールできるみたいなのでインストールしてみました

環境

  • CentOS release 6.6 (Final)
  • MongoDB 3.0.1

インストール方法

まずmongodbが提供するリポジトリを追加します

touch /etc/yum.repos.d/mongodb-org-3.0.repo

作成した/etc/yum.repos.d/mongodb-org-3.0.repoに以下を記載します

[mongodb-org-3.0]
name=MongoDB Repository
baseurl=http://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/3.0/x86_64/
gpgcheck=0
enabled=1

これでyumインストールできるようになったのでインストールします
一旦yum clean allしておくといいかもしれません

yum clean all
yum install -y mongodb-org

正常に終了すればインストール完了です

動作確認

起動してみましょう
yumインストールしているのでserviceコマンドから起動できます

service mongod start

接続してみます
デフォルトのポート27017で接続します

mongo

接続が完了するとmongo用のプロンプトになります
DBを確認

> show databases
local  0.078GB

あとは普通にクエリを発行していけばOKです

Tips

  • 過去バージョンの2.6をインストールする場合はrepositoryを追加する際に以下のように記載します
[mongodb-org-2.6]
name=MongoDB 2.6 Repository
baseurl=http://downloads-distro.mongodb.org/repo/redhat/os/x86_64/
gpgcheck=0
enabled=1
  • 今回のyumコマンドでインストールされた主なパッケージは以下の通り
    • mongodb-org-server-3.0.1-1.el6.x86_64
    • mongodb-org-3.0.1-1.el6.x86_64
    • mongodb-org-tools-3.0.1-1.el6.x86_64
    • mongodb-org-shell-3.0.1-1.el6.x86_64
    • mongodb-org-mongos-3.0.1-1.el6.x86_64

2015年3月31日火曜日

Cygwin 上に jq をインストールする方法

概要

jqはコマンドラインで簡単にJSONを整形することができるツールです
Cygwin上でも動作させることができたのでインストール方法を紹介します

環境

  • Windows 7 64bit
  • Cygwin 1.7.32
  • jq 1.4

インストール方法

Cygwin環境下で以下のコマンドを実行すればOKです

cd /usr/bin && wget http://stedolan.github.io/jq/download/win64/jq.exe

P.S 20150928
URLが変わっていました

cd /usr/bin && wget https://github.com/stedolan/jq/releases/download/jq-1.5/jq-win64.exe
mv jq-win64.exe jq.exe
chmod 755 jq.exe

バージョンを確認します

  • jq -V
jq-1.4

使い方

使い方は簡単
基本はパイプに食わせる感じです

echo '{"key":"value"}' | jq '.'

例えばJSON形式で取得できるREST-APIみたいなのがあったら

curl 'https://mb.api.cloud.nifty.com/' 2> /dev/null | jq '.'

とすることで

{
  "code": "E404002",
  "error": "None service."
}

こんな感じで取得できます

改行コードを変更したい場合はsedと組み合わせると好きな改行コードで出力できます

curl 'https://mb.api.cloud.nifty.com/' 2> /dev/null | jq '.' | nkf -Lu

自分はemacsユーザなのですがemacsと組み合わせると以下のようなこともできるようです
これは便利です

あとはわからないことがあれば公式を読めばOKかと思います

2015年3月27日金曜日

CentOS に Go 言語をインストールして boom で負荷テストをやってみた

概要

boomはGo言語で書かれた負荷かけツールです
ApacheBench(ab)と同じ感覚で使えます
abだとHTTP Methodを指定して実行できなかったのでboomを使ってPOST Methodのテストを実施してみました

環境

  • CentOS 6.6 64bit
  • go 1.4.2
  • boom (revison:372ea3b0e6cb084657d1db7eacccdfae929af5b9)

Goのインストール

以下はすべてrootで作業しています

cd /var/tmp
wget https://storage.googleapis.com/golang/go1.4.2.linux-amd64.tar.gz
tar zvxf go1.4.2.linux-amd64.tar.gz
mv go /usr/local/
mkdir /root/gocode
echo "export PATH=$PATH:/usr/local/go/bin" >> ~/.bashrc
echo "export GOPATH=/root/gocode" >> ~/.bashrc
source ~/.bashrc

boomのインストール

go get github.com/rakyll/boom

で完了、簡単

テストしてみる

./gocode/bin/boom -n 10000 -c 100 -m POST 'http://localhost/'

「-n」送信する全リクエストの数
「-c」はその全リクエストをはいくつの同時並列で実行されるか
(なので-cを増やしても全リクエスト数は変わりません)
「-m」でHTTP Methodを指定できます

結果は以下のような感じ

10000 / 10000 Boooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo! 100.00 %

Summary:
  Total:        1.6549 secs.
  Slowest:      0.0373 secs.
  Fastest:      0.0053 secs.
  Average:      0.0164 secs.
  Requests/sec: 6042.6406
  Total Data Received:  2730000 bytes.
  Response Size per Request:    273 bytes.

Status code distribution:
  [404] 10000 responses

Response time histogram:
  0.005 [1]     |
  0.008 [32]    |
  0.012 [10]    |
  0.015 [5098]  |????????????????????????????????????????
  0.018 [1387]  |??????????
  0.021 [2715]  |?????????????????????
  0.024 [702]   |?????
  0.028 [31]    |
  0.031 [7]     |
  0.034 [0]     |
  0.037 [17]    |

Latency distribution:
  10% in 0.0131 secs.
  25% in 0.0138 secs.
  50% in 0.0148 secs.
  75% in 0.0197 secs.
  90% in 0.0210 secs.
  95% in 0.0217 secs.
  99% in 0.0230 secs.

ヒストグラムでレスポンスタイムの分布を出してくれるのが見やすくてGood

最後に

abの2.4.10以降だとboom同様に「-m」オプションでMethod指定ができるみたいなんですが
Apacheの2.4.12をソースインストールしてみたらabのバージョンだけ2.4.9だったのでboomを使った次第です
結果的にはabより良いツールだということがわかったので今後はboomを使ってみたいと思います

2015年3月26日木曜日

mosquitto / lib / util_mosq.c の mosquitto_topic_matches_sub の Java 実装を作ってみました

概要

mosquittoで実装されているACLのチェック機構がC言語で実装されていたのでJavaで書きなおしてみました
ソースファイル全体ではなくACLをチェックする一部のメソッドだけ書きなおしています

環境

  • mosquitto 1.4
  • Java 1.8.0_25

ソースコード

package test;

public class Test {

    public static void main(String[] args) {
        Test t = new Test();
        String acl, topic;
        acl = "aaa"; topic = "aaa"; // -> true
        System.out.println(t.checkMatchingACLWithTopic(acl, topic));
        acl = "#"; topic = "test"; // -> true
        System.out.println(t.checkMatchingACLWithTopic(acl, topic));
        acl = "+/aaa"; topic = "aaa/aaa"; // -> true
        System.out.println(t.checkMatchingACLWithTopic(acl, topic));
        acl = ""; topic = "test"; // -> false
        System.out.println(t.checkMatchingACLWithTopic(acl, topic));
        acl = "test"; topic = "test2"; // -> false
        System.out.println(t.checkMatchingACLWithTopic(acl, topic));
        acl = "+"; topic = "test"; // -> true
        System.out.println(t.checkMatchingACLWithTopic(acl, topic));
        acl = "a/+/c"; topic = "a/b/c"; // -> true
        System.out.println(t.checkMatchingACLWithTopic(acl, topic));
        acl = "a/+/+"; topic = "a/b"; // -> false
        System.out.println(t.checkMatchingACLWithTopic(acl, topic));
    }

    /**
    * ACL とアクセスしたいトピックがマッチするかチェックする
    * これは mosquitto/lib/util_mosq.c の mosquitto_topic_matches_sub を Java に 書き換えたものである
    *
    * @param sub トピックに対するユーザのACL情報
    * @param topic アクセスしたいトピック
    * @return trueならばACLの中にアクセスしたトピックのパターンが含まれている
    */
    public boolean checkMatchingACLWithTopic(String sub, String topic) {
        int slen, tlen;
        int spos, tpos;
        boolean multiLevelWildCard = false;

        if (sub == null && topic == null) {
            return false;
        }
        slen = sub.length();
        tlen = topic.length();
        if (slen >= 0 && tlen >= 0) {
            if ((sub.startsWith("$") && !topic.startsWith("$")) || (!sub.startsWith("$") && topic.startsWith("$"))) {
                // $始まりだった場合
                return false;
            }
        }
        spos = 0;
        tpos = 0;
        // sub, topic ともに全文字列をチェックする
        while (spos < slen && tpos < tlen) {
            if(sub.charAt(spos) == topic.charAt(tpos)) {
                if (tpos == tlen -1) {
                    if (spos == slen - 3 && sub.charAt(spos + 1) == '/' && sub.charAt(spos + 2) == '#') {
                        // # で 終わる sub だから true を返却
                        return true;
                    }
                }
                spos++;
                tpos++;
                if (spos == slen && tpos == tlen) {
                    // お互い最後の文字だった場合
                    return true;
                } else if (tpos == tlen && spos == slen - 1 && sub.charAt(spos) == '+') {
                    // topic が最後の文字で sub もあと2文字で今の文字が「+」だった場合
                    return true;
                }
            } else {
                if (sub.charAt(spos) == '+') {
                    spos++;
                    // sub が「+」の場合
                    while (tpos < tlen && topic.charAt(tpos) != '/') {
                        // 次の / 移行の topic に移動する(ACLで + なのでその階層はなんでも許可するため)
                        tpos++;
                    }
                    // 移動した結果どちらも最終文字だった場合
                    if (tpos == tlen && spos == slen) {
                        return true;
                    }
                } else if (sub.charAt(spos) == '#') {
                    // sub が「#」ワイルドカードの場合
                    multiLevelWildCard = true;
                    if (spos + 1 != slen) {
                        // sub が最後から1文字目でない場合(要するに # のあとに何かを指定しちゃっている場合)
                        return false;
                    } else {
                        // # のあとに何も指定していない場合はすべてを許可する
                        return true;
                    }
                } else {
                    // それ以外の文字の場合はマッチしない
                    return false;
                }
            }
        }
        // 最終的に # が使われていないかつ sub または topic の文字列が最後まで達していない場合
        if (multiLevelWildCard == false && (tpos < tlen || spos < slen)) {
            return false;
        }
        // 該当がない場合はエラーにする
        return false;
    }

}

一応CとJavaで同じテストを実施して同じ結果になることは確認しています
mosquittoでは更にこれをコールしている上位のメソッドがあってこのメソッドの返り値を見て更に ACC という値と比較して Topic へのアクセス可否を判断していました