ラベル Redis の投稿を表示しています。 すべての投稿を表示
ラベル Redis の投稿を表示しています。 すべての投稿を表示

2015年11月19日木曜日

Redis でバイナリファイルを保存する方法

概要

Redis で PNG 画像のようなバイナリファイルを保存する方法を紹介します
今回は特にプログラムから保存するのではなく、redis-cli を使ってやってみます

環境

  • Mac OS X 10.10.5
  • Redis 3.0.2

バイナリデータの保存

  • redis-cli -x HSET some_key image_binary <image.png

画像データを保存しています
HSET を使って保存しており some_key という key の image_binary というフィールドの値として画像を保存しています
画像情報はパスやファイル名を指定するのではなく、ファイルをリダイレクトで入力してあげます
-x を使うことで最後のパラメータを標準入力から受け取ることができるようになります

バイナリデータの取得

  • redis-cli --raw HGET some_key image_binary > image_new.png

取得する場合は HGET で key とフィールド名を指定します
オプションに --raw を指定する必要があります
これを指定することでマルチバイト文字 (バイナリ) を扱えるようになります
あとは結果を画像ファイルにリダイレクトしてあげれば OK です

取得した画像がちゃんと表示されるかプレビュー等で確認するといいと思います

参考サイト

2015年8月13日木曜日

Redis Cluster にスレーブノードを追加する方法

概要

前回 までに Redis Cluster を構築し SLOTS についても触れました
今回はノードの追加に関して触れていこうと思います
特に今回は Redis Cluster + Master -Slave 構成を取る方法を例に紹介します

環境

  • Mac OS X 10.10.4
  • Redis 3.0.2

環境構築

環境構築に関しては前回の記事を参考にしてください
Redis Cluster 内に Master が3台ある状態でスタートしたいと思います

追加するノードを準備する

Redis 3.0 以上が動作するノードが準備できればOKです
今回は同一マシン上にノードを追加しますが、もちろんマシンを1台追加して、そこで Redis を動作させてもOKです

まず追加するノードを管理するディレクトリを作成しましょう

cd work/redis-cluster
mkdir 7003
cp /usr/local/etc/redis.conf.default 7003/redis.conf
vim 7003/redis.conf

以下の部分を書き換えます

  • port 7003
  • appendonly yes
  • cluster-enabled yes
  • cluster-config-file nodes-7003.conf
  • cluster-node-timeout 5000

設定ファイルが作成できたら redis を起動しましょう

redis-server work/redis-cluster/7003/redis.conf

もちろんですが、まだ起動しただけでは Redis Cluster には追加されていません
CLUSTER NODESコマンドなどを実行して確認してみると、まだ存在していないのがわかると思います
また、1台なので cluster status も fail になっている思います

作成したノードを追加する

現状は Master ノードが 3 台いる状態で本当であれば、あと 2 台ノードを追加して各 Master ノードに対して Slave ノードを追加したいところですが、今回はとりあえず 1 台の Slave ノードを追加します

追加にはredis-trib.rbを使います
実行するコマンドは以下の通りです

./redis-3.0.3/src/redis-trib.rb add-node --slave 127.0.0.1:7003 127.0.0.1:7000

コマンドの説明です
まず、今回は Slave ノードとして追加したいため add-node コマンドのオプションとして--slaveオプションを使います
–slave オプションの直後に Slave として追加したいノードを指定します
なので今回は127.0.0.1:7003が追加したいノードになります
次の引数ですが、これは Master として動作している既存のノードを指定します
127.0.0.1:7000はすでに Master ノードとして Redis Cluster 内で動作しています
この Master ノードに対する Slave ノードとして Redis Cluster に追加するコマンドになります

では、実際に実行してみましょう

>>> Adding node 127.0.0.1:7003 to cluster 127.0.0.1:7000
Connecting to node 127.0.0.1:7000: OK
Connecting to node 127.0.0.1:7002: OK
Connecting to node 127.0.0.1:7001: OK
>>> Performing Cluster Check (using node 127.0.0.1:7000)
M: dc1e153c61deb8e932327bbdd81edac4c9ce8ba6 127.0.0.1:7000
   slots:0-5460,5741 (5462 slots) master
   0 additional replica(s)
M: cb7a9481f21521dda296de4fefbf11937d9de153 127.0.0.1:7002
   slots:10923-16383 (5461 slots) master
   0 additional replica(s)
M: cf0bbf4043129b3022eff0dc385530d7c6d9f527 127.0.0.1:7001
   slots:5461-5740,5742-10922 (5461 slots) master
   0 additional replica(s)
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
Automatically selected master 127.0.0.1:7000
Connecting to node 127.0.0.1:7003: OK
>>> Send CLUSTER MEET to node 127.0.0.1:7003 to make it join the cluster.
Waiting for the cluster to join....
>>> Configure node as replica of 127.0.0.1:7000.
[OK] New node added correctly.

上記は正常に追加された場合のログになります
追加されたCLUSTER NODESで確認してみましょう

127.0.0.1:7003> cluster nodes
cf0bbf4043129b3022eff0dc385530d7c6d9f527 127.0.0.1:7001 master - 0 1439368898457 2 connected 5461-5740 5742-10922
dc1e153c61deb8e932327bbdd81edac4c9ce8ba6 127.0.0.1:7000 master - 0 1439368899488 1 connected 0-5460 5741
e8915b149eab015c0e23ec9818e6e6251115e6b0 127.0.0.1:7003 myself,slave dc1e153c61deb8e932327bbdd81edac4c9ce8ba6 0 0 0 connected
cb7a9481f21521dda296de4fefbf11937d9de153 127.0.0.1:7002 master - 0 1439368897435 3 connected 10923-16383

7003 のノードが 7000 の slave として登録されていることがわかると思います
myself, slave の後に記載されているランダムな文字列が node-id
でここに記載されている node-id に対する slave ノードだということを表しています

Failover を試してみる

試しに 7000 のノードをダウンさせてちゃんと 7003 が master に昇格するか確認してみましょう

7000 のノードをダウンさせると 7003 のログに以下のようなログが出ると思います

1443:S 12 Aug 17:46:19.933 * MASTER <-> SLAVE sync started
1443:S 12 Aug 17:46:19.934 # Error condition on socket for SYNC: Connection refused

ある程度の時間 Master ノードとの通信ができないと Failover が発生します
おそらく cluster-node-timeout で指定した時間 Master ノードから応答がないと Failover させる感じだと思います
Failover が発生すると以下のようなログが流れます

1443:S 12 Aug 17:46:20.448 # Starting a failover election for epoch 4.
1443:S 12 Aug 17:46:20.457 # Failover election won: I'm the new master.
1443:S 12 Aug 17:46:20.457 # configEpoch set to 4 after successful failover
1443:M 12 Aug 17:46:20.457 * Discarding previously cached master state.
1443:M 12 Aug 17:46:20.457 # Cluster state changed: ok

Redis Cluster のステータス自体も ok になっていることがわかると思います
この状態でCLUSTER NODESを見てみると
ダウンした 7000 ノードが fail になっていることがわかります

再度 7000 ノードの redis をスタートしてみましょう
すると、7000 番のノードが自動的に 7003 番の Slave ノードとして登録されることが確認できると思います

127.0.0.1:7003> cluster nodes
cf0bbf4043129b3022eff0dc385530d7c6d9f527 127.0.0.1:7001 master - 0 1439369412563 2 connected 5461-5740 5742-10922
dc1e153c61deb8e932327bbdd81edac4c9ce8ba6 127.0.0.1:7000 slave e8915b149eab015c0e23ec9818e6e6251115e6b0 0 1439369408140 4 connected
e8915b149eab015c0e23ec9818e6e6251115e6b0 127.0.0.1:7003 myself,master - 0 0 4 connected 0-5460 5741
cb7a9481f21521dda296de4fefbf11937d9de153 127.0.0.1:7002 master - 0 1439369411538 3 connected 10923-16383

一度死んだノードを再度起動するだけで自動的に Slave として登録してくれるのは便利だと思います

トラブルシュート

特に問題なければ簡単に追加することができます
問題が発生するケースとしては

  • Redis Cluster に追加したいノード上にすでにデータが入っている
  • 追加したいノードが Cluster モードで起動していない
  • 追加したい Redis Cluster が壊れている

あたりかなと思います
1つ目は一旦データをFLUSHALLしてから Redis Cluster 用の設定ファイル ( Mac であれば /usr/local/var/db/redis/nodes-7003.conf とか) を削除して、再度 redis を起動しましょう
2つ目は設定ファイル redis.conf を確認してみましょう
3つ目はそもそもやばい状態です
対応するとしたらredis-trib.rbにfixというコマンドがあるのでこれを使うといいかもしれません
それでもダメだとしたら appendonly.aof を削除したり、設定ファイルを削除したりと本格的に Redis Cluster の再構築をしなければいけないことになるのかもしれません

最後に

Redis Cluster は最低 3 個のノードが必要になるので Master - Slave 構成をとろうとするとそれだけで 6 個のノードが必要になります
サービスとして運用するのであれば Master - Slave 構成は必須だと思いますが、Master ノードを追加するたびに Slave ノードも必要になるのでインフラコストは大きくなりそうな気がしました
ノードは1台のマシンで複数のノードを持つことができるのでそれでもいいのかなと思いますが、それだと DR 的にはダメだと思います

2015年8月12日水曜日

Redis Cluster のデフォルト割り当てられている SLOTS を変更してみた

概要

前回 Redis Cluster を 構築してみました
今回は SLOTS に関して触っていこうと思います
デフォルトで配置される各ノードの SLOTS 情報を個別に変更してみたいと思います
例えばある key は必ずこのノードに保存したいという場合に使います

環境

  • Mac OS X 10.10.4
  • Redis 3.0.2

環境構築

環境構築に関しては前回の記事を参考にしてください

ある key の SLOTS 番号を特定する

CLUSTER KEYSLOTコマンドを使います
例として今回は「hoge_key」という string タイプのキーを特定のノードに保存する方法で紹介したいと思います
まず key から計算される SLOTS 番号を特定します

$ redis-cli -c -p 7000
127.0.0.1:7000> CLUSTER KEYSLOT hoge_key
(integer) 5741

hoge_key に該当する SLOT 番号は 5741 番だということがわかりました
この番号は同じキーに対しては必ず普遍的な番号になるので、何度実行しても同じ番号が返ってくると思います

特定した SLOT 番号がどのノードに割り当てられているか調べる

特定した 5741 の番号だとどのノードに保存されるのか調べてみます
現在の SLOT 割り当て状況を確認するにはCLUSTER SLOTSコマンドを利用します

127.0.0.1:7000> CLUSTER SLOTS
1) 1) (integer) 5461
   2) (integer) 10922
   3) 1) "127.0.0.1"
      2) (integer) 7001
2) 1) (integer) 10923
   2) (integer) 16383
   3) 1) "127.0.0.1"
      2) (integer) 7002
3) 1) (integer) 0
   2) (integer) 5460
   3) 1) "127.0.0.1"
      2) (integer) 7000

デフォルトだとおそらく上記の結果が返ってくる思います
これの見方ですが、まず一番左のインデックス 1), 2), 3) は各ノード分存在します
次のインデックスの 1), 2) の部分に表示されている数字がそのノードに割り振られている SLOTS 番号になります

今回の 5741 がどこに割り当てられているかと言うと 7001 番になります

1) 1) (integer) 5461
   2) (integer) 10922
   3) 1) "127.0.0.1"
      2) (integer) 7001

127.0.0.1:7001 は 5461 から 10922 番までの SLOTS が割り当てられているためこの状態で「hoge_key」を SET すると 7001 のノードに保存されることになります
実際に SET コマンドで試してみると以下のようにリダイレクトされていることが確認できると思います

127.0.0.1:7000> SET hoge_key fuga
-> Redirected to slot [5741] located at 127.0.0.1:7001
OK
127.0.0.1:7001> keys *
1) "hoge_key"

ではこの 5741 番が 7000 のノードに保存されるように変更してみたいと思います

SLOTS の情報を変更する

SLOTS の情報を変更するのに使用するコマンドはCLUSTER ADDSLOTSとCLUSTER DELSLOTSになります

まずCLUSTER DELSLOTSを実施します
該当の SLOTS 番号が割り当てられているノード上で実行します

127.0.0.1:7001> CLUSTER DELSLOTS 5741
OK

5471 が該当のノードから削除されました
ちなみにこの状態で 7001 のノードのログを確認すると「Cluster state changed: fail」と表示されていると思います
Redis Cluster は必ず指定の範囲の SLOTS が抜けなく全ノードに適用されている必要があります
なので、DELSLOTS をした直後に上記のログが出力されたことになります

SLOTS が削除できたら次にその SLOTS 番号を割り当てたいノード上でADDSLOTSを実行します
とその前にDELSLOTSのコマンドを他のノードでも実行してください
理由はよくわからんのですが、SLOTS 番号が割り当てられていないノードでも該当の SLOTS 番号が有効になっており、それも削除する必要があります
他のノードでも DELSLOTS を実行したらいよいよ ADDSLOTS します
今回は 7000 番のノードに割り当てたいため 7000 番のノード上で実行します

127.0.0.1:7000> CLUSTER ADDSLOTS 5741
OK

実行が完了すると「Cluster state changed: ok」というログが各ノードに表示されると思います
これで SLOTS 番号の変更が完了です

動作確認

では再度「hoge_key」を SET してみましょう

127.0.0.1:7000> SET hoge_key fuga
OK
127.0.0.1:7000> keys *
1) "hoge_key"

今度はリダイレクトされずにちゃんと 7000 番に SET されたことがわかると思います

最後に

Redis Cluster で SLOTS 番号を変更する方法を紹介しました
これを実施中に気づいたのですが、初めに入れた「hoge_key」は 7001 番にリダイレクトされたのですが SLOTS 番号を変更したあとも 7001 番ノードの keys コマンドの結果には現れるようです
ただ、GET コマンドで値を取得しようとすると 7000 番にリダイレクトされてしまいます
つまり 7001 番に存在している hoge_key の値は取得できないけど、存在している謎の値になってしまいました

おそらく今回紹介したDELSLOTS, ADDSLOTSは初期構築やサービス停止しても問題ない状況で使用するコマンドだと思います(SLOTS 番号が 1 つでもない状態になると status is fail になることも確認したので)
構築時に使用した Ruby のredis-trib.rbとか使うといい感じやってくれそうな気がします(詳しくは調べていません)
その辺りは公式の Redis Cluster tutorial を見てもらうとヒントがあるかもしれません
「ダウンタイム 0 で SLOTS 番号を変更する方法」自分も気になったので時間があったら調査してみたいと思います

参考サイト

2015年8月11日火曜日

Redis Cluster を構築してみた

概要

Redis Cluster を Mac 上に構築してみました
とりあえずシングルノードで構築しています

環境

  • Mac OS X 10.10.4
  • Redis 3.0.2
  • Ruby 2.2.0p0
  • Gem 2.4.5
  • redis-rb 3.2.1

インストール方法

  • Redis
brew install redis
  • Ruby
brew install ruby
gem install redis

Cluster 設定

mkdir -p work/redis-cluster
cd work/redis-cluster
mkdir 7000 7001 7002
cp /usr/local/etc/redis.conf.default 7000/redis.conf
cp /usr/local/etc/redis.conf.default 7001/redis.conf
cp /usr/local/etc/redis.conf.default 7002/redis.conf
vim 7000/redis.conf
vim 7001/redis.conf
vim 7002/redis.conf

以下の部分を書き換えてください

  • port 7000
  • appendonly yes
  • cluster-enabled yes
  • cluster-config-file nodes-7000.conf
  • cluster-node-timeout 5000

portとcluster-config-fileの数字の部分は各設定ファイルごとに書き換えてください
設定ファイルの書き換えが完了したら一旦各 redis ノードを起動しましょう

redis-server work/redis-cluster/7000/redis.conf
redis-server work/redis-cluster/7001/redis.conf
redis-server work/redis-cluster/7002/redis.conf

Cluster 構築

公式で公開している Ruby スクリプトを使って Cluster は構築します

cd work/redis-cluster
wget http://download.redis.io/releases/redis-3.0.3.tar.gz
tar zvxf redis-3.0.3.tar.gz
./redis-3.0.3/src/redis-trib.rb create 127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002

Can I set the above configuration?
と聞かれるので yes を入力します

[OK] All nodes agree about slots configuration.
となれば Cluster の構築は完了です

動作確認

アクセスはお馴染みのredis-cliを使います
Cluster 環境にアクセスする場合は以下のように-cと-pオプションを利用します

redis-cli -c -p 7000

Cluster の状態の確認は以下でできます

> cluster info

実際に値を投入してみましょう

127.0.0.1:7000> set hoge fuga
OK
127.0.0.1:7000> set hoge1 fuga
-> Redirected to slot [6811] located at 127.0.0.1:7001
OK
127.0.0.1:7001> set hoge2 fuga
-> Redirected to slot [11000] located at 127.0.0.1:7002
OK

こんな感じで key ごとに値を持つホストが変わってきます
Redis Cluster は SLOTS という概念を持っています
簡単に言うと SET したい key ごとに SLOTS 番号が計算されて、その番号に応じた適切なノードに値が保存されるという仕組みです

Cluster の SLOTS の設定状況の確認は以下でできます

> cluster slots

例えば hoge の SLOTS 番号は 1525 番で 1525 番はどのノードに割り当てられるかと言うとポート 7000 番のノードに割り振られます

127.0.0.1:7000> cluster keyslot hoge
(integer) 1525
127.0.0.1:7000> cluster slots
1) 1) (integer) 5461
   2) (integer) 10922
   3) 1) "127.0.0.1"
      2) (integer) 7001
2) 1) (integer) 10923
   2) (integer) 16383
   3) 1) "127.0.0.1"
      2) (integer) 7002
3) 1) (integer) 0
   2) (integer) 5460
   3) 1) "127.0.0.1"
      2) (integer) 7000

上記の SLOTS の設定はデフォルトの状態です
もちろん好きな SLOTS 番号を好きなノードに割り当てることもできます
そのあたりの設定は別の記事で紹介できればと思います

最後に

Redis Cluster はバージョン 3.0 以上の Redis でサポートされています
Cluster を構築すること自体は非常に簡単にできます
また、Master - Slave 構成もサポートしているので 6 台のノードがあれば、 Master - Slave 構成も組めます

実運用でどこまでスケールできるのかとか、運用上発生する具体的なトラブルシューティングの検証とかが結構必要かなと思いました
まだ、Web 上にもその辺の運用話は少ないのかなという印象を受けました
その辺のノウハウが溜まってくるのはもう少し先なのかな

参考サイト

2015年7月16日木曜日

yum で Redis をインストール

概要

yum で Redis の最新版をインストール
バイナリをダウンロードしてインストールする方法はこちら

環境

  • CentOS 6.6 64bit

インストール方法

rpm -Uvh http://rpms.famillecollet.com/enterprise/remi-release-6.rpm
yum clean all
yum install redis --enablerepo=remi
chkconfig redis on

20150715 時点では3.0.2-1というバージョンがインストールできました

2015年1月24日土曜日

JavaからLuaスクリプトを実行してRedisにアクセスしてみた

概要

RedisはデフォルトでLua言語を使ったデータ抽出ができます
JavaのRedis用ライブラリJedisを使えばJavaからもLuaスクリプトを使うことができるのでその方法を紹介します

環境

  • Windows7 64bit
  • Redis 2.6.14
  • Java 1.8.0_25
  • Eclipse 4.4.1 Luna
  • Maven 3.2.1
  • Jedis 2.6.0

手順

今回はRedis内のHASH情報を取得するLuaスクリプトを紹介します

必要な環境の準備

ここでは詳細に構築方法は紹介しませんが環境はWindows7上のEclipseでソースコードを書きプロジェクトはMavenプロジェクトで作りました
Redisはfor Windowsをインストールしています(インストール方法はこちら)
特につまる所はないと思いますが、Eclipse+Mavenは必須ではないのでJavaを開発、動く環境があればOKです

Luaスクリプトの実行

まずはJavaを使わずにLuaスクリプトだけでRedisにアクセスできるか試してみます
作業前にredis-serverを起動しておいてください

RedisでLuaスクリプトを実行するためにはevalという仕組みを使います
redis-cliを使ってRedisにアクセスしてください
そしたら以下のコマンドを実行するとHello Worldが表示できると思います

redis 127.0.0.1:6379> eval "return 'Hello World'" 0
"Hello World"

evalコマンドの説明を簡単にすると

  • 第一引数が実行するスクリプト
  • 第二引数がkeyの数
  • 第三引数がkey
  • 第四引数がargv

になります
keyとargvが不要な場合は0を指定するだけでOKです
keyとargvはそれぞれで複数指定することができます
ちょっとわかりづらいので具体的なkeyとargvの使い方です

redis 127.0.0.1:6379> hset myhash "key1" "value1"
(integer) 1
redis 127.0.0.1:6379> eval "return redis.call('HGET', KEYS[1], ARGV[1])" 1 "myhash" "key1"
"value1"

複数のkeyを渡したい場合や複数のargvを渡されなければいけないコマンド(HGETやZADDなど)に使う感じです

redis.callを呼び出すことで実際にRedisのコマンドを実行することができます
第一引数に実行したいコマンドを文字列で渡します
第二、第三引数以降でそのコマンドを実行するための引数を指定します
また同じようなメソッドでredis.pcallというものがあり違いはエラーが発生したときにそこで終了するかしないかです、callは終了してpcallはエラーを捕捉しつつ次の処理に進みます

Luaスクリプトの作成

とりあえずredis-cliを使ってLuaを実行できるようになりました
次はLuaスクリプトファイルを作成してRedisにアクセスしてみます
実際にJavaから使う場合もスクリプトファイルに記載した内容をJavaに記述するのでスクリプトファイルに落として損はないと思います
また、Luaスクリプトでの処理が複雑な場合にはスクリプトファイルにしたほうが書きやすいし管理もしやすいです

では、先ほどと同様にHashデータにアクセスするためのスクリプトを作成していきます
せっかくスクリプトファイルにするのでちょっとプログラムっぽい感じにしてみます

local keys = redis.call('keys', KEYS[1])
local hash_info_map = {}
for i,key in ipairs(keys) do
    local hash_info = {}
    local key1 = redis.call('HGET', key, "key1")
    local key2 = redis.call('HGET', key, "key2")
    hash_info[1] = key1
    hash_info[2] = key2
    hash_info_map[i] = hash_info
end
return hash_info_map

指定されたKEYSを含むkey情報を持ってきてそのkeyに対してそれぞれHGETをしてHashの値を取得します
Hash構造なので一旦リストにデータを保存してからそのリスト情報を更にリストに保存したデータを返却します

では実行してみます
今度はredis-cliで事前に会話モードに入る必要はありません
redis-cliのオプションに「–eval」を指定してその引数にLuaスクリプトファイル名を指定します

$ ./redis-cli.exe --eval test.lua 'myhash*'
1) 1) "value1"
   2) "value"
2) 1) "value2"
   2) "value"
3) 1) "value3"
   2) "value"
4) 1) "value4"
   2) "value"

上記の場合はmyhashで始まるHashデータの各key情報が持つ値を取得して返してます

ちなみに事前に入れたデータは以下のとおりです

hset myhash key1 value1
hset myhash2 key1 value2
hset myhash3 key1 value3
hset myhash4 key1 value4
hset myhash key2 value
hset myhash2 key2 value
hset myhash3 key2 value
hset myhash4 key2 value

これでスクリプトファイルからも実行できるようになりました
最後にJavaから操作してみます

Javaへの組み込み

環境準備で説明したようにJedisのライブラリを使用するので事前に使用できるようにしておいてください

いきなりですがソースコードです
処理内容はスクリプトファイルで実施した内容と同じです

package test;

import java.util.List;

import redis.clients.jedis.Jedis;

public class LuaTest {

    private final static String SCRIPT = "" +
            "local keys = redis.call('keys', KEYS[1])" +
            "local hash_info_map = {}" +
            "for i,key in ipairs(keys) do" +
            "    local hash_info = {}" +
            "    local key1 = redis.call('HGET', key, 'key1')" +
            "    local key2 = redis.call('HGET', key, 'key2')" +
            "    hash_info[1] = key1" +
            "    hash_info[2] = key2" +
            "    hash_info_map[i] = hash_info " +
            "end " +
            "return hash_info_map";

    public static void main(String[] args) {
        Jedis jedis = new Jedis("localhost");
        List<List<String>> o = (List<List<String>>) jedis.eval(SCRIPT, 1, "myhash*");
        for (List<String> attr: o) {
            System.out.println(attr);
        }
    }

}

実行結果は以下のとおり

[value1, value]
[value2, value]
[value3, value]
[value4, value]

スクリプトファイルの内容をそのまま貼り付けたけなので特に説明する必要もないかもしれないですがポイントだけ

スクリプトの内容はString型で宣言すればOKです
サンプルのソースでは+を文字列で連携して見やすくしていますが全部1行に書いても問題ないです
ただ、Lua文法としては成立していなければいけません
ソースを良く見るとわかりますが、for文の始まりと終わり、endの前の1文の前にスペースが入っています
要は単純な文字列なのでJavaとしては文字がつながってしまうので文法エラーになる感じです
複数行にまたいでJavaに書くときは文末にスペースを入れておくのが無難です

あとはコールするメソッドはJedisクラスのオブジェクトに対してevalメソッドをコールします
これもインタフェース的にはスクリプトを直接実行したときと同じで「スクリプト」「keyの数」「key」「value」です
valueがある場合は、引数を4つで呼び出せるevalメソッドがあるのでそれを呼べばOKです
keyやvalueが複数ある場合は配列で渡せばOKです

また、evalの返り値は適切な型にCastしてあげる必要があります
今回はList内にListを突っ込んでいるのでList<List<String>>で受け取っています
単純のkey-valueの場合はString型でSET型の場合はListで受け取れます
間違った型で受け取ろうとするとCastExceptionが発生するのでわかると思います
あとはとりあえずObjectで受け取ってinstanceofで分岐することも可能だと思います

最後に

紹介は以上です
RedisはもともとLuaでアクセスできる仕組みを持っているので簡単にアクセスすることができました

そもそもなんでLuaを使うのかというポイントですが例えば処理対象のkeyが大量にありそのkeyをJava側で持ってきてからfor文を回すとJVMは遅いので非常に時間がかかったりします
そんなときにLuaスクリプトを書いて処理をRedis側に任せることで高速に処理できるようになる
のではないかと思っています
必ず効果が出るかどうかはやってみないとわかりませんが少なくともJVMよりかはRedis上での処理のほうが早いので検討する価値はあると思います

2014年12月18日木曜日

Could not connect to Redis at 127.0.0.1:6379: Cannot assign requested address

概要

redis-cliを使ってHSETのデータ大量に投入しているときに発生した
データのTypeによると思うが2万件ほどデータを投入したところでタイトルのエラーが発生した
テストデータを入れるだけでエラーが出るたび毎回2万件ずつしか登録できないのは面倒だったので対応してみた

環境

  • CentOS release 5.10 (Final)
  • Redis 2.6.13 ( server, cli ともに)

対応方法

echo 1 > /proc/sys/net/ipv4/tcp_tw_reuse

を実行してから再度redis-cliを実施すると出ないはず

https://github.com/antirez/redis/issues/340
に記載してあったがkeepaliveを無効にしているみたい

連続で大量にredis-cliを実行するとコネクションが残ってしまいエラーが出ていたみたい
一応自分は検証用のマシンだったのでやったけど本番とかだとちょっと怖いかも

さらっとデータだけ入れたい場合とかに使ってみてはいかが

2014年7月3日木曜日

redisのデータをWebで見れるphpRedisAdminをインストール

■環境
CentOS release 5.10 (Final)
redis 2.6.3
PHP 5.3.3
Composer 3251f9f1aa997479fff78905841e22beacfbe37b
Apache 2.2.3

■インストール
redisのインストール(Chefでインストール)
Composerのインストール
PHPおよびApacheのインストールはyumで済ませました

cd /var/www/html
composer create-project -s dev erik-dubbelboer/php-redis-admin phpRedisAdmin
※DocumentRoot直下に展開しているのでDocumentRootが異なる場合は展開場所を適宜変更してください

composer をインストールしたくない場合は
cd /var/www/html
git clone https://github.com/ErikDubbelboer/phpRedisAdmin.git
cd phpRedisAdmin
git clone https://github.com/nrk/predis.git vendor
でもインストールできます

■動作確認
redis-server と httpd を起動します
起動しているポートがデフォルトの6379であれば以下に問い合わせるだけで redis 内の情報にアクセスできます

http://localhost/phpRedisAdmin/?overview

■参考サイト

2014年7月2日水曜日

Windows7にredisをインストールしてみた

redis公式ではWindows用のインストーラやバイナリは配布しておらず
MSOpenTechというGithubのアカウントがWindows用のredisをオープンソースで開発してくれています
https://github.com/MSOpenTech/redis
今回はそれをforkしてできたバイナリのインストーラを利用したいと思います

■環境
Windows7 64bit
redis for Windows 2.8.9

■インストール
  1. https://github.com/downloads/rgl/redis/redis-2.4.6-setup-64-bit.exe をダウンロード
  2. インストーラを実行してインストール
  3. C:\Program Files\Redis に移動して「redis-server.exe」を実行
  4. cmd /c redis-server.exe で起動する
  5. スタート -> すべてのプログラム -> Redis -> Redis Client を起動
  6. Redisに接続できることを確認

一応これでWindows上でredisを使えるようになりました
ローカル検証用には十分かなと思います

2014年5月26日月曜日

redis-sentinel をやってみた

redisでmaster - slave構成を事前に構築しておいてください
構築方法はこちらをご参照ください
サーバのスペックやバージョンは同一環境で実施しております
また、redis-severですでにreplicationが動作していることを前提としております

■設定ファイル準備
・master & slave側作業
cp redis-2.8.9/src/redis-sentinel /usr/local/bin
cp redis-2.8.9/sentinel.conf /etc/
vim /etc/sentinel.conf
sentinel monitor mymaster 10.100.45.30 6379 2
logfile /var/log/sentinel.log
※IPの部分にはmaster側のIPを記載してください
※logfileは追記してください
※とりあえずあとの設定はデフォルトで問題ありません

■redis-sentinel起動
設定ファイルを引数として起動します
起動するのはmasterとslave両方で起動します

nohup redis-sentinel /etc/sentinel.conf &

tailf /var/log/sentinel.log
masterとslaveでそれぞれ起動したsentinel同士が接続したことをログで確認します
[30363] 23 May 14:41:59.831 # +monitor master mymaster 10.100.45.30 6379 quorum 2
[30363] 23 May 14:41:59.831 * +slave slave 10.100.42.181:6379 10.100.42.181 6379 @ mymaster 10.100.45.30 6379
[30363] 23 May 14:42:01.851 * +sentinel sentinel 10.100.42.181:26379 10.100.42.181 26379 @ mymaster 10.100.45.30 6379

■fail over検証
masterをkillしてみます
# pgrep redis-server
30115
# kill 30115

30秒後にmasterが落ちたというログがmaster側のsentinelに出力されます
slave側のログに「[30298] 23 May 14:45:35.169 # +switch-master mymaster 10.100.45.30 6379 10.100.42.181 6379」
と出ていればfail over完了です

slave側の情報を確認してみます

redis-cli
> info replication
# Replication
role:master
connected_slaves:0
master_repl_offset:0
repl_backlog_active:0
repl_backlog_size:1048576
repl_backlog_first_byte_offset:0
repl_backlog_histlen:0
slaveがmasterに昇格していると思います
また、元master側はまだダウン状態でslaveとしても参加していないので「connected_slaves:0」となっていることがわかります

■slave側復旧
sentinelを起動している場合、元masterで今度slaveになるサーバはredis-serverのプロセスを起動するだけで勝手にslaveとして登録してくれます

・slave(元master)側作業
nohup redis-server /etc/redis.conf &
redis-cli
> info replication
# Replication
role:slave
master_host:10.100.42.181
master_port:6379
master_link_status:up
master_last_io_seconds_ago:1
master_sync_in_progress:0
slave_repl_offset:31972
slave_priority:100
slave_read_only:1
connected_slaves:0
master_repl_offset:0
repl_backlog_active:0
repl_backlog_size:1048576
repl_backlog_first_byte_offset:0
repl_backlog_histlen:0

以上でsentinelを使った自動fail overの設定は完了です
fail overはこれでOKなので、あとはダウンしたサーバの処理を忘れないようにしましょう

ポイントはsentinelのプロセスを複数起動させる点かなと思います

■参考サイト

■Tips
redis-cli -p 26379
でsentinelのポートに接続すると「sentinel」という管理コマンドが使えるようになります
sentinel masters とするとsentinelの詳しい設定状況を確認することもできます

2014年5月24日土曜日

redisでmaster-slave構成を組んでみた

■環境
CentOS release 6.3 (Final)
redis 2.8.9

※master用, slave用で2台作成します
※master(192.168.0.1)、slave(192.168.0.2)とします

■redisインストール
yum -y update
yum -y groupinstall "Development Tools"
yum -y install tcl tcl-devel

wget http://www.canonware.com/download/jemalloc/jemalloc-3.6.0.tar.bz2
bzip2 -dc jemalloc-3.6.0.tar.bz2 | tar xvf -
cd jemalloc-3.6.0
./configure
make
make install

wget http://download.redis.io/releases/redis-2.8.9.tar.gz
tar zvxf redis-2.8.9.tar.gz
cd redis-2.8.9/deps
make hiredis lua jemalloc linenoise
cd ../
make
make test
make install

cp redis-2.8.9/redis.conf /etc/

■slave側設定
redisでslaveサーバを登録する場合はslave側から
「私はこのmasterのslaveになります」
というコマンドを発行します

nohup redis-server /etc/redis.conf &
redis-cli
> SLAVEOF 192.168.0.1 6379
> INFO REPLICATION
# Replication
role:slave
master_host:192.168.0.1
master_port:6379
master_link_status:up
master_last_io_seconds_ago:9
master_sync_in_progress:0
slave_repl_offset:267
slave_priority:100
slave_read_only:1
connected_slaves:0
master_repl_offset:0
repl_backlog_active:0
repl_backlog_size:1048576
repl_backlog_first_byte_offset:0
repl_backlog_histlen:0
と指定したmasterのスレーブとなっていることを確認します

■master側確認
特にmaster側で作業することはないですが、念のためslaveが登録されているか確認します
nohup redis-server /etc/redis.conf &
redis-cli
> INFO REPLICATION
# Replication
role:master
connected_slaves:1
slave0:ip=192.168.0.2,port=6379,state=online,offset=366,lag=0
master_repl_offset:366
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:2
repl_backlog_histlen:365
とslaveが接続されていることを確認します

■動作確認
master側のredisに対してデータを投入してみます
・master側作業
redis-cli
> set key1 value
OK
> keys *
1) "key1"

・slave側確認
redis-cli
> keys *
1) "key1"

slave側にもデータが同期されていることを確認します
また、slave側に書き込みを行おうとすると以下のようなエラーとなります
> set key2 value
(error) READONLY You can't write against a read only slave.
これはslaveがread onlyで起動しているためであり、設定によってはslave側に書き込みを行うことも可能です(今回は紹介しません)

また、今回の場合はコマンドでslave登録したのでslave側を再起動するとまたmasterに戻ってしまいます
起動するためにslaveとして登録するのは大変なので、その場合は設定ファイルにslaveの情報を記載しておくことができます

■手動fail over
masterがダウンしてしまった場合を想定してslaveをmasterに昇格させてみます
masterをkillコマンドでダウンさせてください
この状態でslave側で「INFO REPLICATION」を実行すると master_link_status:down となっていることがわかります

slaveをmasterに昇格させてみます
・slave側作業
redis-cli
> SLAVEOF NO ONE
OK
> INFO REPLICATION
# Replication
role:master
connected_slaves:0
master_repl_offset:0
repl_backlog_active:0
repl_backlog_size:1048576
repl_backlog_first_byte_offset:0
repl_backlog_histlen:0

masterに昇格していることがわかります
ダウンした元masterサーバ次回起動時にはmasterではなくslaveとして起動、登録する必要がありますのでご注意ください

単純にredisのmaster <-> slave間でデータを同期させる方法は以上です
次回は redis-sentinel を使った、自動fail over の仕組みを試してみたいと思います

■参考サイト

2014年5月23日金曜日

redisで/var/log/messageにログを出力しないようにする

■環境
CentOS release 5.10 (Final)
redis 2.6.13
(インストールはchefのレシピでインストールしました)

■設定
emacs /etc/redis/6379.conf
syslog-enabled no

/etc/init.d/redis6379 stop
/etc/init.d/redis6379 start

※設定ファイル名と起動スクリプトはインストールした状況によって異なるかもしれません
※裏側はredis-serverコマンドで起動、停止しているだけなので起動スクリプトがない場合は適宜再起動してください

2014年5月17日土曜日

redisからデータを取得する方法

まずは「TYPE」でそのデータのタイプを調べまず
TYPE key

結果から得られたタイプ情報に合わせて取得するコマンドを変更します

・TYPE の結果が「string」だった場合
GET key

・TYPE の結果が「zset」だった場合
ZCARD key・・・長さを確認
ZRANGE key 0 100・・・内容を確認

・TYPE の結果が「set」だった場合
SCARD key・・・長さを確認
SMEMBERS key・・・内容を確認

・TYPE の結果が「hash」だった場合
HLEN key・・・長さを確認
HGETALL key・・・内容を確認

・TYPE の結果が「list」だった場合
LLEN key・・・長さを確認
LRANGE key 0 100・・・内容を確認

以上です
そもそもkeyの一覧がわからんという場合には
keys *
ですべてのkeyを取得することができます

■参考サイト