その手の平は尻もつかめるさ

ギジュツ的な事をメーンで書く予定です

Guice で独自の scope 切って inject したいって時

これを見ると良い.要は CDI のようなものをやるという話である.
CustomScopes · google/guice Wiki · GitHub


ここに書かれているように,

1. 任意の Scope を表す annotation を作る
2. Scope を実装する
3. Scope の実装と annotation を紐付ける (これは Module 内で行なう)
4. Scope#enter()Scope#exit() で Scope のライフサイクルを管理する

という流れに従う.


ここで少し難しく感じるのは2の「Scope を実装する」だと思う.
Wiki に書いてあるように基本的に Wiki に書いてある実装をコピペして使えという感じなのだが,まあ中身は読めばそこまで難しいことはしていない.
enter() する時に Scope が保持する objectを管理する Map を作成し,exit() する時にその Map を破棄するという感じ.あとは seed() で scope が持つ Map に直で object を登録したり,scope() で scope が保持している object Map から対応する object を取ってくるという処理を書いたら良い.
基本的に自分で Scope の実装を書く時はデフォルトの実装をそのまま使い,どこかで独自の処理をしたくなったらその部分を書き換えるという方法で良いと思う.元は thread safe な実装になっているし「大抵は」満足できる.


んでもって,あとは4のライフサイクル管理が若干面倒,一方で直感的ではあるかなあとは思う.
しかし,Module 内で injectee が bind されている時の挙動が個人的にわかりにくかったので書いておく.

例えば Module が以下のようになっていて,

final SimpleScope batchScope = new SimpleScope();
bindScope(BatchScoped.class, batchScope);
bind(SimpleScope.class)
    .annotatedWith(Names.named("batchScope"))
    .toInstance(batchScope);

bind(SomeObject.class)
    .toProvider(SomeObjectProvider.class)
    .in(BatchScoped.class);

Scope を管理する部分が以下のようになっている時,

final SimpleScope scope = injector.getInstance(Key.get(SimpleScope.class, Names.named("batchScope")));
try {
    scope.enter();

    injector.injectMembers(instance);

    // do something
} finally {
    scope.exit();
}

scope 内で injectMembers() しないと SomeObject は inject されない.
scope 内で injectMembers() された時は Module で指定されたように,SomeObject のライフサイクルは scope 内に固定される.ここは直感的.
なお Wiki の注意書きにも書かれているが,finally でちゃんと Scope#exit() しないと scope が閉じられず,ずっと生きながらえてしまうという問題があるので注意が必要.try-catch-resources が使えれば良いような気はしているが……


と,ここまで散々書いたのだけれど,Wiki の冒頭にあるように Custom Scope は自前で積極的に書くべきものではない.
基本的に,Singleton ServletModule が提供する RequestScopedSessionScoped で事足りるはずで,それで足りないケースというのはあまり存在しない.足りないケースの時だけ書くべきであるという事を留意されたし (今回はやんごとなき事情で自前で書きました).

tinyorm 1.11.0.rc1 is out

tinyorm 1.11.0.rc1 が出ました.以下の様な変更が入っています.

Connection を2つ持てるようになった

「Read/Write できる connection」と「Read だけができる connection」の2つの connection を持てるようになりました.tinyorm は内部でクエリのタイプ (read or write) に応じてこれらの connection を使い分けるようになっています.
これにより,write 系のクエリは master へ向いた「Read/Write できる connection」を使いつつ,read 系のクエリは slave へ向いた「Read だけができる connection」を利用するというような事が可能になりました.

今までは「Write 用の tinyorm」と「Read 用の tinyorm」をそれぞれ用意して利用するという感じで運用していたのですが,「Read 用の tinyorm」でひいてきた Row object に対して update をうっかり発行すると例外が上がってしまうという使い勝手の悪さがあり,今回このような改善を入れたという次第になります.

もちろん従来通り,単一の connection を利用することも出来ます.この場合はその1つの connection を全てのクエリで利用します.

Lazily な connection borrowing に対応した

Lazily な connection borrowing,つまり実際に connection が必要になったタイミングで connection を取ってくる (都度 establish するなり,connection pool から取ってくるなり) よう指定することが可能となりました.

方法としては,tinyorm を instantiate する際に javax.inject.Provider<Connection> を渡してやることで,connection が必要になったときに Provider<>#get() を利用して connection を borrow してくるようになります.なお,一度 borrow してからはその tinyorm instance 内では borrow した connection を使いまわします.

今後

内部的な変更が大きかったので,ひとまず rc 版ということで maven central にリリースしてあります.既存のテストケースは全て通っていますが,機能のすべてを保証できるとは言い切れないというステータスです.
安定して利用出来ることが検証でき次第,正式版としてリリースする予定です (rc が外れるタイミングでドキュメントが書かれる予定です).

以上です.よろしくお願いします.

2016-08-15 19:44 追記

rc1 は全く話にならず,現在は rc4 がお目見えしています.これはちゃんと動いてるのでもし試されるのであればこちらが良いです.

thin-cacheというJava向けのキャッシュライブラリ書いた

thin-cacheというキャッシュライブラリ書いた.いつものようにmaven centralにも置いてある.そしていつものようにJava 8以降が対象となっている.

maven central

Microservicesみたいな感じでサービスを作っていると,他のサーバにrequestを飛ばして得られた値を加工して,あるいはそのまま利用するみたいなコードを書く事が多くなってくる.毎回毎回他サーバにrequestを飛ばして良いのであればまあ飛ばせば良いのだけれど,そうもいかない場合も多い (トラフィックなり応答速度なりの理由で).そういう場合に対策として考えうる手段のひとつとしてキャッシュが挙げられると思う.
今まではそういったキャッシュを良い感じでコントロールするコードを都度都度書いていたのだけれど,それにもそろそろ飽きてきたのでいい感じに抽出してライブラリにした.

Javaでキャッシュ回りを司るライブラリは色々あると認識していて,例えばguava のcacheなどが挙げられる.最初からguavaが入っているのであれば良いんだけどそうではない場合にキャッシュの用途のみでguavaを入れるのもオーバーキルな感じを抱いており,シンプルなキャッシュ機能だけを提供するライブラリが欲しくなったのでthin-cacheを書いた次第.
シン・ゴジラが流行っているからこういう名前にしたわけではなく,薄くてシンプルなライブラリということでこういう名前にした.

機能

シンプルな使い方としては以下の通り.

final AutoRefreshCache<Long> autoRefreshCache = new AutoRefreshCache<>(10, false, new Supplier<Long>() {
    private long i = 0;

    @Override
    public Long get() {
        return ++i;
    }
});

autoRefreshCache.get(); // => 1L (initialize cache)
autoRefreshCache.get(); // => 1L (hit cache)

// 10 seconds spent...

autoRefreshCache.get(); // => 2L (expired, refresh cache)
autoRefreshCache.get(); // => 2L (hit cache)

第三引数として渡したSupplier<T>の実装により得られた値を,第一引数で指定した秒数分だけ保持するという,見ての通りの感じ (第二引数については後述).
キャッシュが効いている間にAutoRefreshCache#get()が呼ばれるとキャッシュ内容がそのまま返却され,キャッシュが期限切れになってから (つまり保持期限が過ぎてから) AutoRefreshCache#get()が呼ばれると supplier が実行されてその値を結果として返すと同時に,キャッシュに supplier の結果を格納しつつ保持期限の更新をしている.シンプル.

キャッシュを操作するメソッドとしては以下の4種類がある.

  • get()
  • forceGet()
  • getWithRefreshAheadAsync()
  • forceGetWithRefreshAheadAsync()
get()

Read throughにキャッシュを取得してくるメソッド.
キャッシュが存在しない (初期化されていないとか,expireしたとか) 時に,キャッシュコンテンツを生成しそれをキャッシュすると同時に返却する.

forceGet()

Write throughにキャッシュを取得してくるメソッド.
キャッシュが存在しているか否かに関わらず,常にキャッシュコンテンツを生成しつつそれをキャッシュすると同時に返却する.

getWithRefreshAheadAsync()

Refresh aheadにキャッシュを取得してくるメソッド.
キャッシュが存在しない場合,即座に古い (一世代前の) キャッシュコンテンツを取得・返却しつつ,そのバックグラウンドでキャッシュコンテンツの生成及びストアを非同期に行なう.戻り値としてはキャッシュオブジェクトとFutureのタプルを返しており,キャッシュコンテンツの生成とストアが完了するとそのFutureは完了状態になる.

なおキャッシュが初期化されていない場合はget()と同じ動き,つまり同期的に動作する.

forceGetWithRefreshAheadAsync()

Refresh aheadにキャッシュを取得してくるメソッド.
キャッシュが存在していようがいまいが,即座に古い (一世代前の) キャッシュコンテンツを取得・返却しつつ,そのバックグラウンドでキャッシュコンテンツの生成及びストアを非同期に行なう.以下略.

なおキャッシュが初期化されていない場合はforceGet()と同じ動き,つまり同期的に動作する.

工夫した点

工夫した点 (というか欲しかった機能) として,キャッシュ生成時に例外が発生した場合の動作を指定出来るようにしている.「例外が発生した時にそのまま例外を上流に放る」か,「例外内容をエラーログに出しながら (slf4jを使っている) キャッシュ済みの古いオブジェクトを返す」かを制御できるようになっている.例えば,他のサーバから値を取ってこようとする際に相手が500を返してくるケースとかは事実あると思っていて,そういう状況でこちらまで巻き込まれていては良くない.そういう場合でもサービスを継続できるようにすべく,このような状況下での動作をコントロールしたかったのでこういう機能を付けた.

所感

こういう小粒なライブラリでも,非同期性とかスレッドセーフとかを意識しつつコードを書くと少し複雑になることが分かった.毎度毎度こういうコードを書いていては身体や精神が持たないので,ライブラリにすることで再利用できるようにした.最近こういう小さなライブラリばかり書いている気がするのだけれど,どんどん小さなライブラリを作りつつ組み合わせて作っていくぞという精神世界になっている.

ところで,read through とか write through とか refresh ahead とか,そういう概念は学生時代に勉強したりパタヘネ本で勉強したりしていたはずなのにすっかり忘れていて厳しい気持ちになった.一方でこういうライブラリを実装しつつドキュメントを書くことで知識を定着させることが出来て良かったと思う.実感を伴わせることで知識が身につくという事を久々に実感できて体験があった.

Docuss というテストとドキュメント出力を一緒にやるライブラリ書いた

Docuss というものを書いた.Java のライブラリ.なお Java 8 以上じゃないと動かない.

どんなライブラリかというと,

  • HTTP request を対象 URI に送り,それによって得られた response の内容をテストする為のラッパ的な機能を提供する
  • response のテストが通ったら,その request と response の内容 (便宜上これを document としている) を所望の形式・方法で出力する

というライブラリ.要は HTTP request/response をテストしつつその内容をゲロっと吐くような機能を提供している.
つまりは貧者の autodoc と言い換えることが出来る.


詳しい使い方は README とか javadoc とかを見てもらうとして,実装上工夫している点としては以下の通り.

  • 出力フォーマットをコントロールできる
  • 出力方法をコントロールできる
  • 特定の http client 実装に依存していない
出力フォーマットをコントロールできる

出力フォーマットをコントロールできるというのは,response/request をどういうフォーマットで出力するかをコントロール出来るということ.
方法としては request と response の内容を任意のフォーマットに変換する formatter を出力する formatter generator を書いて (DocussFormatterGenerator という Interface を実装する必要がある) それをコンストラクタに渡すことで出力フォーマットを制御できる.

先の autodoc は綺麗な markdown が出て格好良いのだけれど,個人的にそこまでのモチベーションが無かったのでデフォルトで提供している formatter generator は単に内容を YAML で吐き出すようになっている (ファイル追記とかを考えた時に YAML は単純に append できて楽,そして綺麗なドキュメントにしたければ YAML を解釈して任意の形式のドキュメントに落とすツールを書けば十分だと思ったという理由から).
もしも綺麗な markdown で出力したくなったらその時にその為の formatter generator を書けば良い.

出力方式をコントロールできる

出力方法をコントロールできるというのはつまり出力先を制御できるということで,出力フォーマットと同様に DocussPresenter という Interface を実装することでコントロールが出来る.
デフォルトでは標準出力に吐く presenter と,ファイルに追記していくタイプの presenter を提供している.

特定の http client 実装に依存していない

特定の http client 実装に依存していないので,もし特定の http client を利用したい場合は DocussHttpClient という Interface を実装して利用すれば良い.基本的に DocussHttpClient の実装クラスがコアな責務を負っているという感じ.
デフォルトでは Apache httpclient のシンプルな実装を提供している (テスト用とだとそこまで凝った実装は必要ないだろう,という推測と現状から).


できるだけ特定のものに依存したくなくて,以上に挙げたようなものについては制御可能にすることで柔軟性を持たせた (と思っている).

まとめ

テストコードからドキュメント (的なもの) を生成するというのは流れとして自然というか正しいと思っていて,そういったもの,そしてシンプルなものが欲しかったので今回 Java 向けに書いた次第.
実コードを書いているとどうしても息切れをしてしまって,ドキュメントを書くところまで体力を保てないことがある.そうした中でもしっかりドキュメントを書けるように,こうしたサポートのツールは重要なのではないかと思っている.
気が向いたらどうぞお使いください.もうどんどん書いていくという精神になっている.

ここでオリジナルの autodoc author のありがたいお言葉を見てみましょう.

以上です.

sprint という Java の string formatter を書いた

sprint という Java 向けの String formatter を書いた.

Maven Central にも置いてある.

http://search.maven.org/#search%7Cgav%7C1%7Cg%3A%22net.moznion%22%20AND%20a%3A%22sprint%22

sprint は Sprint#ff() というメソッドを提供している.使い方としては以下の様な感じ.

final Sprint sprint = new Sprint();
System.out.Println(sprint.ff("Hello: {}!", "John")); // => Hello: John!

処理としては,template を parse して placeholder とそれ以外とを検出して,その検出した placeholder に変数を埋めつつ文字列を生成している.
そしてコードを読むと分かる通り,sprint は実際には StringBuilder の wrapper のようになっていて,適宜 StringBuilder#append() を呼びながら文字列を組み立てている.

工夫などとしては以下の通り.

簡易な template

sprint では簡単な template を利用する.例えば "{}: {}" という感じ.この template 中の {} は placeholder であり,sprint はこの placeholder に対して与えられたパラメータを埋めていく.メソッドの受け取る第一引数はこの template であり,以降の引数は placeholder に埋めるためのパラメータとして扱われる.この時,このパラメータは StringBuilder#append() に渡されるので,結果的に String.valueOf() を適用した結果が文字列中に埋められる.
これは Logback の文字列 template もこんな感じだったと思う.楽で良い.

template の parse 結果を使い回す.

文字列を format する度に template を parse していては効率的ではない.template に対する parse の結果は一意のはずで,記憶しておいて以降の処理で使いまわしたとしても矛盾は起きないはず.なので sprint では template の parse 結果を template 文字列と紐付けてインスタンス内に保持し,同じ template を使った二回目以降の format の際にはその保持しておいた結果を用いる.つまり,sprint では template の parse は一度だけ実行されるということになる.
なお,sprint ではこの parse した結果の構造を走査することで文字列を生成している.

こうした処理の削減によりパフォーマンスが向上している.ベンチマークの結果としては以下の様な感じ(jdk1.8.0_92 で実行.コードはここ).

f:id:moznion:20160605223844p:plain

小さい

コードの規模は小さく,外部に対する依存がないので組み込みやすい.
あと Java 7 でも動くので Android とかでも使えそう.


という感じ.
String formatter はかねがね作りたいと思っていたのでこの土日で作ってみた次第.
どうぞご利用ください.

redis-script-manager 書いた

p5-Redis-ScriptJava 移植になります.
Redis を使ってて困った時にインターネットを徘徊してると @shogo82148 さんのブログにたどり着く事が多く,日頃お世話になってるわけですが,今回は Redisのトランザクション・スクリプト・ランキングを扱うPerlモジュールを公開しました - Shogo's Blog からの知見です.

上記の記事中には

EVALコマンドのドキュメントによると、 「EVALSHAで実行してみて NOSCRIPT No matching script で失敗したらEVALでやり直す」というのがおすすめらしいです。 EVALコマンドはSHA1ハッシュの登録も行ってくれるので、初回 NOSCRIPT になっても次回からはEVALSHAが成功します。

そんなに複雑なことではないのですが、毎回書くのも大変なのでモジュールとして切り出したのが Redis::Script です。 以下のようにスクリプトオブジェクトを作っておいて、パラメータを渡して実行します。

とあり,まさにこの度そういった utility 的なものを毎度毎度書くのもだるくなったので,ここは一丁 library 化しようということで今回 Java に移植した次第.
Java でやるなら,特定の script について SCRIPT LOAD を一度だけ行なうような singleton class を用意してごにょごにょやるという方法も考えましたが,基本的な実装は p5-Redis-Script を踏襲しています *1

redis-script-manager としては Jedislettuce の2つの Redis Client に対応しています.

ひとまずこれだけ対応しておけば自分で使う分は大丈夫だろう,という判断からこの2つに対応しました.
もしも他の Redis Client のサポートが必要になったら,redis-script-manager-core の抽象クラスである ScriptManager を継承して実装すれば同様の挙動を実現できるので,その時が来たら考えるぞ! という感じです.


ところでこういう細かい library を書いて使っていくのはあまり Java の文化っぽくない感じがあり,その背景には依存する jar が増えれば増える程地獄と化してきて厳しい,などといった状況があることと思います.確かにそうだ.
しかしだからといってコードをいちいちコピペして使い回すとかはあまりしたくないし,やっぱりかゆい所に手が届くパーツがあれば便利やん? みたいな感覚があるので,とりあえず外に出して使ってみるのが良いのではないかと思っているところです.

*1:むしろ ScriptManager ごと singleton にするという戦略はありかもしれない

Server::Starter + Java 環境下で JMX による監視を有効にしていると graceful restart 時に不具合が出ちゃって困るんですけど〜って時

割とニッチな話題ではありますが……


Server::Starter を使ってプロセスを立ち上げると graceful restart を簡単に実現できるなど便利な点が多く,LL 時代はこれでやっていっていたわけですが,残念なことに Java からその Server::Starter テクノロジを利用するのは長らく不可能なものと思われてきました.しかし昨年2015年の中頃に Java からでも Server::Starter の利用が可能であることが id:tokuhirom 氏により発見された (+ Server::Starter にパッチが送られた) ため,Java からでもお手軽に Server::Starter を用いた graceful restart が出来るようになりました.
Server::Starter については参考になる記事がインターネット上にたくさんありますから適宜検索してもらうとして,Java から Server::Starter を利用する術については以下を参照してください.


さて本題ですが,タイトルが長いのでわかりやすく分割して書きますと,

  • Server::Starter を使って Java プロセスを立ち上げていて
  • JMX による 監視を有効にしていて
  • Graceful Restart を行った時

に,JMX が port を食い合ってしまうために上手く restart できないという問題についての話です.

例えば,以下のようにして Server::Starter + Java + jmx を起動してから,

$ java \
    ...
    -Dcom.sun.management.jmxremote \
    -Dcom.sun.management.jmxremote.port=5555 \
    -Dcom.sun.management.jmxremote.rmi.port=5555 \
    Main

restart を行うと,瞬間的に2つの Java のプロセスが立ち上がるため,JMX の connector server が port を食い合って (新プロセスの方が "Address already in use" を吐く) 新しいプロセスを上手く立ち上げることがきなくなります.こうした場合,connector server は立ち上がりませんし,手法によっては古いプロセス・新しいプロセスの両方とも終了せずに無限に起動し続けるといった,言うなればデッドロックのような状況に陥るかもしれません.

というわけでどうするかというと,コマンドラインオプションを指定する代わりに手で connector server を立ち上げるコードを書いて,daemon の起動時に立ち上げてやります.

public void startJMXConnectorServer() throws IOException {
    final int port = 5555;
    LocateRegistry.createRegistry(port);
    final JMXServiceURL url = new JMXServiceURL("service:jmx:rmi:///jndi/rmi://localhost:" + port + "/jmxrmi");
    final MBeanServer mBeanServer = ManagementFactory.getPlatformMBeanServer();
    JMXConnectorServerFactory.newJMXConnectorServer(url, null, mBeanServer).start();
}

こんな感じのものを書いて,立ち上げのタイミングで startJMXConnectorServer() を呼び出してやると,コマンドラインオプションで指定した時と同様の効果が得られます.
が,しかしこれで上手くいくかと思いきや,このままだとコマンドラインオプションを使った手法と同様で上手く resstart することが出来ません (依然 "Address already in use" が出る).
ので,苦肉の策でこうしてやる.

public void startJMXConnectorServer() {
    final int port = 5555;
    boolean isJMXLaunched = false;
    for (int i = 0; i < 100; i++) {
        try {
            LocateRegistry.createRegistry(port);
            final JMXServiceURL url = new JMXServiceURL("service:jmx:rmi:///jndi/rmi://localhost:" + port + "/jmxrmi");
            final MBeanServer mBeanServer = ManagementFactory.getPlatformMBeanServer();
            JMXConnectorServerFactory.newJMXConnectorServer(url, null, mBeanServer).start();
        } catch (IOException e) {
            // Might be "address already in use" error, retry
            try {
                Thread.sleep(300);
            } catch (InterruptedException ie) {
                log.warn("Interrupted");
            }
            continue;
        }
        isJMXLaunched = true;
        break;
    }
    if (!isJMXLaunched) {
        throw new RuntimeException("Failed to start JMX connector server");
    }
    log.info("JMX connector server started");
}

スピンロックのような感じで port が空くまで待って,port が空いた,すなわち古いプロセスが終了したら connector server を立ち上げるという感じ.これでひとまず動くっちゃ動く.良かった良かった.

しかしこの方法だと起動のタイミングによっては「古いプロセスの破棄」と「新しいプロセスの完全な立ち上がり」との狭間に落ちて,リクエストを取りこぼしてしまう可能性があるので,実装に (つまり startJMXConnectorServer() を呼び出すタイミングに) 気を使う必要がありそうです.
あるいは Web Application のようなものであればこんな方法を使わずに,起動してから最初にリクエストが来た瞬間に connector server を立ち上げてやる,というような方法でも良いかもしれませんね.

こちらからは以上です.