その手の平は尻もつかめるさ

ギジュツ的な事をメーンで書く予定です

tinyorm 1.11.0.rc1 is out

tinyorm 1.11.0.rc1 が出ました.以下の様な変更が入っています.

Connection を2つ持てるようになった

「Read/Write できる connection」と「Read だけができる connection」の2つの connection を持てるようになりました.tinyorm は内部でクエリのタイプ (read or write) に応じてこれらの connection を使い分けるようになっています.
これにより,write 系のクエリは master へ向いた「Read/Write できる connection」を使いつつ,read 系のクエリは slave へ向いた「Read だけができる connection」を利用するというような事が可能になりました.

今までは「Write 用の tinyorm」と「Read 用の tinyorm」をそれぞれ用意して利用するという感じで運用していたのですが,「Read 用の tinyorm」でひいてきた Row object に対して update をうっかり発行すると例外が上がってしまうという使い勝手の悪さがあり,今回このような改善を入れたという次第になります.

もちろん従来通り,単一の connection を利用することも出来ます.この場合はその1つの connection を全てのクエリで利用します.

Lazily な connection borrowing に対応した

Lazily な connection borrowing,つまり実際に connection が必要になったタイミングで connection を取ってくる (都度 establish するなり,connection pool から取ってくるなり) よう指定することが可能となりました.

方法としては,tinyorm を instantiate する際に javax.inject.Provider<Connection> を渡してやることで,connection が必要になったときに Provider<>#get() を利用して connection を borrow してくるようになります.なお,一度 borrow してからはその tinyorm instance 内では borrow した connection を使いまわします.

今後

内部的な変更が大きかったので,ひとまず rc 版ということで maven central にリリースしてあります.既存のテストケースは全て通っていますが,機能のすべてを保証できるとは言い切れないというステータスです.
安定して利用出来ることが検証でき次第,正式版としてリリースする予定です (rc が外れるタイミングでドキュメントが書かれる予定です).

以上です.よろしくお願いします.

2016-08-15 19:44 追記

rc1 は全く話にならず,現在は rc4 がお目見えしています.これはちゃんと動いてるのでもし試されるのであればこちらが良いです.

thin-cacheというJava向けのキャッシュライブラリ書いた

thin-cacheというキャッシュライブラリ書いた.いつものようにmaven centralにも置いてある.そしていつものようにJava 8以降が対象となっている.

maven central

Microservicesみたいな感じでサービスを作っていると,他のサーバにrequestを飛ばして得られた値を加工して,あるいはそのまま利用するみたいなコードを書く事が多くなってくる.毎回毎回他サーバにrequestを飛ばして良いのであればまあ飛ばせば良いのだけれど,そうもいかない場合も多い (トラフィックなり応答速度なりの理由で).そういう場合に対策として考えうる手段のひとつとしてキャッシュが挙げられると思う.
今まではそういったキャッシュを良い感じでコントロールするコードを都度都度書いていたのだけれど,それにもそろそろ飽きてきたのでいい感じに抽出してライブラリにした.

Javaでキャッシュ回りを司るライブラリは色々あると認識していて,例えばguava のcacheなどが挙げられる.最初からguavaが入っているのであれば良いんだけどそうではない場合にキャッシュの用途のみでguavaを入れるのもオーバーキルな感じを抱いており,シンプルなキャッシュ機能だけを提供するライブラリが欲しくなったのでthin-cacheを書いた次第.
シン・ゴジラが流行っているからこういう名前にしたわけではなく,薄くてシンプルなライブラリということでこういう名前にした.

機能

シンプルな使い方としては以下の通り.

final AutoRefreshCache<Long> autoRefreshCache = new AutoRefreshCache<>(10, false, new Supplier<Long>() {
    private long i = 0;

    @Override
    public Long get() {
        return ++i;
    }
});

autoRefreshCache.get(); // => 1L (initialize cache)
autoRefreshCache.get(); // => 1L (hit cache)

// 10 seconds spent...

autoRefreshCache.get(); // => 2L (expired, refresh cache)
autoRefreshCache.get(); // => 2L (hit cache)

第三引数として渡したSupplier<T>の実装により得られた値を,第一引数で指定した秒数分だけ保持するという,見ての通りの感じ (第二引数については後述).
キャッシュが効いている間にAutoRefreshCache#get()が呼ばれるとキャッシュ内容がそのまま返却され,キャッシュが期限切れになってから (つまり保持期限が過ぎてから) AutoRefreshCache#get()が呼ばれると supplier が実行されてその値を結果として返すと同時に,キャッシュに supplier の結果を格納しつつ保持期限の更新をしている.シンプル.

キャッシュを操作するメソッドとしては以下の4種類がある.

  • get()
  • forceGet()
  • getWithRefreshAheadAsync()
  • forceGetWithRefreshAheadAsync()
get()

Read throughにキャッシュを取得してくるメソッド.
キャッシュが存在しない (初期化されていないとか,expireしたとか) 時に,キャッシュコンテンツを生成しそれをキャッシュすると同時に返却する.

forceGet()

Write throughにキャッシュを取得してくるメソッド.
キャッシュが存在しているか否かに関わらず,常にキャッシュコンテンツを生成しつつそれをキャッシュすると同時に返却する.

getWithRefreshAheadAsync()

Refresh aheadにキャッシュを取得してくるメソッド.
キャッシュが存在しない場合,即座に古い (一世代前の) キャッシュコンテンツを取得・返却しつつ,そのバックグラウンドでキャッシュコンテンツの生成及びストアを非同期に行なう.戻り値としてはキャッシュオブジェクトとFutureのタプルを返しており,キャッシュコンテンツの生成とストアが完了するとそのFutureは完了状態になる.

なおキャッシュが初期化されていない場合はget()と同じ動き,つまり同期的に動作する.

forceGetWithRefreshAheadAsync()

Refresh aheadにキャッシュを取得してくるメソッド.
キャッシュが存在していようがいまいが,即座に古い (一世代前の) キャッシュコンテンツを取得・返却しつつ,そのバックグラウンドでキャッシュコンテンツの生成及びストアを非同期に行なう.以下略.

なおキャッシュが初期化されていない場合はforceGet()と同じ動き,つまり同期的に動作する.

工夫した点

工夫した点 (というか欲しかった機能) として,キャッシュ生成時に例外が発生した場合の動作を指定出来るようにしている.「例外が発生した時にそのまま例外を上流に放る」か,「例外内容をエラーログに出しながら (slf4jを使っている) キャッシュ済みの古いオブジェクトを返す」かを制御できるようになっている.例えば,他のサーバから値を取ってこようとする際に相手が500を返してくるケースとかは事実あると思っていて,そういう状況でこちらまで巻き込まれていては良くない.そういう場合でもサービスを継続できるようにすべく,このような状況下での動作をコントロールしたかったのでこういう機能を付けた.

所感

こういう小粒なライブラリでも,非同期性とかスレッドセーフとかを意識しつつコードを書くと少し複雑になることが分かった.毎度毎度こういうコードを書いていては身体や精神が持たないので,ライブラリにすることで再利用できるようにした.最近こういう小さなライブラリばかり書いている気がするのだけれど,どんどん小さなライブラリを作りつつ組み合わせて作っていくぞという精神世界になっている.

ところで,read through とか write through とか refresh ahead とか,そういう概念は学生時代に勉強したりパタヘネ本で勉強したりしていたはずなのにすっかり忘れていて厳しい気持ちになった.一方でこういうライブラリを実装しつつドキュメントを書くことで知識を定着させることが出来て良かったと思う.実感を伴わせることで知識が身につくという事を久々に実感できて体験があった.

Docuss というテストとドキュメント出力を一緒にやるライブラリ書いた

Docuss というものを書いた.Java のライブラリ.なお Java 8 以上じゃないと動かない.

どんなライブラリかというと,

  • HTTP request を対象 URI に送り,それによって得られた response の内容をテストする為のラッパ的な機能を提供する
  • response のテストが通ったら,その request と response の内容 (便宜上これを document としている) を所望の形式・方法で出力する

というライブラリ.要は HTTP request/response をテストしつつその内容をゲロっと吐くような機能を提供している.
つまりは貧者の autodoc と言い換えることが出来る.


詳しい使い方は README とか javadoc とかを見てもらうとして,実装上工夫している点としては以下の通り.

  • 出力フォーマットをコントロールできる
  • 出力方法をコントロールできる
  • 特定の http client 実装に依存していない
出力フォーマットをコントロールできる

出力フォーマットをコントロールできるというのは,response/request をどういうフォーマットで出力するかをコントロール出来るということ.
方法としては request と response の内容を任意のフォーマットに変換する formatter を出力する formatter generator を書いて (DocussFormatterGenerator という Interface を実装する必要がある) それをコンストラクタに渡すことで出力フォーマットを制御できる.

先の autodoc は綺麗な markdown が出て格好良いのだけれど,個人的にそこまでのモチベーションが無かったのでデフォルトで提供している formatter generator は単に内容を YAML で吐き出すようになっている (ファイル追記とかを考えた時に YAML は単純に append できて楽,そして綺麗なドキュメントにしたければ YAML を解釈して任意の形式のドキュメントに落とすツールを書けば十分だと思ったという理由から).
もしも綺麗な markdown で出力したくなったらその時にその為の formatter generator を書けば良い.

出力方式をコントロールできる

出力方法をコントロールできるというのはつまり出力先を制御できるということで,出力フォーマットと同様に DocussPresenter という Interface を実装することでコントロールが出来る.
デフォルトでは標準出力に吐く presenter と,ファイルに追記していくタイプの presenter を提供している.

特定の http client 実装に依存していない

特定の http client 実装に依存していないので,もし特定の http client を利用したい場合は DocussHttpClient という Interface を実装して利用すれば良い.基本的に DocussHttpClient の実装クラスがコアな責務を負っているという感じ.
デフォルトでは Apache httpclient のシンプルな実装を提供している (テスト用とだとそこまで凝った実装は必要ないだろう,という推測と現状から).


できるだけ特定のものに依存したくなくて,以上に挙げたようなものについては制御可能にすることで柔軟性を持たせた (と思っている).

まとめ

テストコードからドキュメント (的なもの) を生成するというのは流れとして自然というか正しいと思っていて,そういったもの,そしてシンプルなものが欲しかったので今回 Java 向けに書いた次第.
実コードを書いているとどうしても息切れをしてしまって,ドキュメントを書くところまで体力を保てないことがある.そうした中でもしっかりドキュメントを書けるように,こうしたサポートのツールは重要なのではないかと思っている.
気が向いたらどうぞお使いください.もうどんどん書いていくという精神になっている.

ここでオリジナルの autodoc author のありがたいお言葉を見てみましょう.

以上です.

YAPC Asia Hachioji 2016 に行ってきた & 喋ってきた

YAPC Asia Hachioji 2016 に行ってきて,ついでに喋ってきました.
諸般の事情で2日目しか行けなかったんですが,濃いトークをたくさん聞けて良かった.

特に,@ さんの M-V-Whatever の話 は非常に参考になって良かった.ああした知識の裏付けがあって,なおかつ体系づけて物事を説明できるというのは最早アートの一種だと思う.僕はそういった知識や能力が欠如していると思っていて,なにかと直感でやりがちなのでものすごく羨ましい.
@ さんの Unlisp の話 もかなり面白かった.言語処理系を作る時のメンタリティとか,実装する上での哲学や程よい妥協感,また実装上の葛藤なんかを生々しく聞けてとても良かった.言語処理系はかねがね書きたいと思っていて,多分それを実行に移す時にこの発表のことを思い出すのだろうな,という予感がある.端的に言ってとにかく格好良い発表だった.
@ さんの開発フローケーススタディもめちゃめちゃに良かった,良かったというか羨ましさを感じた.チームで1つのプロジェクトを遂行するにあたっての最初から最後までを第三者でも分かるように1本のトークになっていて,お話的な面白さを含みつつ,チームビルディングの妙技を感じられて非常に良かった.印象に残っているのは進捗度とか見積もりをしっかり可視化していたということで,ああいった裏付けが取れている状態で「こうしましょう」「ああしましょう」みたいな提案をしつつプロジェクトを進行していけるのは格好いいなあと思った.メンバーの納得感とか,プロジェクトにそぐわなくなってきたら手法を変えるとか,そういう話がされていたのも良かった.
あと,@ さんのCPANの依存モジュールをもう少し正しく検出したいというトークは,perl の静的解析ツールを書いていると出てくるあるあるみたいな感じで「あー,見覚えあるな〜〜」となり,過去の体験が程よくフラッシュバックしてきて面白かった.後で perl の構文は難しいですねえ,という話をできて楽しかったです.


ところで僕のトークは以下の様な感じ.

speakerdeck.com

普段のトークとは打って変わってというか,あまり技術の詳細の話はせずに,普段新しい言語を趣味とかでやるときに自分がやっている事を紹介したというストーリーです.なんか当日のトークでは結構色々言ったのでスライドだけでは伝わらない部分も多いかもしれない.後々動画が公開されるらしいので,なんかわからない所あったら見てみてください.
とにかく言いたかったことの主は「恐怖 = 無知」という部分で,これは僕がプログラミングを始めた時に抱いていた感情そのもので,今でもたまに味わうことがある.これを克服しないことにはどうにもならんのでとにかくやるしかない!!! みたいな話が主題です.
ちなみに,自己紹介の画像は gif アニメだったんだけど,pdf にしたら静止画になってしまった.以下に gif のオリジナルを示します.

f:id:moznion:20160704120517g:plain

おかげさまでこのトーク,ベストスピーカー賞2位を頂きましてとても嬉しかったです.皆様ありがとうございます.


あと LT もしてきたので,その資料も貼ります.

speakerdeck.com

総務省が配ってる,市外局番の doc (word のファイル) を解析して,S 式として扱って tokenize しましょうという内容.結局時間が足りなくてその実装は書けなかったのだけれど,いずれ実装したいと思っている.


あと,久々に会った人と廊下やら懇親会やらで色々喋れて楽しかったです.


YAPC Asia Hachioji,良い意味での手作り感で趣があり,完全に楽しいイベントだった.
主催の @ さん,運営の皆様ありがとうございました.また参加します.

YAPC::Asia Hachioji 2016 の2日目で喋ります

各位お疲れ様です.
さて表題の通り,YAPC::Asia Hachioji 2016 の2日目16時から,
「突如見知らぬ言語に出会ってしまった俺達は」というタイトルで発表します.

どんな話をするかというと,まあプロポーザルに書いてあるとおりなんですが,新しい言語とかを学ぶ為にどうすれば良いのか,そして実際にどうやっているのか,みたいな話をする予定です.プログラミング初学者の人をターゲットとしています.
今回本当に魂を売ってエモい話にしようと頑張っていたんですが,蓋を開けてみればいつもの様に漫談になってしまった……なので漫談に興味のある人もターゲットとなっています.エモ漫談みたいな新境地を開拓していきたい.

皆さん2日目の会場でお会いしましょう.1日目は友人の結婚式で喋るのでいません.

sprint という Java の string formatter を書いた

sprint という Java 向けの String formatter を書いた.

Maven Central にも置いてある.

http://search.maven.org/#search%7Cgav%7C1%7Cg%3A%22net.moznion%22%20AND%20a%3A%22sprint%22

sprint は Sprint#ff() というメソッドを提供している.使い方としては以下の様な感じ.

final Sprint sprint = new Sprint();
System.out.Println(sprint.ff("Hello: {}!", "John")); // => Hello: John!

処理としては,template を parse して placeholder とそれ以外とを検出して,その検出した placeholder に変数を埋めつつ文字列を生成している.
そしてコードを読むと分かる通り,sprint は実際には StringBuilder の wrapper のようになっていて,適宜 StringBuilder#append() を呼びながら文字列を組み立てている.

工夫などとしては以下の通り.

簡易な template

sprint では簡単な template を利用する.例えば "{}: {}" という感じ.この template 中の {} は placeholder であり,sprint はこの placeholder に対して与えられたパラメータを埋めていく.メソッドの受け取る第一引数はこの template であり,以降の引数は placeholder に埋めるためのパラメータとして扱われる.この時,このパラメータは StringBuilder#append() に渡されるので,結果的に String.valueOf() を適用した結果が文字列中に埋められる.
これは Logback の文字列 template もこんな感じだったと思う.楽で良い.

template の parse 結果を使い回す.

文字列を format する度に template を parse していては効率的ではない.template に対する parse の結果は一意のはずで,記憶しておいて以降の処理で使いまわしたとしても矛盾は起きないはず.なので sprint では template の parse 結果を template 文字列と紐付けてインスタンス内に保持し,同じ template を使った二回目以降の format の際にはその保持しておいた結果を用いる.つまり,sprint では template の parse は一度だけ実行されるということになる.
なお,sprint ではこの parse した結果の構造を走査することで文字列を生成している.

こうした処理の削減によりパフォーマンスが向上している.ベンチマークの結果としては以下の様な感じ(jdk1.8.0_92 で実行.コードはここ).

f:id:moznion:20160605223844p:plain

小さい

コードの規模は小さく,外部に対する依存がないので組み込みやすい.
あと Java 7 でも動くので Android とかでも使えそう.


という感じ.
String formatter はかねがね作りたいと思っていたのでこの土日で作ってみた次第.
どうぞご利用ください.

git-reviewer 書いた

code review の reviewer 選出をする時,pull request の内容をざっと眺めてから「この部分だから XX さんかな」とか「あそこのコードは YY さんが詳しいだろう」とか,そういう感じで選ぶことが多くて,つまりは勘と経験で選びがちになってしまう.これについては常々いくばくかの危うさを感じていた.
そもそも,「reviewer として誰が最適か」という知識はプロジェクトに長く関わっている人でなければ知りにくいものであり,いわば属人的な知識のひとつだと思っている.プロジェクトからそういった長老的な人がいなくなってしまったら,最適な code review を実施できなくなってしまう可能性がある.


従って,やはり技術で解決ということになる.
Facebook が作っている mention-bot という GitHubbot として動作するやつがあって,これは pull request が送られてくるとその pull request について blame を実行して code reviewer の候補を出してくれるという気の利いた処理を自動で行ってくれる.

mention-bot は便利で,我々も使っているのだけれど若干の不満もある (おおよそ良いのだけれど……)

  • WIP の pull request だと,作業途中時点での reviewer が選出されてしまう.mention-bot は pull request が送られた時点での reviewer を選出してしまうので,WIP pull request との相性が悪い.
  • GitHub じゃないと動かない

後者は身も蓋もない話だけれど,前者については若干問題があるなーと思っていた.
任意の時点での reviewer 選出をもっと気軽にできれば良いのに,と.


というわけで,git-reviewer というスクリプトを書いた.手元で git のサブコマンドを実行することで reviewer 候補の選出が出来る.

使い方は至って簡単で,

$ git reviewer <into branch> <from branch>

としてやると,その brnach 間の diff について最適と思われる reviewer を選出してくれる (into branch を省略すると,current branch が into branch として扱われる).


仕組みとしては極めてシンプルで,

1. branch 間の diff を取る
2. diff が出た各ファイルについて,削除された行をかき集める (すなわち,diff の先頭に - が付いている行)
3. 削除された行 (つまり変更を入れられた行) のもともとの author を git blame により特定する
4. その author をかき集める

という処理を行い,頻出する author が reviewer 候補として選出される.
もしも diff に削除行が1つもない場合は,変更があったファイルの全行についてその author を集計し,その数が多い人を reviewer 候補として扱うようにしている.


このコマンドを手元で実行することで,手軽に reviewer 候補を知ることが出来て便利になった.めでたしめでたし.
何か「こうした方が良いのではないか」「おかしいのではないか」などがあったら教えて下さい.


[追記]
実行してみればお分かり頂けると思うのだけれど,git-reviewer の出力はとてもシンプルなものになっている.以下のような感じ.

moznion: 123
nozniom: 42
foobar: 2

これらは影響行数の降順として出力されるので,上に表示されればされるほど reviewer 力が高いという事になる.

もしも除外したい committer がいるならば,パイプで grep -v とかで除外すれば良いのかな〜とか思っていたのだけれど,確かに reviewer 側のオプションで食わせられるようにしても良いかもしれない.これが UNIX 哲学だ!! と頭ごなしに殴りつけても良いことはないのです.参考になりました.


以下はコミュニケーションの様子