その手の平は尻もつかめるさ

ギジュツ的な事をメーンで書く予定です

Docker 使って golang で書いたツールの cross platform build をする

まず以下の様なシェルスクリプトを用意する.

#!/bin/bash

# ここで依存しているパッケージを go get する
# 例えば以下の様な感じ
# go get -v gopkg.in/yaml.v2
# go get -v gopkg.in/redis.v3

for GOOS in darwin linux; do
  for GOARCH in 386 amd64; do
    export GOOS
    export GOARCH
    go build -v -o bin/tool-$GOOS-$GOARCH main.go
  done
done

darwinlinux について,それぞれ i386amd64 アーキテクチャ向けのバイナリを作るようなスクリプト.main.go はビルド対象のファイル.成果物はカレントディレクトリの bin 以下に生成されるので,あらかじめ mkdir しておく必要がある (後述).

なお,GOOSGOARCH を export しておかないとうまく動かない.ドキュメントではこれが省略されていて少しハマった.

そんでもってこのスクリプトを呼び出す.以下は Makefile の例.

build:
	docker run --rm -v "$(PWD)":/go/src/github.com/moznion/tool -w /go/src/github.com/moznion/tool golang:1.6 bash build.sh

ここでは docker hub で公開されている golang のイメージを利用している.
https://hub.docker.com/_/golang/

-v オプションを使ってカレントディレクトリに docker image 内の go path が通っている然るべきディレクトリをマウントする.
でもって,-w オプションでマウントしたディレクトリをワーキングディレクトリに設定し,上記のシェルスクリプトを image 内で実行する.

と,ワーキングディレクトリ以下の bin に成果物が吐き出され,ワーキングディレクトリはカレントディレクトリにマウントされているので,つまり成果物はカレントディレクトリ以下の bin に出力されてハッピーという寸法!

なお,--rm オプションを付けておかないと実行する度にゴミ container がどんどん溜まっていくのでつけたほうが良い.

Ref;

実際のコードはここに書いてある感じのやつ


追記

cgo 使わない,なおかつ go 1.5 以上であれば make だけで完結するとのこと!

Docker 使って golang で書いたツールの cross platform build をする - その手の平は尻もつかめるさ

別にdockerもシェルスクリプトもいらなくて makeだけで完結しそうな予感/アンサーソングしといた http://lestrrat.ldblog.jp/archives/48673706.html

2016/05/24 06:27
b.hatena.ne.jp

なお,gox 及び goxc については go 1.4 以下の便利ツールという立ち位置とのこと.

resque_exporter 書いた

最近 Prometheus を使って各種メトリクスを取っていて,ふと resque の queue のステータス,つまり各 queue に 積まれている job の数を集計・可視化したくなったので,そのための exporter を書きました *1

実装としては,resque は <namespace>:queues という SET に全ての queue の名前を持っているので,SMEMBER を使って全 queue 名を取得してきて,
更にその各 queue 名に対応する <namespace>:queue:<queue_name> という LIST が queue そのものを表しているので,その LIST の長さを LLEN により取得することで各 queue の job 数を集計するという仕組みになっています (ここらへんがその実装).

なお,この exporter は resque 互換の job queue であれば問題なく動作するようになっていると思います (実際に我々は resque の java 実装である jesque でこれを使っています).


ところで golang で Prometheus の exporter を書くのは至って簡単で,

  1. prometheus/client_golang の Collector interface を実装する
  2. prometheus.MustRegister(exporter) と言う感じで Collector interface の実装を登録する
  3. http.Handle("/metrics", prometheus.Handler()) という感じで http 経由で export する口を作って serve

という感じでめいめい exporter を提供することが出来ます.シンプル!


なお補足ですが,色々な exporter の実装を見ていると scrapeFailures という counter を用意してあげて,そこに metrics 取得に失敗した回数を突っ込んでやるのがマナーっぽい感じでしたので,当 exporter でもそのようにしております.

*1:今までは fluentd + kibana という構成で似たようなことをやっていた

redis-script-manager 書いた

p5-Redis-ScriptJava 移植になります.
Redis を使ってて困った時にインターネットを徘徊してると @shogo82148 さんのブログにたどり着く事が多く,日頃お世話になってるわけですが,今回は Redisのトランザクション・スクリプト・ランキングを扱うPerlモジュールを公開しました - Shogo's Blog からの知見です.

上記の記事中には

EVALコマンドのドキュメントによると、 「EVALSHAで実行してみて NOSCRIPT No matching script で失敗したらEVALでやり直す」というのがおすすめらしいです。 EVALコマンドはSHA1ハッシュの登録も行ってくれるので、初回 NOSCRIPT になっても次回からはEVALSHAが成功します。

そんなに複雑なことではないのですが、毎回書くのも大変なのでモジュールとして切り出したのが Redis::Script です。 以下のようにスクリプトオブジェクトを作っておいて、パラメータを渡して実行します。

とあり,まさにこの度そういった utility 的なものを毎度毎度書くのもだるくなったので,ここは一丁 library 化しようということで今回 Java に移植した次第.
Java でやるなら,特定の script について SCRIPT LOAD を一度だけ行なうような singleton class を用意してごにょごにょやるという方法も考えましたが,基本的な実装は p5-Redis-Script を踏襲しています *1

redis-script-manager としては Jedislettuce の2つの Redis Client に対応しています.

ひとまずこれだけ対応しておけば自分で使う分は大丈夫だろう,という判断からこの2つに対応しました.
もしも他の Redis Client のサポートが必要になったら,redis-script-manager-core の抽象クラスである ScriptManager を継承して実装すれば同様の挙動を実現できるので,その時が来たら考えるぞ! という感じです.


ところでこういう細かい library を書いて使っていくのはあまり Java の文化っぽくない感じがあり,その背景には依存する jar が増えれば増える程地獄と化してきて厳しい,などといった状況があることと思います.確かにそうだ.
しかしだからといってコードをいちいちコピペして使い回すとかはあまりしたくないし,やっぱりかゆい所に手が届くパーツがあれば便利やん? みたいな感覚があるので,とりあえず外に出して使ってみるのが良いのではないかと思っているところです.

*1:むしろ ScriptManager ごと singleton にするという戦略はありかもしれない

Server::Starter + Java 環境下で JMX による監視を有効にしていると graceful restart 時に不具合が出ちゃって困るんですけど〜って時

割とニッチな話題ではありますが……


Server::Starter を使ってプロセスを立ち上げると graceful restart を簡単に実現できるなど便利な点が多く,LL 時代はこれでやっていっていたわけですが,残念なことに Java からその Server::Starter テクノロジを利用するのは長らく不可能なものと思われてきました.しかし昨年2015年の中頃に Java からでも Server::Starter の利用が可能であることが id:tokuhirom 氏により発見された (+ Server::Starter にパッチが送られた) ため,Java からでもお手軽に Server::Starter を用いた graceful restart が出来るようになりました.
Server::Starter については参考になる記事がインターネット上にたくさんありますから適宜検索してもらうとして,Java から Server::Starter を利用する術については以下を参照してください.


さて本題ですが,タイトルが長いのでわかりやすく分割して書きますと,

  • Server::Starter を使って Java プロセスを立ち上げていて
  • JMX による 監視を有効にしていて
  • Graceful Restart を行った時

に,JMX が port を食い合ってしまうために上手く restart できないという問題についての話です.

例えば,以下のようにして Server::Starter + Java + jmx を起動してから,

$ java \
    ...
    -Dcom.sun.management.jmxremote \
    -Dcom.sun.management.jmxremote.port=5555 \
    -Dcom.sun.management.jmxremote.rmi.port=5555 \
    Main

restart を行うと,瞬間的に2つの Java のプロセスが立ち上がるため,JMX の connector server が port を食い合って (新プロセスの方が "Address already in use" を吐く) 新しいプロセスを上手く立ち上げることがきなくなります.こうした場合,connector server は立ち上がりませんし,手法によっては古いプロセス・新しいプロセスの両方とも終了せずに無限に起動し続けるといった,言うなればデッドロックのような状況に陥るかもしれません.

というわけでどうするかというと,コマンドラインオプションを指定する代わりに手で connector server を立ち上げるコードを書いて,daemon の起動時に立ち上げてやります.

public void startJMXConnectorServer() throws IOException {
    final int port = 5555;
    LocateRegistry.createRegistry(port);
    final JMXServiceURL url = new JMXServiceURL("service:jmx:rmi:///jndi/rmi://localhost:" + port + "/jmxrmi");
    final MBeanServer mBeanServer = ManagementFactory.getPlatformMBeanServer();
    JMXConnectorServerFactory.newJMXConnectorServer(url, null, mBeanServer).start();
}

こんな感じのものを書いて,立ち上げのタイミングで startJMXConnectorServer() を呼び出してやると,コマンドラインオプションで指定した時と同様の効果が得られます.
が,しかしこれで上手くいくかと思いきや,このままだとコマンドラインオプションを使った手法と同様で上手く resstart することが出来ません (依然 "Address already in use" が出る).
ので,苦肉の策でこうしてやる.

public void startJMXConnectorServer() {
    final int port = 5555;
    boolean isJMXLaunched = false;
    for (int i = 0; i < 100; i++) {
        try {
            LocateRegistry.createRegistry(port);
            final JMXServiceURL url = new JMXServiceURL("service:jmx:rmi:///jndi/rmi://localhost:" + port + "/jmxrmi");
            final MBeanServer mBeanServer = ManagementFactory.getPlatformMBeanServer();
            JMXConnectorServerFactory.newJMXConnectorServer(url, null, mBeanServer).start();
        } catch (IOException e) {
            // Might be "address already in use" error, retry
            try {
                Thread.sleep(300);
            } catch (InterruptedException ie) {
                log.warn("Interrupted");
            }
            continue;
        }
        isJMXLaunched = true;
        break;
    }
    if (!isJMXLaunched) {
        throw new RuntimeException("Failed to start JMX connector server");
    }
    log.info("JMX connector server started");
}

スピンロックのような感じで port が空くまで待って,port が空いた,すなわち古いプロセスが終了したら connector server を立ち上げるという感じ.これでひとまず動くっちゃ動く.良かった良かった.

しかしこの方法だと起動のタイミングによっては「古いプロセスの破棄」と「新しいプロセスの完全な立ち上がり」との狭間に落ちて,リクエストを取りこぼしてしまう可能性があるので,実装に (つまり startJMXConnectorServer() を呼び出すタイミングに) 気を使う必要がありそうです.
あるいは Web Application のようなものであればこんな方法を使わずに,起動してから最初にリクエストが来た瞬間に connector server を立ち上げてやる,というような方法でも良いかもしれませんね.

こちらからは以上です.

Web Application Server を動かす時の Java8 起動オプションのメモ

一般的な Web Application Server *1 を Java8 で動かすにあたって,最近有効にしている起動オプションについてメモ.
何か間違っていたり,あるいは「こっちの方が良い」みたいなのがあれば教えて下さい.

-server

server mode で起動させる (指定しないと client mode になる可能性がある,マシンスペックによってスイッチする?).

-Djava.net.preferIPv4Stack=true

If IPv6 is available on the operating system the underlying native socket will be an IPv6 socket. This allows Java(tm) applications to connect too, and accept connections from, both IPv4 and IPv6 hosts.
If an application has a preference to only use IPv4 sockets then this property can be set to true. The implication is that the application will not be able to communicate with IPv6 hosts.
https://docs.oracle.com/javase/8/docs/technotes/guides/net/properties.html

IPv6 が使える OS では IPv6IPv4 両方のホストと接続できるが,true にすることで IPv4 ソケットだけを使うようにする.

-Dnetworkaddress.cache.ttl=0
networkaddress.cache.ttl=0

Specified in java.security to indicate the caching policy for successful name lookups from the name service.. The value is specified as integer to indicate the number of seconds to cache the successful lookup.
A value of -1 indicates "cache forever". The default behavior is to cache forever when a security manager is installed, and to cache for an implementation specific period of time, when a security manager is not installed.
https://docs.oracle.com/javase/8/docs/technotes/guides/net/properties.html

デフォルトでは DNS の成功結果を未来永劫キャッシュするようになっていてアレなので,0を設定することでキャッシュしないようにする.

[追記]
id:astjさんに教えてもらったんですが,このオプションはセキュリティポリシーのため -D では有効になりません.

セキュリティーポリシーの一部であるため、-D オプションや System.setProperty() API では設定されません。その代わり、これらのプロパティーは JRE のセキュリティーポリシーファイル lib/security/java.security で設定されます。
https://docs.oracle.com/javase/jp/7/api/java/net/doc-files/net-properties.html

すみませんすみません.

-Dnetworkaddress.cache.negative.ttl=0
networkaddress.cache.negative.ttl=0

Specified in java.security to indicate the caching policy for un-successful name lookups from the name service.. The value is specified as integer to indicate the number of seconds to cache the failure for un-successful lookups.
A value of 0 indicates "never cache". A value of -1 indicates "cache forever".
https://docs.oracle.com/javase/8/docs/technotes/guides/net/properties.html

デフォルトでは DNS の失敗結果を 10 秒キャッシュするようになっている.0をセットすることでキャッシュしないようにする.

[追記]
上と同じ理由で-Dでは有効にならないのでセキュリティポリシーで設定してください.すみませんすみません.

-XX:OnOutOfMemoryError="kill -9 %p"

OutOfMemory が発生した時に実行するコマンドを設定できる.OOM が起きたら確実に自殺してもらう必要があるので kill を発行.事と次第によっては自動でアプリケーションを再起動するようにしても良いかもしれない.
Ref: OutOfMemoryErrorが発生したときにきちんとJavaプロセスを殺す - nekop's blog

[追記]
@さんに教えていただきましたが,Java8u92から追加された-XX:+ExitOnOutOfMemoryErrorを利用したほうが良さそうです (XX:OnOutOfMemoryErrorに指定したコマンドが間違っていてうっかり死なない,みたいなミスを回避できる).

-XX:+OptimizeStringConcat

Optimize String concatenation operations where possible
http://www.oracle.com/technetwork/articles/java/vmoptions-jsp-140102.html

文字列連結が最適化されるとのこと (Java 8 ではデフォルト true っぽい).

-verbose:gc
-Xloggc:/var/log/gc/gc.log.`date +%Y%m%d%H%M%S`

gc log を吐くようにする.またそれをどこに吐くかの設定.
log ファイル名のうしろに日付情報を付与することでlogが上書きされるのを防いでいる.

-XX:+UseGCLogFileRotation

gc log を1つのファイルに延々吐き続けるのではなく,ログローテーションを有効にする.
後述の XX:NumberOfGCLogFiles と XX:GCLogFileSize に関係がある

-XX:NumberOfGCLogFiles=5

ログローテーションさせるときに,最大何個のログファイルでローテーションさせるかの設定.数字 (ファイル個数) は任意.

-XX:GCLogFileSize=1024MB

gc log 1個あたりの最大容量 .容量は任意.

-Xms 2G

ヒープ領域の初期値.値については各アプリケーションごとにチューニングの余地がある.

-Xmx 2G

ヒープ領域の最大値.値については各アプリケーションごとにチューニングの余地がある.

-Xmn 512m

New 世代領域サイズ.値については各アプリケーションごとにチューニングの余地がある.

-Xss 256K

スレッドスタックサイズ.値については各アプリケーションごとにチューニングの余地がある.

-XX:MaxMetaspaceSize=128M

!!! これめっちゃ重要 !!!
Java 8以降だと,かつての「-XX:MaxPermSize」の代わりに設定してやる必要がある.
Permanent 領域は最大容量が有限だったのに対し,Java 8 以降の Metaspace 領域はメモリの許す限りモリモリ消費できてしまうので,最大容量を指定してキャップすることで安全側に倒してやる必要がある.
Ref: http://equj65.net/tech/java8hotspot/

-XX:+UseConcMarkSweepGC

Use concurrent mark-sweep collection for the old generation

CMS GC を使う.
Java のバージョンによってデフォルトのGCが変わりそうなので,設定したほうが安全な感じがした.

-XX:+CMSParallelRemarkEnabled

メジャーGCのRemarkフェイズをマルチスレッドで実行
(「動作させるマシンのCPUが2個以上かつ物理メモリが2Gbytes以上の場合には、自動設定される」とあるが念のため: http://www.atmarkit.co.jp/ait/articles/0704/24/news136_2.html)

-XX:+UseParNewGC

マイナーGCをマルチスレッドで実行
(「動作させるマシンのCPUが2個以上かつ物理メモリが2Gbytes以上の場合には、自動設定される」とあるが念のため: http://www.atmarkit.co.jp/ait/articles/0704/24/news136_2.html)

-XX:+UseCMSInitiatingOccupancyOnly

CMSが開始されるトリガーは二つある。ひとつはOld領域の利用率がCMSInitiatingOccupancyFraction に到達した場合。もうひとつは今CMS走らせないと先にヒープ埋まっちゃうよね、という統計判断を元にしたトリガー。UseCMSInitiatingOccupancyOnlyを付与すると後者のトリガーが無効になる。
http://nekop.hatenablog.com/entry/20140327/1395886237

というわけで,統計判断を無効に.

-XX:CMSInitiatingOccupancyFraction=75

XX:+UseCMSInitiatingOccupancyOnly と関連.

これらのデフォルトはMinHeapFreeRatio=40、CMSTriggerRatio=80なので、CMSInitiatingOccupancyFractionのデフォルト値は92になる。つまり、Old領域が92%になったときに最初のCMS GCが行われる。オブジェクトアロケーションが激しいようなアプリケーションでは92%だと手遅れになることがあるのでCMSInitiatingOccupancyFractionは下げたほうが良い。70とか。
http://nekop.hatenablog.com/entry/20140327/1395886237

[追記]

XX:CMSInitiatingPermOccupancyFraction=percent
Sets the percentage of the permanent generation occupancy (0 to 100) at which to start a GC. This option was deprecated in JDK 8 with no replacement.
http://docs.oracle.com/javase/8/docs/technotes/tools/unix/java.html

JDK8 以降は非推奨とのこと……JDK 9と出会ったらまた考えましょう

[追記]
@さんに教えていただきましたが,これはオプション自体が非推奨なわけではなく,JDK 9ではCMS GC自体が非推奨のためこのような記述になっているとのこと.

-XX:+ScavengeBeforeFullGC

FullGC 走らせる前に young の GC を走らせる

-XX:+CMSScavengeBeforeRemark

If turned on, it will cause a minor collection to occur just before the remark. That's good because it will reduce the remark pause. That's bad because there is a minor collection pause followed immediately by the remark pause which looks like 1 big fat pause.
https://blogs.oracle.com/jonthecollector/entry/did_you_know

CMS の Remark 処理の前にマイナーの scavenge をするということらしい.

-XX:+TieredCompilation

階層型コンパイルを有効にする.有効にすると,コンパイル済コードの実行中に JVM が最適化のための統計情報を収集可能にする.

この改良の有効性はそれほど高くはないと思われる。サーバのスタートアップ時の処理時間は,デスクトップやアプレットベースのアプリケーションほど重要ではないからだ。ただし非常にダイナミックなシステムにおいて各ノードがすばやく立ち上がる必要のある場合などには,この変更でウォームアップ時間を短縮できるかも知れない。
http://www.infoq.com/jp/news/2011/11/java7-u1

とのことだが……

-XX:+UseCompressedOops

Enables the use of compressed pointers (object references represented as 32 bit offsets instead of 64-bit pointers) for optimized 64-bit performance with Java heap sizes less than 32gb.

XX:+UseCompressedOops オプションを使用すると、Java オブジェクトヒープのサイズが 32 ギガバイト未満の場合に、64 ビット JRE のパフォーマンスを向上させることができます。この場合、HotSpot はオブジェクト参照を 32 ビットに圧縮して、処理する必要のあるデータの量を減らします。

Ref: http://itdoc.hitachi.co.jp/manuals/link/has_v101000/0342020D/0766.HTM
Ref: http://www.oracle.com/technetwork/jp/articles/java/compressedoops-427542-ja.html
Ref: http://d.hatena.ne.jp/quitada/20120130/p1

-XX:+PrintGCDetails

gc log に詳細な情報を吐き出すようにする.GC algorithm や JVM のバージョンによって追加される情報は変わってくるようだが,とりあえず GCスループットの情報が出たりする.

-XX:+PrintGCApplicationStoppedTime

Stop The World が起きた時,stop した時間を gc log に書き出すようにする.

-XX:+PrintGCDateStamps

gc log の各行の先頭に日時のスタンプを付与する (PrintGCTimeStamps にすると,JVM が起動してからの秒数が先頭に付与されるようになる.ヒトが読みにくい気がするので Date に)

-XX:+PrintTenuringDistribution

young領域からold領域への昇格(昇格?)に関するログを出力するためのオプション.

-XX:+HeapDumpOnOutOfMemoryError

OOM Error が起きた時に Heap Dump を吐き出すようにする.

雑感

Xms,Xmx,Xmn 及び Xss は割と勘と経験で設定している感じがあるので,改善の余地が残されている気がする.
以下の記事なんかを参考にするのが良いのか;

JVMのチューニング - ITエンジニアとして生きる
[調査]JVMのスタックサイズについて - Akira's Tech Notes
ガベージコレクタの仕組みを理解する:チューニングのためのJava VM講座(後編) - @IT

*1:一般的の定義が曖昧

開発に使えるダミーのマイナンバーについて



というわけでこれです

f:id:moznion:20160307122343p:plain
(オリジナル: https://www.kojinbango-card.go.jp/, https://www.kojinbango-card.go.jp/shared/images/header/main_img.jpg)

1234 5678 9012 がダミーとして使えることがこの度わかりました.良かった良かった.
チェックディジットが不正なので駄目そう.

我々はどうしたら……

快適な連打機能を提供するためにサーバサイドが出来ること

人間生きていると高確率で連打機能を提供するシステムを構築する必要が出てくることがあります.
例えばあるコンテンツについてボタンを連打することで「良いね」を表明するようなシステムです.

連打は楽しい!! しかし実装する方としては純粋に楽しんでばかりはいられません.
こうしたシステムは素朴に実装したとしてもある程度のトラフィックまでは耐えられるかもしれませんが,ある規模を超えると安定して機能提供する事は難しくなってくるかもしれません.

ここでは,サーバサイドの話題を中心として,快適な連打機能を提供するシステムをどうすれば提供できるかを考えていきます (あくまで一例です).

想定としては,

  • あるコンテンツについてボタンが付いていて,そのボタンは連打が出来る
  • あるコンテンツについてボタンが何回押されたかを取得できる

というシステムを仮定します.

なんとなく結論が分かる雑な図

f:id:moznion:20160222000426p:plain

本題

サーバを分離する

API を通じてやり取りするアプリケーションを考えた時に,通常の API を提供するサーバと連打可能な API を提供するサーバを分けるという方法が考えられます.
これらのコンポーネントが同居していると,連打機能の影響でシステムの負荷が上昇した時に通常の API まで巻き込んでしまうので,分離させておくことでそうしたリスクを排除することが可能となります.
また,それぞれのコンポーネントについてインスタンスを適宜追加投入することでスケールアウトが可能となるので,負荷が高まった時に柔軟な対応を取ることができるようになります.

リクエスト自体を少なくする

連打可能なボタンを設置した時に,1回ボタンが押されるごとに API が呼ばれては大変です.
クライアント側でそのイベントをバッファしておき,あるタイミングでそれらをまとめて1つのリクエストとして扱うといった方法をとることで,総リクエスト数を減らすということが出来ます.リクエストを減らすというのは,負荷に対する根本的な解決の1つと言えるでしょう.

こういう風にバッファリングすることでリクエスト数を減らすという方法はクライアント側の実装にある程度の負担を強いることとなりますが,そこは開発のコストのバランス感という感じでしょう.

また,不正行為への対策も必要となる場合があります.例えば,「あるタイムウィンドウ内に何回押されたか」を束ねて1リクエストにする方法を考えた時に,「何回押されたか」をユーザの手によって詐称されて “LONG_MAX” なんかを送られてきた日には目も当てられません.こうした異常な入力に対してはサーバ側で何らかの対策を取る必要が出てくるでしょう.

高速なストレージを使う

memcached や Redis というような高速なストレージを利用するという話題です.

ある程度の規模感までは RDBMS でも十分かもしれませんが,連打可能なサービスは往々にして I/O が増えがちとなるのでメモリストレージを利用できれば考えることが減り,楽になるように思います (あくまで要件に依る.ミッションクリティカルな要求だったら難しい選択になる).

また,メモリストレージを使うのであればバックアップについて考えておく必要が出てくると思います.メモリストレージに全ての信頼を寄せるのであれば不要かもしれませんが,僕は心が弱いので特定のタイミングで Redis に乗っているデータを MySQL に掃き出すということをやっています.

一言で言うと,ユーザからリクエストを受ける時は高速なストレージで,そして適時バックアップを RDB に取ってデータの消失を防ぐ,という戦略です.

データ構造をシンプルにする

上記のメモリストレージを使うという話題にも共通するトピックです.
データ構造が複雑であれば複雑であるほど,メモリストレージに乗せにくくなり,またカウントをシュッと取得することが難しくなります.
いかに格納を高速にするか,いかに参照を高速にするかはデータ構造のシンプルさにかかっていると言うことができます.
例えばこの記事で想定しているシステムだと,シンプルに「ボタンが何回押されたか」というカウント情報のみをストレージに保持するなどといった構造を考えることが出来るでしょう.

解析用のストレージは別に用意する

とはいえ解析はしたいので,そうした解析に使えそうな詳細なデータは非同期的に *1 別の解析用のストレージ (例えば BigQuery や Redshift,あるいは自前の Hadoop など) に放り投げることで,データを捨てずに貯めておき後で解析をするという方法が考えられます.
さて,解析をリアルタイムで行いたいという要件は稀だと思われるので,データを貯めるだけ貯めておいて後で解析をするという方法を採っていますが,もし「リアルタイムに解析したい!」という要件が出てきたら色々考える必要が出てきます.難しいですね.

まとめ

連打できる要素が用意されると人間は連打をしがちです.基本的に連打という営みは楽しいからです.
快適な連打機能を提供するためには色々な工夫をする必要があり,本記事では以下のようにその一例について述べました.

  • サーバを分離する
  • リクエスト自体を少なくする
  • 高速なストレージを使う
  • データ構造をシンプルにする
  • 解析用のストレージは別に用意する (そして非同期で格納する)

とは言え「誰が,いつ,何回押したか」をリアルタイムかつランキング形式で出したい!!! などといったクレイジーな要件が出てくるとこの記事で書いたようなシンプルな方法では難しくなるので,更に考える必要が出てきます.世の中は難しい.地獄じゃ.

また,本記事では非同期プログラミングや HTTP/2 に関する話題については触れませんでしたが,こうした技術は快適な連打を支える一助になるかもしれません.


快適な連打を支えるにはここで書いた他にももっと効果的な方法があることと思います.何か知っている方がいたら語らいましょう.

*1:同期的にやるとその I/O 処理に引きずられてしまう