Raspberry Pi を Read-Only Root-FS にする & メモリがいっぱいになったらどうなるのか

Raspberry Pi を Read-Only Root-FS にしておくと急にマシンがダウンした時でもファイルシステムが破損しにくくなります．
もちろん書き込み内容は永続化されなくなりますが (書き込み内容は tmpfs にストアされるので rebootで揮発する)，得てして電プチなどの乱暴なオペレーションに晒されがちな Raspberry Pi にはそういった保護機構を入れておくと何かと良いことがあるかと思います．

というわけでコレを使います:
github.com

この repository にあるツールを利用することで，Raspberry Pi をお手軽に Read-Only Root-FS にすることが可能です．
内部的には OverlayFS を利用しており，Write アクセスについては tmpfs に対して操作し， Read アクセスについては SD カードの Read-Only な FS の内容と tmpfs の内容を重ね合わせることによって，所望の動作を実現しているようです．頭がよいですね．

実際のセットアップについては，repository の README.md に書いてある内容をそのまま実行すれば良いです (aptで引っ張ってくる一部ツールに関する記述が欠落しているのでそれを追加で入れる必要あり: initramfs-tools)．

環境

# uname -a
Linux 295057330043532 4.19.75-v7+ #1270 SMP Tue Sep 24 18:45:11 BST 2019 armv7l GNU/Linux
# cat /etc/os-release
PRETTY_NAME="Raspbian GNU/Linux 10 (buster)"
NAME="Raspbian GNU/Linux"
VERSION_ID="10"
VERSION="10 (buster)"
VERSION_CODENAME=buster
ID=raspbian
ID_LIKE=debian
HOME_URL="http://www.raspbian.org/"
SUPPORT_URL="http://www.raspbian.org/RaspbianForums"
BUG_REPORT_URL="http://www.raspbian.org/RaspbianBugs"

Installation

基本的に README.md と同じですが，念の為メモ程度に残しておくこととする (オリジナルのドキュメントを参照することを強く勧めます):

sudo su
apt update
apt install -y git rsync gawk busybox bindfs initramfs-tools
dphys-swapfile swapoff
dphys-swapfile uninstall
update-rc.d dphys-swapfile disable
systemctl disable dphys-swapfile
git clone https://github.com/josepsanzcamp/root-ro.git
rsync -va root-ro/etc/initramfs-tools/* /etc/initramfs-tools/
mkinitramfs -o /boot/initrd.gz
echo initramfs initrd.gz >> /boot/config.txt
reboot

Swap が Disabled になっているかどうか見る

pi@raspberrypi:~ $ free
              total        used        free      shared  buff/cache   available
Mem:         443080       32452      199196        5904      211432      352712
Swap:        102396           0      102396
pi@raspberrypi:~ $ free
              total        used        free      shared  buff/cache   available
Mem:         443080       30756      351780        1504       60544      359840
Swap:             0           0           0

Disabled になってますね．

Read-Only になってるかどうかの確認

echo "howdy?" >> am_i_here
sudo reboot
# After a while...
ls am_i_here
# ^ Should be missing

Swap が disabled && Read-Only Root-FS 環境下でめちゃ write されたときの挙動

ちょっとどうなるか気になったので検証．

pi@raspberrypi:~ $ free
              total        used        free      shared  buff/cache   available
Mem:         443080       31296      383472        2240       28312      371056
Swap:             0           0           0

dd で書いてみる:

pi@raspberrypi:~ $ dd if=/dev/zero of=tmpfile bs=314572800 count=1
Killed
pi@raspberrypi:~ $ echo $?
137

Out of memory っぽいエラーコード

1 MiB ずつファイルに書き込むスクリプトで検証:

#!/usr/bin/env perl

use strict;
use warnings;
use utf8;

open my $fh, '>>', './tmp' or die $!;

for (my $i = 0; $i <= 400; $i++) {
    # puts 1 Mib each iteration
    print $fh 'x' x (1024 * 1024) or die "$i MiB: $!";
}
__END__

$ perl check.pl
215 MiB: No space left on device at check.pl line 11.
Warning: unable to close filehandle $fh properly: No space left on device at check.pl line 11.

Disk full と同じような挙動に見えますね．

free してみる:

$ free
              total        used        free      shared  buff/cache   available
Mem:         443080       31496      158672      223020      252912      148164
Swap:             0           0           0

shared が増えて，free及びavailableが減少していますね．

もう一度スクリプトを実行してみる:

$ perl check.pl
0 MiB: No space left on device at check.pl line 11.
Warning: unable to close filehandle $fh properly: No space left on device at check.pl line 11.

今度は書き込めずに Disk Full エラーが返却されていますね．

その一方で free 領域はある程度残っており，マシンがハングアップしてにっちもさっちもいかなくなる，という状況にはならないようです．こういった挙動はおそらく tmpfs 自体の挙動でしょう．

とはいえ swap を切っているので，実際にプロセスがメモリを食い切ると OOM Killer が走ったり，最悪マシンがハングしてしまうと思います．継続的なメモリ使用量の監視が必要かもしれません．そもそもファイルをもりもり書くタイプのワークロードには Read-Only な Root-FS は不向きな気がしました．

以上です．

Zabbix 4.x で API を使って Active な Problem だけを引っ張ってくる方法

要旨

どうやれば Zabbix API を使って所望の機能を実現できるかを調査する際には Zabbix が実際に呼んでいる SQL クエリを tcpdump で抜き出すと手っ取り早い．

内容

色々あってZabbixを使っているわけですが，この手のものを使っているとAPIを介して Active なアラート (Zabbixでいうとproblem) を取りたくなります．
というわけで，Zabbix 4系でそれをやるにはどうしたら良いかということについて記すものです．

problem.get [Zabbix Documentation 4.4]

さてまずドキュメントを漁っていて使えそうに思えるのはこの辺でしょう．

This method is for retrieving unresolved problems.

などとそれっぽいことも書いています……がこのAPIだけ使っても駄目．なぜか Resolved な problem や，退役した host の problem も返脚されてしまいます *1．

実際に欲しいものは Zabbix UI で取得できる unresolved な problems (つまり active な problems) なので，それと等価なクエリを発行してやれば良い……ということで Zabbix Server で tcpdump して， RDBMS に対してどのような SELECT クエリを発行しているかを見ます．
RDBMS (MySQL) に対するトラフィックについて tcpdump する方法については以下のような記事が詳しいでしょう:

memo.yuuk.io

実際にやってみると，とてつもない量のクエリが発行されます *2 が，めげずに読み解いてみると

• problem table からフィルタ条件 (severityとか) で WHERE かけて引っ張ってくる
• triggers table から相関サブクエリを用いて triggerid, itemid および hostid をどやこやして active な host, trigger, event を取ってくる

という感じで active な problems を抜き出してくる，という雰囲気になっています．tcpdump で実際に取れるクエリはこのような感じ:

SELECT
  p.eventid,p.objectid,p.clock,p.ns,p.name,p.severity FROM problem p
WHERE
  p.source='0' AND
  p.object='0' AND
  p.severity IN ('4','5') AND
  NOT EXISTS (
    SELECT NULL FROM event_suppress es
    WHERE es.eventid=p.eventid
  ) AND
  (p.r_eventid IS NULL OR p.r_clock>1579414413)
ORDER BY p.eventid
DESC LIMIT 1001

SELECT
  t.triggerid,t.priority FROM triggers t
WHERE
  t.triggerid IN (/* IDs here */) AND
  NOT EXISTS (
    SELECT NULL FROM functions f, items i, hosts h
    WHERE
      t.triggerid=f.triggerid AND
      f.itemid=i.itemid AND
      i.hostid=h.hostid AND
      (i.status<>0 OR h.status<>0)
  ) AND
  t.status=0 AND
  t.flags IN ('0','4')

これを API だけでやろうとすると

• problem.get API を呼んで event ID のリストを引っ張ってくる
• event ID のリストを使って event.get API を呼んで
  • trigger ID のリストを引っ張ってくる
  • trigger ID => event なマップを作る
• trigger ID のリストを使って trigger.get API を呼んで
  • item ID のリストを引っ張ってくる
  • trigger ID => trigger なマップを作る
• item ID のリストを使ってitem.get API を呼んで host ID のリストを引っ張ってくる
  • この時 item の status が enabled かどうかによってフィルタする
• host ID のリストを使って host.get API を呼んで
  • host の status が enable かどうかによってフィルタする
  • host に紐付いている triggers を走査して
    • trigger ID => trigger なマップから trigger を特定する
    • trigger ID => event なマップから event を特定する

とやってやると Zabbix UI で取れる active な problems を 5発の API 呼び出しで抜き出すことが出来ます．めちゃめちゃ大変ですね！！！
おとなしくSQLを発行したほうが楽だったまであります．つらい……

まとめ

どうやれば Zabbix API を使って所望の機能を実現できるかを調査する際には Zabbix が実際に呼んでいる SQL クエリを tcpdump で抜き出すと手っ取り早い．

以上です．

おまけ

箇条書きで挙動を解説してもわけわからないと思うので，めっちゃ雑に TypeScript で書いたコードを適当に残しておきます．雰囲気を察してください:

  fetchProblems(severity: ZabbixProblemSeverity[]): {}[] {
    return this.jsonRPCClient.doRequest("problem.get", {
      'output': "extend",
      'source': ZabbixProblemSource.createdByTrigger,
      'object': ZabbixProblemObject.trigger,
      'severities': severity,
      'recent': false,
      'sortfield': ["eventid"],
      'sortorder': ["DESC"]
    })['result'];
  }

  fetchEvents(eventIds: string[]): {}[] {
    return this.jsonRPCClient.doRequest("event.get", {
      "output": "extend",
      "eventids": eventIds,
      "selectRelatedObject": "refer",
    })['result'];
  }

  fetchTriggers(triggerIds: string[]): {}[] {
    return this.jsonRPCClient.doRequest("trigger.get", {
      "output": "extend",
      "triggerids": triggerIds,
      "selectItems": "refer",
    })['result'];
  }

  fetchItems(itemIds: string[]): {}[] {
    return this.jsonRPCClient.doRequest("item.get", {
      "output": "extend",
      "itemids": itemIds,
      "selectHosts": "refer",
    })['result'];
  }

  fetchHosts(hostIds: string[]): {}[] {
    return this.jsonRPCClient.doRequest("host.get", {
      "output": "extend",
      "hostids": hostIds,
      "selectHosts": "refer",
      "selectTriggers": "refer",
    })['result'];
  }

  const problems = fetchProblems(this.severity);
  const eventIds = problems.map(p => p['eventid']);

  const events = fetchEvents(eventIds);
  const triggerIds: string[] = [];
  const triggerId2Event: { [triggerId: string]: {} } = {};
  for (const event of events) {
    const triggerId = event['relatedObject']['triggerid'];
    triggerIds.push(triggerId);
    triggerId2Event[triggerId] = event;
  }

  const triggers = fetchTriggers(triggerIds);
  const itemIds: string[] = [];
  const triggerId2Trigger: { [triggerId: string]: {} } = {};
  for (const trigger of triggers) {
    if (trigger['status'] != ZabbixTriggerStatus.enabled) {
      continue;
    }

    const itemId = trigger['items'][0]['itemid'];
    if (!itemId) {
      continue;
    }

    itemIds.push(itemId);
    triggerId2Trigger[trigger['triggerid']] = trigger;
  }

  const items = fetchItems(itemIds);
  const hostIds = items.filter(item => item['status'] == ZabbixItemStatus.enabled)
    .map(item => item['hosts'][0]['hostid'])
    .filter(item => item);

  const hosts = fetchHosts(hostIds);
  const activeProblems: ZabbixActiveProblem[] = [];

  hostLoop:
    for (const host of hosts) {
      if (host['status'] != ZabbixHostStatus.enabled) {
        continue;
      }

      for (const hostTrigger of host['triggers']) {
        const triggerId = hostTrigger['triggerid'];
        const trigger = triggerId2Trigger[triggerId];
        if (!trigger) {
          continue;
        }

        const event = triggerId2Event[triggerId];

        activeProblems.push(new ZabbixActiveProblem(
          host['host'],
          trigger['description'],
          triggerId,
          event['eventid'],
          parseInt(event['severity'], 10),
        ));

        if (activeProblems.length >= MAX_PROBLEMS_NUM) {
          break hostLoop;
        }
      }
    }

*1:この辺が関与してそうだけど深追いはやめた: "This method may return problems of a deleted entity if these problems have not been removed by the housekeeper yet."

*2:

Zabbix，problemsの画面を表示するためだけに50件以上のSELECTクエリ発行しててこれマジですごいな

— moznion (@moznion) 2020年1月19日

AWSでMFAを利用しつつセッショントークンをいい感じで取ってくるツール "sesstok" を書いた

github.com

書いたと言っても書いたのは3ヶ月近く前でした．リリース告知をしていないことに気づき，本記事にしている次第です。

何をやるツールかというと，以下の記事に書かれていることをいい感じにやるツールでして，

aws.amazon.com

1. Userの accessKeyID, secretAccessKey および mfaSerial (MFA device ARN) を使って、STSのセッショントークンを取ってくる (これらの情報は初回実行時に設定可能で，rcファイルに保存される)
2. 取ってきたセッショントークンをAWSのcredfentialsファイルに適用する (適用せずにトークンだけ取ってくることもできる)

というような動きをします．自動でcredentialsファイルを変更するというのがキーポイントですね．AWSのcredentialsファイルは通常のiniファイルと同等に扱えるので楽です．

こんな感じで sesstok 123456 のような感じでOTP codeを食わせてやるとSTS API経由でセッショントークンが得られて……

AWSのcredentialsファイルがそのセッショントークンに基づいて自動的に変更されるというような感じです．
あとはこのトークンを用いてお好きなようにどやこやするとよいでしょう．

UserがMFAを使っている環境で、なおかつそのUserを特定のRoleにAssume RoleしてAWSを利用するというシチュエーションの時 *1 にいちいちSTSのAPIを叩いてcredentialsを適用して……というのがだいぶダルかったためこのようなツールを書いたという経緯です *2．
どうぞご利用ください．

*1:つまりUserに対して直接access tokenを紐付けないという運用

*2:その用途についての記述: https://github.com/moznion/sesstok#to-assume-role-for-another-role

golangのstructに対してコンストラクタを自動生成するCLIツール "gonstructor" を書いた

github.com

表題の通りです．出オチのような名前です．

使い方やどういう挙動をするかという話題についてはREADME.mdのSynopsisをご覧いただければと思います．Javaのlombokをご存知の方はlombokの@Valueのような挙動をする，と言えばイメージしやすいでしょう．
基本的にはgo:generateと組み合わせて使うことになるだろうと思います．

モチベーションとしてはREADME.mdのMotivationにも書きましたが，ザックリ言うと以下のような感じです:

• Structのフィールドをprivateかつimmutableに取り扱いたいことが多い
• フィールド (ないしはstruct) をimmutableに保つことについて，goでは基本的に「気をつける」しかないが，その際にはフィールドはprivateであるほうが嬉しい
  • フィールドを破壊的に変更できる存在が絞られるのでコントロールしやすくなる
• フィールドをprivateにすると直接structを作るのが難しくなる
  • 得てしていわゆるコンストラクタのようなものを作りがち
• structの定義に基づいてコンストラクタを自動で生成したい
  • ついでにフィールドに対するgetterも生えていると便利なことが多いのでそれも自動生成したい

publicなフィールドを行儀悪くグイグイ書き換えるようなことはしないだろ〜，とは思いますが，しかし仕組みとしてできるということはできるという意味なので，そういうのはなるべく仕組み側でやりにくくしてしまうのが良いだろうと考えている次第です．

どうぞご利用ください．

それはそうとしてGitHub Actions便利ですね．

TypeScriptのMap<K, V>をJSON.stringify()に食わせると空のオブジェクトになって困るんですけどって時

（TypeScriptに限らずJavaScriptでもだいたいこのような感じだと思いますが）

例えば以下のようなコードを書くと，出力としては {"body":{}} が得られます．

const body = new Map<string, string>().set("foo", "bar");
console.log(JSON.stringify({body}));

本当は {"body": {"foo": "bar"}} のような構造がほしいところにこれでは困るわけですね．

そこでどうするかと言うと Object.fromEntries() を利用すると良い:

developer.mozilla.org

2019年11月現在だと比較的新しい機能ですね．

const body = new Map<string, string>().set("foo", "bar");
console.log(JSON.stringify({body: Object.fromEntries(body)}));

このようにするとめでたく {"body": {"foo": "bar"}} という構造が得られる．ヤッター！！

これはid:sugyanさんに教えていただきました．ありがとうございます！

Object.fromEntries() ?

— すぎゃーん💯 (@sugyan) November 12, 2019

なお注意点としては以下のとおりです

• node 12以降のバージョン (もしくは対応ブラウザ) が必要．MDNのページでサポート状況をご確認ください．
• tsconfigのlibの指定に es2019 を指定する必要あり

以上です．助かりましたね．

[追記]
JavaScriptの場合について記す (環境はnode v12.13.0)．

const body = new Map().set("foo", "bar");
console.log(JSON.stringify({body})); // => {}

const body = new Map().set("foo", "bar");
console.log(JSON.stringify({body: Object.fromEntries(body)})); // => {"body": {"foo": "bar"}}

同じような感じですね．
[追記ここまで]

以下はやり取りのおまけです．

うおー，ES6の `Map<K, V>` をJSON.stringify (というかObject化) すると `{}` になるの全く知らなかった！！！

— moznion (@moznion) November 12, 2019

つJSON.stringify([...map])

— アラサーペンネくん🍝 (@pastak) November 12, 2019

それやると `[["unko", "daisuki"]]` みたいな感じにならない？　`{"unko": "daisuki"}` になってほしいのだけど

— moznion (@moznion) November 12, 2019

たしかに。気合でやるかなんか適当なグッズ持ってきて使いましょう

— アラサーペンネくん🍝 (@pastak) November 12, 2019

結局こうよ
const body = meta ? meta : new Map<string, string>();
body.set(this.messageAttributeName, msg);

const bodyObj = {};
for (const [key, value] of body.entries()) {
bodyObj[key] = value;
}

— moznion (@moznion) November 12, 2019

{k:Symbol()}が{}になるのも趣ある

— 限界シェアハウスみたいなTL (@mizchi) November 12, 2019

バイナリぽん置きでGPG passphraseベースの暗号化・復号化を行うツールを書いた

表題のとおりです．

github.com

名前は出オチです (ref: エニグマ (暗号機) - Wikipedia)

色々あってgpgコマンドが無い (入れられない) ような環境でもバイト列を暗号化・復号化したいということがあり (あと脳が悪くてgpgコマンドのオプションを覚えられない)，バイナリぽん置きでそれをやるツールを書いたという話です．使い方についてはREADMEをご覧ください．至ってシンプル．
もちろんgpgコマンドとの互換性もあるので，gpgでencryptしたファイルをamugineでdecryptしたり，あるいはその逆をすることも可能となっています．

golangはopenpgpの実装をgolang orgで提供しているので大変便利ですね！　https://github.com/golang/crypto/tree/master/openpgp

CompletionStage<T>な変数を同期的に処理したいんですけど〜ってとき

Javaの話です．

CompletionStage<T>を返却するようなメソッドがあって，それを同期的に処理したい (単体テストを書くというシーンが最も多いでしょう) ということが生きているとあります．しかしCompletionStageはget()のようなメソッドが生えていないので同期的に処理することができません．thenAccept()を使おうにも，例えばJUnitのテストケースではすっぽ抜けてしまってうまく扱えません (逆にテストケース以外ではうまく働くでしょう)．

そんなときにどうするかというと，手っ取り早い方法はCompletableFuture<T>にキャストしてしまうことでしょう．すると，オブジェクトにget()が生えてくるので同期的に値を取り扱うことが可能となります．

例:

final CompletionStage<String> completionStage = getSomething();
final CompletableFuture<String> future = (CompletableFuture<String>) completionStage;
final String got = future.get(); // ここで同期的に取り扱える

最初からCompletableFutureで値を返却してほしいですね．以上です．