故・サードウェア久保さんのご冥福を心よりお祈り致します。

自分のエンジニアとして、経営者として大先輩である、株式会社サードウェア久保さんが、亡くなられました。
心よりご冥福をお祈りすると共に、これからの自分自身の身を引き締める思いです。


引用)Thirdware Linux-HA – Facebook

「いや、え、うそ、マジで?あのおっさんが?」というのが(ホント失礼なんですが)、訃報を観た感想でした。

久保さんが残された沢山のリソースには、本当に助けられましたし、久保さん自身、最後まで経営者であり、エンジニアでした。
ほんと、ストレージとHAの技術をしゃぶり尽くして来たというか。
色々カッコ悪いところもあったのですが、ほんと憎めない方でした。

自分は、インフラエンジニアの世界に足を突っ込んで、18年目、起業2回目、会社作って1年目の若輩者なのですが、小さな追悼ブログを書かせて頂きたく思います。


ほんと、ご自身でLinux-ha-jpにレス返していたのが、本当ならありえないのですけど、印象的なんですよ。
多分、このポストが久保さんのMLへの最後のポストだと思います。
DRBD8.3で扱える最大ボリュームサイズ- Linux-ha-japan ML

本当に、イベントで捕まると長いおっさんでした(失礼!・笑)。
でも、ホント、久保さんは話は長くてダサいんですが、どこまでいってもエンジニアの大先輩なんですよね。

サードウェアさんがんばれ!

これからサードウェアさんは、「収束」と「継承」を同時に行うことになるので、とても大変だと思います。
本当に経営スキルはインフラエンジニアとはまた違うスキルなので、残された皆さんには慣れない事も沢山あるでしょう。

業務的にお手伝い出来れば良いのですが、今はゴタゴタとバタバタで大変だと思いますので、今は追悼記事に留めさせてください。

2011

自分が初めてHAクラスタを組んだのは、2011年にある案件を手掛けた時でした。

その時は、まだMariaDBの前身のSun MySQLで、今のようにマルチマスタ構成を組むことが出来ませんでした。
また、Pacemaker/Corosyncもなく、heartbeat/DRBDでサーバの冗長をしていたものです。

ある案件で、MySQL Serverの冗長構成を構築する際に、自宅でガンガンに1Uサーバを回しながら検証をしていたのですが、その時には沢山のナレッジを参照していました。
おそらく久保さんが残されたナレッジも多かったでしょう。
結局、フェールオーバーした際にPHPのmysql関数がセッションを引きずる事が判って、インフラサイドから開発サイドにアドバイスしたものです。

この後、後発のPacemakerが世に出るワケなんですが、Linux-HA Japanから「ロゴが医療機器っぽい!」というコトで、投票になり、#qpstudy のLTで笑ったモノです(笑)。

Pacemakerのロゴとバナー公開 – Linux-HA Japan

2014

久保さんときちんとお話したのは、この頃でしょうか。
写真が残っていればよかったのですが、この頃アホみたいに忙しかったので、残ってませんでした…残念。
お仕事できちんとお話させて頂いたのですが、案件に繋がらず…当時の自分が頑張ってどうにかなる課題ではなかったのですが。。。

「書き込みに失敗したらダメだよね。」

機会があり、1度だけ、サードウェアさんのセミナーでお話させて頂いたことがあります。

思えば、「そうえいばEC2でHAクラスタ組む事減ったけど、ブロックデバイスの冗長って意外に大事なコトじゃね?」って思いったったのがキッカケだったと思います。
当時、NECのCluster Proといった商用製品も扱っていたので、ふとしたキッカケでCluster ProのMDの代わりになるモノを、EC2+EBS+OSSで組んでみた、というのがこのスライドです。
だいたい2徹夜くらいで実装した気がします。

実はこのセミナー、あまりに天候が悪すぎて参加者4人、そして前ぶりの久保さんのトークがひたすら30分に渡るという、ホント記録的な回だったのですが(笑)、懐かしいですね。

実は当時、DRBDがActive-Activeで動作するようになったばかりだったので、安直にRouteTableをPacemaker/Corosyncで制御してみたんですが、やっぱり上手くいかなかったです。
どうもWindowsのiSCSIイニシエータのキャッシュ回りが原因で、Write中にフェールオーバーするとファイルシステムが見事に破損しました。
さすがにセミナーで嘘は言えないので、「ぶっちゃけ壊れます!」って正直に言ったんですが(笑)、その時後ろから見てた久保さんが、こう、ぼそっと。

「書き込みに失敗したらダメだよね。」

徹夜明けも業務がん詰めもあって、めっちゃグサッと来ましたが(笑)、それが当時の己の限界でもあって。
なかなかに、このエピソードが抜けないのです、はい。

実はこの時、直後に作業がスケジューリングされていた関係で、早めに切り上げて会社に戻らざるを得なかったのですが、ちゃんとお話しを聞いておけばよかったと後悔しています…
ただ、この頃にサーバサイド・ネットワークインフラ・IaaSとアホみたいに手を動かしたが故に、実力が付いた時期でもあります。

今、かれこれHAクラスタを触り始めて7年が経つのですが、本当にこの時代に学習した底辺レイヤーのスキルは、今でも普通に役に立ちます。

ClusterProのDiskHeartBeat(共有ストレージを使ったハートビート実装)やMD(ファイル同期)の良さ悪さ、Pacemaker/Corosync/DRBD(セクタ同期)の良さ・悪さ。
ストレージ回りのキャッシュの動き。
SCSIの実装や動きのこと。
ファイルシステムの事(主にext3)。
ハートビートのパケットをユニキャストで飛ばすか、マルチキャストで飛ばすか。
IaaS上でのフェイルオーバーの実装…。

全部、自分が手を動かして確認していった事ですが、これらの背景に、久保さんや先輩達の膨大なノウハウの影響は計り知れません。
そして、今の時代になって、色んなものが一回りしたお陰で、新しい技術も「あー、アレとアレだね」って言えちゃう。
そんな自分になりました。

インフラエンジニアは居なくなって初めて存在がわかる

とても大昔に、誰からか聞いた言葉です。
おそらく、今、久保さんにとても当てはまる言葉じゃないでしょうか。

インフラエンジニアが戦線を張ってる時、インフラは死守されます。
だから、誰もがインフラが動いていることを当たり前と感じている。

しかし、インフラエンジニアが居なくなったその時、はじめてインフラすら人に支えられていた事を実感します。
そして、その時にはじめて優れたインフラエンジニアが評価されるのです。。。

1インフラエンジニアとして、1経営者として、自分にとって、久保さんの死は、本当に大きいのです。
あ、世代が変わる瞬間なんだな、と。

久保さん、僕も何度か死線を潜りましたが、まだ生き残ってます。
どうか、これから自分を見守ってあげてください。

そして、エンマ様はSPOFです。
あっちでも冗長化してあげてください(笑)。