Steven
Steven1 分で読める

ソフトウェアを完璧に届けるための解剖学:テストが見逃したものをコードレビューがどう捉えたか

GeekBye v2シリーズを通して、同じことが何度も起きています。開発者のマシンではすべてのテストに合格した修正が、コードレビューによって「ほぼ全員にとって失敗していたはずだ」と証明されるのです。これは9つのリリースの背後にあるワークフロー——レビューというゲート、修正より先に不具合を捉える仕組み、そして「自分の環境では動く」を「ちゃんと動く」に変える、出荷前テストの規律の物語です。

エンジニアリング
プロセス
コードレビュー
GeekByeリリース
ソフトウェアを完璧に届けるための解剖学:テストが見逃したものをコードレビューがどう捉えたか

数週間のあいだに、GeekByeは9つのリリースを届けました——v2.0.0からv2.0.11まで——そしてこのシリーズはその一つひとつの物語を語ってきました。まとめて読むと、どの単一のバグよりも興味深いパターンが浮かび上がります。何度も、何度も、開発者のマシンではすべてのテストに合格した修正が、コードレビューによってほぼ全員にとっては失敗していたはずだと証明されたのです。

その隔たり——「自分の環境では動く」と「ちゃんと動く」のあいだ——こそ、信頼性が実際に宿る場所です。これはその隔たりを埋めるワークフローであり、そこから生まれたすべてのリリースへの索引です。

パターン:緑のテスト、誤った答え

シリーズのなかでも最も明快な3つのケースを挙げます。抽象を具体に変えてくれるからです。

  • マルチモニターのキャプチャ修正(v2.0.10)では、最初の実装は画面キャプチャをアプリのオーバーレイウィンドウにアンカーしていました。テストには合格しました——シングルモニターの開発マシンで。レビューはそのオーバーレイが実際にどこに存在するのか(物理的にドラッグしない限り、常にプライマリディスプレイ)を推論し、その「修正」はほぼすべての実ユーザーにとって、また誤ったモニターに解決してしまうと証明しました。正しいアンカー——カーソル——は、テスト実行からではなく、その議論から生まれたのです。
  • WebSocketフォールバックのリリース(v2.0.8)では、ブロッキングプロキシが返すまさにその403致命的な認証エラーとして分類されていることをレビューが発見しました——つまり、この機能が存在する目的だったはずのフォールバックは、決して発火できなかったのです。この機能は出荷され、ハッピーパスのテストには合格し、そして本来の対象ユーザーに対しては何もしなかったでしょう。
  • アイドルタイムアウトの修正(v2.0.9)では、最初のバージョンは「まだ生きている」時計のタイムスタンプを、一部のトランスクリプトが正当にスキップするコードパス——つまり相手の話者のもの——の内側に押していました。レビューは、将来の変更がまさに修正しているそのバグを静かに再導入しうると捉え、タイムスタンプは無条件に押される場所へ移され、それをそこに留めるテストが添えられました。

これらのどれも、コードを実行することでは捉えられませんでした。すべては、コードがなぜ動くのかをレビュアーが推論し——そして動かないケースを見つけることで捉えられたのです。

ゲートを構成する3つの部分

シリーズの背後にあるワークフローは、手の込んだものではありません。例外なく適用される3つの習慣です。

1. レビューはコードを実行するのではなく、正しさを推論する。 合格するテストは、あなたが考えたケースについてコードが動くことを証明します。レビューは、システムに対する第二の、あえて反証を試みるモデルであり、あなたが考えなかったケースは何か?を問います——二台目のモニター、企業プロキシ、分岐をスキップするトランスクリプト、一つ前のバージョンのクライアント。このシリーズにおけるレビューのステップは、しばしば独立したエージェントのレビュアーが、修正を承認するのではなく反証するよう促されたものでした。そのフレーミングこそが要点です。あなたの推論を壊そうとするレビュアーは、承認しようとするレビュアーが読み飛ばす穴を見つけるのです。

2. あらゆる振る舞いの修正には、正確な失敗を固定するテストを添えて出荷する。 機能が動くことを示すテストではなく、この特定のバグが死んでいることを示すテストです。ブロックされたプロキシの403はフォールバックへ抜けなければならず、本物の認証エラーの403は抜けてはなりません。アクティビティの時計は、帰属をスキップするトランスクリプトでもタイムスタンプを押さなければなりません。これらのテストは、半年後に誰かが近くをリファクタリングしたときにバグが静かに戻ってこられないように存在します——失敗は床に釘付けにされているのです。

3. ビルドは出荷前に公証され、検証される。 これらの修正のいくつかは、診断から署名・公証・自動更新のリリースまで一日以内に到達しました。そのスピードが安全なのは、ひとえにゲートが規律を保っているからです。診断が根本原因を証明し(マイク権限のリリースは診断を先に出荷しました)、テストが修正を固定し、レビューが推論を反証し、そのうえで初めて本物の公証済みビルドが出ていきます。厳密さはスピードを安全にするものであって、スピードと引き換えになるものではありません。

なぜこれがAIアプリでいっそう重要なのか

この規律がGeekByeのようなツールにとって特に譲れない理由があります。シリーズのなかでも最も厄介だったバグのいくつかは、クラッシュのように騒々しいものではなく、静かに間違っているタイプでした。スクリーンショットが誤ったモニターをAIに渡してしまう(v2.0.10)、文字起こしがゴミのような用語に偏り「speak」が人名として出てくる(v2.0.11)、アシスタントが誤ったモードで答えているのにそれを見る術がない(v2.0.3 + v2.0.5)。アプリがコンテキストをモデルに渡すとき、誤った入力は自信たっぷりに誤った出力を生み、どこにもエラーが出ません。例外を投げない失敗を、テストで抜け出すことはできません。推論で抜け出さなければならない——それこそがレビューというゲートの目的なのです。

シリーズを順番に

以下はそれぞれ、一つのリリースについての独立したケーススタディです。最初から最後まで読めば、それは製品を「動く」から「信頼できる」へ引き上げる解剖学になります。

  1. バージョン2が実際に何を要するか:206コミット分の正直な状態 — v2.0.0。土台:真実でない状態を決して見せない。
  2. 私たちのアプリが自分自身をDDoSした日 — v2.0.1 + v2.0.4。起動時のアップロード滞留が自前のバックエンドに殺到した一件と、それが強いた生存確認の階段。
  3. 静かなソフトウェア:ちらつきの修正と回答モードのチップ — v2.0.3 + v2.0.5。機能を追加しないリリースが、細部を一つずつ積み上げて信頼を買った。
  4. あなたのMacアプリは起動のたびにマイクへのアクセスを忘れる — v2.0.6。macOSのApp Translocationと、修正より先に診断を出荷したこと。
  5. 一つのCSS変数、5回のレビュー、そして嘘をついたSwiftツールチェーン — v2.0.7。均一な半透明と、ドキュメントが強制スクリプトと食い違ったせいでサイズが変わったバイナリ。
  6. ファイアウォールがWebSocketをブロックするときのライブ文字起こし — v2.0.8。純粋なHTTPSフォールバックと、それを自分自身から隠してしまうところだった403
  7. AIメモ係が会議の途中で録音を止めてしまう理由 — v2.0.9。あなたの声しか聞けなかったアイドルタイマーと、デスクトップをロックしかねなかったクラッシュ。
  8. 画面録画が誤ったモニターをキャプチャする理由 — v2.0.10。誤ったディスプレイのバグと、一台のモニターでは合格し二台では失敗していたはずの修正。
  9. AIの文字起こしが専門用語を聞き間違える理由 — v2.0.11。音声認識をあなたの語彙へ偏らせること——そして、良くなる前に事態を悪化させた回帰。

結論

完璧とは到達する状態ではありません。守り続けるゲートです。9つのリリース、そしてそのどれでも同じ3つの問い。あなたが考えなかったケースは何か、正確な失敗はテストで固定されているか、そして本物の署名済みビルドは実際に出ていったか? どれも華々しくはありません。すべてが、GeekBye v2が静かに感じられる理由です。ソフトウェアを——AIであれそうでなくとも——作るなら、転用できるのは単一の修正ではありません。緑のテストスイートを議論の終わりではなく始まりとして扱う習慣です。

上記のすべてのリリースは自動更新で公開中です。これらの修正が積み上がって生まれた製品については、GeekBye v2の新機能をご覧ください。

関連記事

あなたのMacアプリはマイクへのアクセスを許可する — そして起動するたびに、それを忘れる
Steven
Steven1 分で読める

あなたのMacアプリはマイクへのアクセスを許可する — そして起動するたびに、それを忘れる

GeekByeがマイクの許可を求め、あなたは許可し、動きました。次に起動すると、消えている。しかもアプリは、システム設定 → マイク にそもそも一度も現れなかった。犯人は、アプリを「消えてしまうパス」から静かに実行していたmacOSのセキュリティ機能でした — その診断と、たった一つのプロンプトで済む修正をここに記します。

macOS
権限
エンジニアリング
たった一つのCSS変数、五回のレビュー、そして嘘をついたSwiftツールチェーン
Steven
Steven1 分で読める

たった一つのCSS変数、五回のレビュー、そして嘘をついたSwiftツールチェーン

GeekBye v2.0.7は、オーバーレイ全体を調整可能な半透明にしました — 一行のCSS変更のように聞こえますが、まったくそうではありませんでした。本当の物語は、コードレビューが何を捕まえたかにあります: 薄れることを拒んだ二つの面、同じ不透明度なのに間違って見えた録音バー、そして自分たちのドキュメントがレビュアーに間違ったSwiftのバージョンを伝えたせいで672バイトを行ったり来たりしたコンパイル済みバイナリです。

エンジニアリング
デザイン
ビルド
アプリを終了不可能にした「安全チェック」
Steven
Steven1 分で読める

アプリを終了不可能にした「安全チェック」

自動アップデートは、私たちが出荷した中で最も難しい機能でした — アプリを文鎮化させないために、4日間で6回のリリース。最悪のバグは、慎重であろうとして自ら仕込んだものでした: 失敗したアップデートを、文字通り終了できないプロセスに変えてしまった、500ミリ秒の「安全」チェックです。

エンジニアリング
Electron
信頼性