Tokioアプリ高速化の原則まとめ

RustConfのUnconfセッションでの議論をもとに、エンジニアのRussellがTokioアプリのパフォーマンスに関する原則集を公開した。

最初の原則は「まず問題があるかを確認する」こと。Alice Ryhlが推奨する10〜100マイクロ秒のpoll時間を超えるアプリは多いが、それが必ずしもユーザー体験に影響するわけではない。実際の指標から逆算して問題を特定することが重要だ。最も有用なTokioメトリクスとして、最近追加された「スケジュール遅延ヒストグラム」を挙げている。

スループットとレイテンシのトレードオフについては明確な指針を示す。低レイテンシが目標なら「より頻繁にyieldする」こと、高スループットが目標なら「バッチ処理でオーバーヘッドを分散する」ことが基本となる。Redisのリクエストパイプラインを例に、Poll::Readyが連続する場合に公平性が失われるリスクを説明している。

そのほか、グローバルリソースへの注意、mutexの慎重な扱い、並列数の制限、Tokioワーカーの他スレッドからの分離など、実践的な原則が列挙されている。「時にはエグゼキューターをブロックしても問題ない」「優先度別に複数のruntimeを使う」といった上級テクニックも取り上げた。