1つのノードからCortexへ:世界規模で100K TPSのブロックチェーンデータを提供

100K+ TPSという規模で、ブロックチェーンデータを最小のレイテンシで、しかもグローバルに、完全な一貫性を保ちながら提供するには何が必要か。

これが、World AppやRobinhood（Robinhood）のように数百万人規模の新規ユーザーをオンボーディングするアプリを含め、次世代のスケールしたブロックチェーンアプリをどう支えるか、2023年初頭に私たちが直面した課題でした。

私たちの歩みは2017年、1台のEthereumノードから始まりました。それ以来、強気相場も弱気相場も、その間のあらゆる局面で、数え切れないほどのアプリケーションを支えてきました。こうした運用経験のすべてが、世界初のインテリジェントなブロックチェーンエンジンであるCortexにつながっています。

現在、Cortexは私たちの開発者プラットフォーム全体、すなわちRPC APIs、Data APIs、Gasless Transactions、Rollupsを支えています。これはAlchemyのすべてのプロダクトにとって大きな前進です。移行作業も、新たに学ぶべきツールもありません。長年の実運用から得た教訓の上に築かれた、より賢く、より速いインフラがあるだけです。

Cortexへの道のり

創業初期、創業者のNikilとJoeはヘッジファンド向けのブロックチェーンリサーチツールを開発していましたが、その過程でEthereumノードを自前で運用する苦労に直面しました。1台のノードでも問題なく動いていましたが、2017年のICOブームで需要が爆発しました。水平方向のスケーリングはスループット面では助けになったものの、大きな課題を生みました。それがデータの一貫性、つまりどのノードがリクエストを処理しても、すべてのユーザーが同じ正規のブロックチェーン状態を見られるようにするという課題です。

これを解決するため、2018年にVox Nodiを構築しました。これはノード間で同一のブロックチェーン状態を保証する一貫性レイヤーです。2021年までに、Vox Nodiを基盤とするNode APIsは、大規模なトラフィックの急増の中でもOpenSea、0x、Polymarketといったチームを支えていました。

そしてマルチチェーンの時代が到来しました。2022年以降、対応するEVMチェーンを数個から100以上に拡大し、Solanaのサポートも開始しました。同時に、NFT API、Token API、Transfers API、Smart Wallets、Rollups as a Serviceといった新しいプロダクト群が、社内で最も効果的な負荷テストとなりました。これらは同じ基盤の上に構築されており、どの顧客よりも大きなワークロードを生成するため、顧客が問題に直面する前にスケーリングの課題を予測し、システムを強化することができました。

しかし、これだけの進化を遂げてもなお、インフラの多くは依然として米国内にありました。ヨーロッパやアジアのチームはより高いレイテンシに直面していました。真にグローバルでマルチチェーンなエコシステムを支えるには、根本的な再設計、つまりまったく新しいエンジンが必要でした。

Cortex：グローバル規模での速度と信頼性

2023年までに、開発者が求める譲れない要件は2つになっていました。

• 50ms未満のグローバルレイテンシ
• トラフィックの急増や基盤となるブロックチェーンの問題にかかわらず揺るがない信頼性

この2つをトレードオフなしで実現するには、スタック全体を第一原理から見直す必要がありました。それがCortexです。

ローンチ以降も、リクエストパスの最適化を続けてきました。最近では、これまでで最大級のアップグレードの1つを実施しました。Alchemy Edge Proxy、私たち独自のDDoS防御およびルーティングレイヤーです。これにより、クリティカルなサービング経路における最後のサードパーティ依存が解消され、レイテンシがさらに低下し、信頼性も向上しました。

速度：あらゆるリクエストを高速化する

Cortexを通過するリクエストの各段階は、速度を追求して調整されています。

グローバルなノード配置により、リクエストは常に最も近いリージョンに到達し、リアルタイムのレプリケーションによりすべてのリージョンが最新の状態に保たれます。一貫性レイヤーとしてVox Nodiを用いる中で、マルチリージョン化にはいくつかの工夫が必要でしたが、最終的には世界中で高速かつ一貫した体験を提供できるようになりました。

サードパーティのエッジをAlchemy Edge Proxyに置き換えたことは大きな影響をもたらしました。エッジを自社で持つことで、ユーザーに近い場所でオーバーヘッドを抑えたルーティングが可能になりました。その効果は即座に現れ、RPC呼び出し全体のP95レイテンシは150msから20msへと7.5倍改善しました。

現在公開されているパフォーマンスデータについては、プロバイダー、チェーン、リージョン別のAlchemyのRPCレイテンシベンチマークをご覧ください。

各データセンター内では、コアとなるコンピュートおよびネットワーキングレイヤーが処理を引き継ぎ、依存関係のあるサービスを同じ場所に配置し、ロケーション認識型のルーティングを実施しています。これにより、リクエストが不必要にマシン間を行き来することがなくなり、無駄なホップが削減されます。Istioはmutual TLSをデフォルトで有効にすることで内部のセキュリティ体制を強化するとともに、リトライ、サーキットブレーカー、段階的なロールアウトといった高度なトラフィック管理機能を提供し、速度と耐障害性の両方に貢献しています。

リクエストがノードに到達すると、今度は単一マシンの性能がボトルネックになります。ベアメタルサーバー上で稼働させることで、Cortexは仮想化のオーバーヘッドを回避し、コストとレイテンシをより細かく制御できます。Reth nodeクライアントの開発チームとの緊密な連携により、アップストリームでの修正やクライアントレベルの最適化が実現し、スループットが大幅に改善しました。

Cortexは、データが利用可能になる最初の瞬間そのものも高速化します。ネットワークレイヤーでは、予測的なピア選択とクォーラム構築を用いて、新しいブロックをできる限り早く検知します。これは実運用上、ユーザーが最新のブロックや状態の更新をより早く見られることを意味し、インデックス作成、取引、リアルタイムアプリケーションといったレイテンシに敏感なワークロードにおいて、その効果が下流に波及していきます。

最後に、Cortexはネットワークタイプ、クライアントタイプ、レイテンシプロファイル、SLA、過去のパターンに基づいてリクエストをインテリジェントにルーティングします。ルーティングはGitOpsスタイルのワークフローで管理され、数秒以内にグローバルへ反映されます。私たちのプロキシは、同じ動的な設定を利用してその場で適応します。例えば、Reth基盤のクライアントへトラフィックを移行する際、JSON RPCのエラーコードの差異は、レスポンスをその場で書き換えるプロキシモジュールによって吸収されつつ、同時にアップストリームへ恒久的な修正を提供してきました。

リージョン、データセンター、ノードといったあらゆる階層において、Cortexはレイテンシを削減するよう設計されています。これが、世界中で50ms未満のレスポンスを実現している理由です。

信頼性：すべての層に防御を組み込む

しかし、速度だけでは十分ではありません。信頼性も同じくらい重要であり、Cortexはスタックのあらゆる層に慎重に防御を組み込んでいます。

エッジでは、Alchemy Edge Proxyによってクリティカルなサービング経路からサードパーティ依存が取り除かれました。このレイヤーを自社で持つことで、より厳格な信頼性保証を得るとともに、ベンダー起因の障害というカテゴリー全体を排除しました。実際、11月18日に発生したCloudflareのグローバル障害の際も、Alchemyのサービスはほぼ影響を受けませんでした。まさにCortexが耐えられるよう設計されている種類の信頼性シナリオです。

ノードサービスのレベルでは、私たちのプロキシはマイクロカーネルアーキテクチャを採用しています。各機能はプラグイン可能なモジュールとして実装されており、プロキシ全体を再デプロイすることなく、実行時に有効化、無効化、再設定が可能です。この設計により、バグの修正、クライアント間の挙動の差異（例えばRethとGethの違い）の正規化、そしてダウンタイムなしでの新機能のロールアウトが柔軟に行えます。これをシャッフルシャーディングと冗長なノードプールと組み合わせることで、障害を分離し、影響範囲を封じ込めています。

各リージョン内では、あるノードがダウンした際、Cortexは自動的にトラフィックを健全なノードへ再ルーティングします。バージョン管理された更新により、フェイルオーバーが多発する状況下でも、開発者が古いデータを読み取ってしまうことはありません。

グローバルレベルでは、Cortexは多層のフェイルオーバーシステムを採用しています。プライマリリージョンが劣化した場合、リクエストはセカンダリリージョンへルーティングされます。それも失敗した場合は、レガシースタックにフォールバックします。そして最も稀なケースでは、独立した緊急バックアップスタックを維持しています。これに加え、リアルタイムのグローバルレプリケーションにより、これらの移行の間もすべてのリージョンが一貫した状態を保ちます。開発者がエラーを目にする前に、あらゆるリクエストには複数のフォールバック経路が用意されています。

最後に、Cortexは障害を予測し未然に防ぐための、より賢いシステムを導入しています。AIを活用したフリート管理システムがノードの更新を監視し、その重要度を分析したうえで、必要に応じてテストやノードのアップグレードを自動化します。また、コンテキストを認識するルーティングは、ネットワークの混雑、劣化したノード、不具合のあるクライアントバージョンなどに応じて動的に適応し、状況が変化してもリクエストが成功し続けるようにします。

これが、私たちの信頼性が業界をリードし、エンタープライズグレードである理由です。

実世界におけるCortex

Cortexは**暗号資産アプリケーション上位の71%**を支えており、Alchemyの開発者プラットフォームの基盤となっています。

年間1兆ドル超のオンチェーン取引を処理し、JPMorgan、Visa、Robinhood、Polymarket、Circleといったグローバルなリーダー企業を支えています。

いくつかの例を紹介します。

• Polymarketは2024年の米国大統領選挙でCortexを使用し、直接リージョンへのルーティングにより、約100msのグローバルレイテンシとゼロダウンタイムを実現しました。
• World Chainは50ms未満のレイテンシを維持しながら、3,000万人以上のユーザーと週あたり約59.8万件の新規アカウント登録という規模までスケールしました。
• UsualはCortexへの移行後、2倍高速化したインフラのおかげで、劇的な性能向上と即時的な読み込み時間を報告しています。
• JPMorganのJPM Coinは、Cortexを基盤とするAlchemy Wallet Infrastructureを使用しています。
• Robinhood、Stripe、Coinbase、Visaは、いずれもミッションクリティカルな性能をCortexに依存しています。

まとめ

では、100K+ TPSという規模で、ブロックチェーンデータをグローバルに、完全な一貫性を保ちながら提供するには何が必要でしょうか。

それがCortexです。スケールにおいて速度と信頼性をトレードオフなしで両立させた初めてのシステムです。7年にわたる試行錯誤、教訓、そしてスケールの積み重ねの上に築かれたCortexは、現在Alchemyプラットフォームのあらゆる部分を支えています。

Cortexを体験する準備はできましたか？

• Alchemyに登録する
• 私たちのチームに相談する

あなたは未来を築いてください。インフラは私たちが担います。