노드 하나에서 Cortex까지: 전 세계에 100K TPS로 블록체인 데이터 제공하기

100K+ TPS에서 블록체인 데이터를 최저 지연 시간으로, 안정적이고 전역적으로, 완벽한 일관성을 유지하며 서비스하려면 무엇이 필요할까요?

이것이 2023년 초 우리가 마주한 과제였습니다. World App이나 Robinhood처럼 수백만 명의 신규 사용자를 온보딩하는 앱을 포함해, 다음 단계의 대규모 블록체인 앱을 지원할 방법을 구상하던 시기였습니다.

우리의 여정은 2017년 단일 Ethereum 노드에서 시작했습니다. 그 이후로 강세장과 약세장, 그리고 그 사이의 모든 시기를 거치며 수많은 애플리케이션을 지원해왔습니다. 이 모든 운영 경험이 Cortex로 이어졌습니다. 세계 최초의 지능형 블록체인 엔진입니다.

오늘날 Cortex는 우리 개발자 플랫폼 전체를 구동합니다: RPC APIs, Data APIs, Gasless Transactions, Rollups. 이는 모든 Alchemy 제품에 있어 큰 도약입니다. 마이그레이션도, 새로 배워야 할 도구도 없습니다. 수년간의 실전 경험을 바탕으로 한, 더 똑똑하고 더 빠른 인프라일 뿐입니다.

Cortex에 이르는 길

초창기, 창업자 Nikil과 Joe는 헤지펀드를 위한 블록체인 리서치 도구를 만들고 있었는데, 그 과정에서 Ethereum 노드를 직접 운영하는 고충을 겪었습니다. 단일 노드로도 충분했지만, 2017년 ICO 붐과 함께 수요가 폭발했습니다. 수평 확장은 처리량 문제를 해결해줬지만 대신 큰 과제를 하나 남겼습니다. 바로 데이터 일관성입니다. 어느 노드가 요청을 처리하든 모든 사용자가 동일한 표준 블록체인 상태를 보도록 보장하는 문제였습니다.

이를 해결하기 위해 2018년 Vox Nodi를 구축했습니다. 노드 간 동일한 블록체인 상태를 보장하는 일관성 레이어입니다. 2021년 무렵에는 Vox Nodi 기반 Node APIs가 OpenSea, 0x, Polymarket 같은 팀들의 대규모 트래픽 급증을 처리하고 있었습니다.

그 다음 멀티체인 시대가 왔습니다. 2022년부터 우리는 소수의 EVM 체인에서 100개 이상으로 확장했고, Solana 지원을 출시했습니다. 동시에 NFT API, Token API, Transfers API, Smart Wallets, Rollups as a Service 같은 신규 제품들이 내부적으로 가장 효과적인 스트레스 테스트가 되었습니다. 이들은 동일한 기반 위에 구축되었으며, 어떤 고객보다도 큰 워크로드를 생성합니다. 덕분에 고객이 부딪히기 전에 확장성 문제를 미리 예측하고 시스템을 강화할 수 있었습니다.

하지만 이러한 발전에도 불구하고, 우리 인프라의 상당 부분은 여전히 미국에 있었습니다. 유럽과 아시아의 팀들은 더 높은 지연을 경험했습니다. 진정한 글로벌 멀티체인 생태계를 지원하려면 완전히 새로운 엔진, 즉 전면적인 재설계가 필요했습니다.

Cortex: 전역 규모에서의 속도 + 안정성

2023년 무렵, 개발자들은 두 가지를 양보 없이 요구했습니다:

• 50ms 미만의 전역 지연 시간
• 트래픽 급증이나 기저 블록체인 문제와 무관한 흔들림 없는 안정성

트레이드오프 없이 이 둘을 모두 구현하려면 전체 스택을 근본 원리부터 다시 생각해야 했습니다. 그 결과가 Cortex입니다.

출시 이후에도 우리는 요청 경로를 계속 최적화해왔습니다. 최근에는 가장 큰 업그레이드 중 하나를 선보였습니다: Alchemy Edge Proxy, 자체 개발한 DDoS 방어 및 라우팅 레이어입니다. 이는 핵심 서빙 경로에 남아 있던 마지막 서드파티 의존성을 대체하며, 지연 시간을 더 낮추는 동시에 안정성을 높입니다.

속도: 모든 요청을 더 빠르게

Cortex를 거치는 요청의 모든 단계는 속도를 위해 튜닝되어 있습니다.

글로벌 노드 배치는 요청이 항상 가장 가까운 리전에 도달하도록 보장하며, 실시간 복제는 모든 리전을 최신 상태로 유지합니다. Vox Nodi를 일관성 레이어로 사용하는 상황에서 멀티 리전으로 확장하려면 몇 가지 영리한 조정이 필요했고, 이를 통해 전 세계적으로 빠르고 일관된 경험을 제공할 수 있었습니다.

서드파티 엣지를 Alchemy Edge Proxy로 교체한 것은 큰 영향을 미쳤습니다. 엣지를 자체 구축함으로써 라우팅이 사용자와 더 가까운 곳에서 더 적은 오버헤드로 이루어집니다. 그 효과는 즉각적이었습니다: RPC 호출 전반의 P95 지연 시간이 150ms에서 20ms로, 7.5배 감소했습니다.

현재 공개된 성능 데이터는 여러 제공자, 체인, 리전에 걸친 Alchemy의 RPC 지연 시간 벤치마크를 참고하세요.

각 데이터센터 내부에서는 코어 컴퓨트 및 네트워킹 레이어가 작업을 이어받아, 의존 서비스들을 같은 위치에 배치하고 로컬리티 인지 라우팅을 강제합니다. 즉, 요청이 불필요하게 머신 간을 오가지 않아 낭비되는 홉이 사라집니다. Istio는 기본적으로 mTLS를 적용하여 내부 보안 태세를 강화하고, 재시도, 회로 차단기, 점진적 롤아웃 같은 고급 트래픽 관리 기능도 제공하여 속도와 복원력 모두에 기여합니다.

요청이 노드에 도달하면, 병목은 단일 머신 성능이 됩니다. 베어메탈 서버에서 실행함으로써 Cortex는 가상화 오버헤드를 피하고 비용과 지연 시간을 더 세밀하게 제어할 수 있습니다. Reth 노드 클라이언트 팀과의 긴밀한 협업을 통해 업스트림 수정과 클라이언트 레벨 최적화를 이끌어냈고, 이는 처리량을 크게 향상시켰습니다.

Cortex는 데이터가 처음 사용 가능해지는 순간도 가속화합니다. 네트워크 레이어에서는 예측적 피어 선택과 쿼럼 구성을 사용해 새 블록을 최대한 빨리 감지합니다. 실제로 이는 사용자가 새로운 블록과 상태 업데이트를 더 빨리 보게 된다는 의미이며, 이는 인덱싱, 트레이딩, 실시간 애플리케이션처럼 지연 시간에 민감한 워크로드에서 하류로 갈수록 누적되는 효과를 냅니다.

마지막으로, Cortex는 네트워크 유형, 클라이언트 유형, 지연 프로파일, SLA, 과거 패턴에 기반해 요청을 지능적으로 라우팅합니다. 라우팅은 GitOps 방식 워크플로로 관리되며 몇 초 안에 전역적으로 전파됩니다. 우리 프록시들은 이 동일한 동적 구성을 실시간으로 반영해 적응합니다. 예를 들어 Reth 기반 클라이언트로 트래픽을 마이그레이션할 때, JSON RPC 에러 코드의 불일치는 프록시 모듈이 응답을 즉석에서 재작성하여 완화했으며, 동시에 우리는 영구적인 수정 사항을 업스트림에 기여했습니다.

리전, 데이터센터, 노드 등 모든 레벨에서 Cortex는 지연 시간을 줄이도록 설계되어 있습니다. 이것이 전 세계적으로 50ms 미만의 응답을 제공하는 방법입니다.

안정성: 모든 레이어에서의 방어

하지만 속도만으로는 충분하지 않습니다. 안정성도 그에 못지않게 중요하며, Cortex는 스택의 모든 레이어에 신중하게 방어 체계를 구축합니다.

엣지 단에서는 Alchemy Edge Proxy가 핵심 서빙 경로에서 서드파티 의존성을 제거했습니다. 이 레이어를 자체 구축함으로써 더 강력한 안정성 보장을 얻었고, 벤더 수준 장애라는 카테고리 전체를 제거했습니다. 실제로 11월 18일 발생한 전 세계적인 Cloudflare 장애 당시 Alchemy의 서비스는 거의 영향을 받지 않았습니다. Cortex가 견디도록 설계된 바로 그런 안정성 시나리오입니다.

노드 서비스 레벨에서는 프록시가 마이크로커널 아키텍처를 사용합니다. 각 기능은 프록시 전체를 재배포하지 않고도 런타임에 활성화, 비활성화, 재구성이 가능한 플러그형 모듈입니다. 이 설계 덕분에 우리는 버그를 패치하고, 클라이언트 동작을 정규화하며(예를 들어 Reth와 Geth의 차이), 다운타임 없이 새로운 기능을 배포할 수 있습니다. 여기에 셔플 샤딩과 중복 노드 풀을 결합해, 장애가 격리되고 포함되도록 합니다.

각 리전 내에서 Cortex는 노드가 다운되면 자동으로 정상 노드로 트래픽을 재라우팅합니다. 버전이 관리되는 업데이트는 심각한 페일오버 상황에서도 개발자가 오래된 데이터를 읽는 일이 없도록 보장합니다.

전역적으로 Cortex는 다층 페일오버 시스템을 사용합니다. 주 리전이 저하되면 요청은 보조 리전으로 라우팅됩니다. 그마저 실패하면 레거시 스택으로 폴백합니다. 그리고 가장 드문 경우에는 격리된 비상 백업 스택을 유지합니다. 이에 더해 실시간 전역 복제가 이러한 전환 과정에서도 모든 리전이 일관성을 유지하도록 보장합니다. 모든 요청에는 개발자가 에러를 보기 전까지 여러 개의 폴백 경로가 있습니다.

마지막으로, Cortex는 장애를 예측하고 예방하기 위한 더 똑똑한 시스템을 도입합니다. AI 기반 플릿 관리 시스템은 노드 업데이트를 모니터링하고 그 중요도를 분석하며, 필요에 따라 노드 테스트와 업그레이드를 자동화합니다. 그리고 컨텍스트 인지 라우팅은 네트워크 혼잡, 저하된 노드, 버그가 있는 클라이언트 버전에 동적으로 적응하여, 조건이 바뀌어도 요청이 계속 성공하도록 합니다.

이것이 우리의 안정성이 업계를 선도하고 엔터프라이즈급인 이유입니다.

실제 현장에서의 Cortex

Cortex는 **상위 암호화폐 애플리케이션의 71%**를 구동하며, Alchemy 개발자 플랫폼의 기반입니다.

연간 1조 달러 이상의 온체인 트랜잭션을 처리하며, JPMorgan, Visa, Robinhood, Polymarket, Circle 같은 글로벌 리더들을 지원합니다.

몇 가지 예시:

• Polymarket은 2024년 미국 대선 기간 동안 Cortex를 사용해, 리전 직접 라우팅으로 약 100ms의 전역 지연 시간과 무중단을 달성했습니다.
• World Chain은 3천만 명 이상의 사용자로 확장했고 주당 약 59만 8천 개의 신규 계정을 처리하면서도 50ms 미만의 지연 시간을 유지했습니다.
• Usual은 Cortex로 마이그레이션한 후 2배 빠른 인프라 덕분에 훨씬 빠른 성능과 즉각적인 로드 시간을 보고했습니다.
• JPMorgan의 JPM Coin은 Cortex 기반 Alchemy Wallet Infrastructure를 사용합니다.
• Robinhood, Stripe, Coinbase, Visa 모두 미션 크리티컬한 성능을 위해 Cortex에 의존합니다.

마무리

그래서 100K+ TPS로, 전 세계적으로, 완벽한 일관성을 유지하며 블록체인 데이터를 서비스하려면 무엇이 필요할까요?

Cortex가 필요합니다. 트레이드오프 없이 속도와 안정성을 규모 있게 결합한 최초의 시스템입니다. 7년간의 반복, 교훈, 확장 경험을 바탕으로 구축된 Cortex는 이제 Alchemy 플랫폼의 모든 부분을 구동합니다.

Cortex를 경험할 준비가 되셨나요?

• Alchemy에 가입하기
• 저희 팀과 이야기하기

여러분은 미래를 만드세요, 인프라는 저희가 처리하겠습니다.