De um node ao Cortex: servindo dados de blockchain a 100K TPS, globalmente

O que é preciso para servir dados de blockchain com a menor latência possível a 100K+ TPS — de forma confiável, global e com consistência perfeita?

Esse foi o desafio que enfrentamos no início de 2023, ao planejar como dar suporte à próxima onda de aplicativos blockchain em grande escala, especialmente os que estavam integrando milhões de novos usuários, como o World App e a Robinhood.

Nossa jornada começou em 2017 com um único nó Ethereum. Desde então, já demos suporte a inúmeras aplicações em mercados de alta, mercados de baixa e tudo o que há entre eles. Toda essa experiência operacional resultou no Cortex, o primeiro motor inteligente de blockchain do mundo.

Hoje, o Cortex move toda a nossa plataforma para desenvolvedores: RPC APIs, Data APIs, Gasless Transactions e Rollups. É um salto significativo para todos os produtos da Alchemy. Sem migrações, sem novas ferramentas para aprender. Apenas uma infraestrutura mais inteligente e rápida, construída a partir de anos de aprendizado no mundo real.

O caminho até o Cortex

No início, nossos fundadores, Nikil e Joe, estavam construindo uma ferramenta de pesquisa de blockchain para fundos de hedge quando esbarraram na dor de operar nós Ethereum por conta própria. Um único nó funcionava bem, até que a demanda explodiu durante o boom de ICOs de 2017. Escalar horizontalmente ajudou com a vazão, mas trouxe um grande desafio: consistência de dados — garantir que todo usuário visse o mesmo estado canônico da blockchain, independentemente de qual nó atendesse à sua solicitação.

Para resolver isso, construímos o Vox Nodi em 2018, uma camada de consistência que garante estado idêntico da blockchain entre os nós. Em 2021, nossas Node APIs, com o Vox Nodi por trás, já atendiam equipes como OpenSea, 0x e Polymarket durante picos massivos de tráfego.

Depois veio a era multichain. A partir de 2022, expandimos de um punhado de chains EVM para mais de 100 e lançamos suporte a Solana. Ao mesmo tempo, nossos produtos mais recentes, como NFT API, Token API, Transfers API, Smart Wallets e Rollups as a Service, se tornaram nosso teste de estresse interno mais eficaz. Eles são construídos sobre a mesma base e geram cargas de trabalho maiores do que as de qualquer um de nossos clientes, o que nos ajudou a antecipar problemas de escala e reforçar nossos sistemas antes que os clientes os encontrassem.

Mas, mesmo com todos esses avanços, boa parte da nossa infraestrutura ainda estava concentrada nos EUA. Equipes na Europa e na Ásia enfrentavam latência mais alta. Para sustentar um ecossistema verdadeiramente global e multichain, precisávamos de uma reestruturação completa: um motor totalmente novo.

Cortex: velocidade + confiabilidade, em escala global

Em 2023, os desenvolvedores exigiam dois requisitos inegociáveis:

• Latência global abaixo de 50 ms
• Confiabilidade inabalável, independentemente de picos de tráfego ou problemas na blockchain subjacente

Entregar os dois — sem nenhuma concessão — exigiu repensar toda a nossa stack a partir de princípios fundamentais. Foi assim que nasceu o Cortex.

Desde o lançamento, continuamos otimizando o caminho das requisições. Recentemente, lançamos uma de nossas maiores atualizações até hoje: o Alchemy Edge Proxy, nossa camada própria de proteção contra DDoS e roteamento. Ele substitui nossa última dependência de terceiros no caminho crítico de atendimento, reduzindo ainda mais a latência e melhorando a confiabilidade.

Velocidade: tornando cada requisição mais rápida

Cada etapa de uma requisição através do Cortex é ajustada para velocidade.

O posicionamento global de nós garante que as requisições sempre cheguem à região mais próxima, enquanto a replicação em tempo real mantém todas as regiões atualizadas. Com o Vox Nodi como nossa camada de consistência, a expansão para múltiplas regiões exigiu alguns ajustes engenhosos, que, no fim, nos permitiram entregar uma experiência rápida e consistente em todo o mundo.

Substituir nossa borda de terceiros pelo Alchemy Edge Proxy teve um impacto enorme. Ao trazer a borda para dentro de casa, o roteamento acontece mais perto dos usuários, com menos overhead. O impacto foi imediato: a latência P95 nas chamadas RPC caiu 7,5×, de 150 ms para 20 ms.

Para dados de desempenho públicos atualizados, veja os benchmarks de latência RPC da Alchemy entre provedores, chains e regiões.

Dentro de cada data center, nossas camadas centrais de computação e rede assumem o controle, colocando serviços dependentes lado a lado e aplicando roteamento com consciência de localidade. Isso significa que as requisições não ficam saltando desnecessariamente entre máquinas, eliminando saltos desperdiçados. O Istio também reforça nossa postura interna com mTLS por padrão e oferece recursos avançados de gerenciamento de tráfego, como retries, circuit breakers e implantações graduais, todos contribuindo tanto para velocidade quanto para resiliência.

Assim que uma requisição chega a um nó, o desempenho de uma única máquina se torna o gargalo. Ao rodar em servidores bare-metal, o Cortex evita o overhead da virtualização e ganha controle mais rígido sobre custo e latência. Nossa colaboração estreita com a equipe por trás do cliente de nó Reth nos trouxe correções upstream e otimizações no nível do cliente que melhoraram drasticamente a vazão.

O Cortex também acelera o exato momento em que os dados ficam disponíveis. Na camada de rede, usamos seleção preditiva de peers e formação de quórum para detectar novos blocos o mais cedo possível. Na prática, isso significa que nossos usuários veem blocos novos e atualizações de estado mais cedo, o que se acumula downstream para cargas de trabalho sensíveis à latência, como indexação, negociação e aplicações em tempo real.

Por fim, o Cortex roteia requisições de forma inteligente com base em tipo de rede, tipo de cliente, perfis de latência, SLAs e padrões históricos. O roteamento é gerenciado por meio de um fluxo de trabalho no estilo GitOps e se propaga globalmente em segundos. Nossos proxies consomem essas mesmas configurações dinâmicas para se adaptar em tempo real. Por exemplo, ao migrar tráfego para clientes baseados em Reth, discrepâncias nos códigos de erro JSON RPC foram amenizadas por módulos de proxy que reescreviam respostas em tempo real — enquanto, simultaneamente, contribuíamos com correções permanentes upstream.

Em todos os níveis — região, data center, nó — o Cortex é projetado para reduzir a latência. É assim que ele entrega respostas abaixo de 50 ms em todo o mundo.

Confiabilidade: defesas em cada camada

Mas velocidade sozinha não basta. Confiabilidade é igualmente crítica, e o Cortex constrói defesas de forma cuidadosa em cada camada da stack.

Na borda, o Alchemy Edge Proxy eliminou nossa dependência de terceiros no caminho crítico de atendimento. Ao trazer essa camada para dentro de casa, ganhamos garantias de confiabilidade mais rígidas e eliminamos uma categoria inteira de interrupções no nível de fornecedor. De fato, durante a interrupção global da Cloudflare em 18 de novembro, os serviços da Alchemy foram, em grande parte, não afetados — exatamente o tipo de cenário de confiabilidade que o Cortex foi projetado para suportar.

No nível do serviço de nós, nossos proxies usam uma arquitetura de microkernel. Cada funcionalidade é um módulo plugável que pode ser habilitado, desabilitado ou reconfigurado em tempo de execução, sem redistribuir o proxy inteiro. Esse design nos dá a flexibilidade de corrigir bugs, normalizar o comportamento entre clientes (por exemplo, diferenças entre Reth e Geth) e lançar novas funcionalidades sem downtime. Combinamos isso com shuffle sharding e pools de nós redundantes, de modo que as falhas fiquem isoladas e contidas.

Dentro de cada região, o Cortex redireciona automaticamente o tráfego para nós saudáveis quando um nó cai. Atualizações versionadas garantem que os desenvolvedores nunca se deparem com leituras desatualizadas, mesmo sob condições intensas de failover.

Globalmente, o Cortex emprega um sistema de failover em múltiplas camadas. Se a região primária estiver degradada, as requisições são roteadas para uma secundária. Se essa também falhar, recorremos a uma stack legada. E, no caso mais raro, mantemos uma stack de emergência isolada. Além disso, a replicação global em tempo real garante que todas as regiões permaneçam consistentes durante essas transições. Cada requisição tem múltiplos caminhos de fallback antes que um desenvolvedor sequer veja um erro.

Por fim, o Cortex introduz sistemas mais inteligentes para prever e evitar interrupções. Nosso sistema de gerenciamento de frota orientado por IA monitora atualizações de nós, analisa sua relevância e automatiza os testes e o upgrade dos nós conforme necessário. E o roteamento com consciência de contexto se adapta dinamicamente a congestionamento de rede, nós degradados ou versões de clientes com bugs, garantindo que as requisições continuem tendo sucesso mesmo sob condições em mudança.

É por isso que nossa confiabilidade é líder de mercado e de nível enterprise.

Cortex no mundo real

O Cortex move 71% das principais aplicações cripto e é a base da plataforma para desenvolvedores da Alchemy.

Ele processa mais de US$1T em transações onchain por ano e dá suporte a líderes globais como JPMorgan, Visa, Robinhood, Polymarket e Circle.

Alguns exemplos:

• A Polymarket usou o Cortex durante as eleições dos EUA de 2024, alcançando latência global de ~100 ms e zero downtime com roteamento direto para a região.
• A World Chain escalou para mais de 30M de usuários e ~598 mil novas contas por semana, mantendo latência abaixo de 50 ms.
• A Usual relatou desempenho dramaticamente mais rápido e tempos de carregamento instantâneos após migrar para o Cortex, graças a uma infraestrutura 2× mais rápida.
• O JPM Coin, da JPMorgan, usa a Alchemy Wallet Infrastructure, com o Cortex por trás.
• Robinhood, Stripe, Coinbase e Visa dependem todos do Cortex para desempenho de missão crítica.

Encerramento

Então, o que é preciso para servir dados de blockchain a 100K+ TPS, globalmente, com consistência perfeita?

É preciso o Cortex — o primeiro sistema a combinar velocidade e confiabilidade em escala, sem concessões. Construído a partir de sete anos de iteração, aprendizados e escala, o Cortex agora move todas as partes da plataforma da Alchemy.

Pronto para conhecer o Cortex?

• Cadastre-se na Alchemy
• Fale com nossa equipe

Você constrói o futuro, e nós cuidamos da infraestrutura.