Metamidjan. de 2026
Cannot use cloud technologies. Interest is in scalability and how to properly distribute load across each web crawler node.
System DesignStaff+
Design a Web Crawler with Limited Communication
Design a distributed web crawler using 10,000 machines to crawl 1 billion URLs without any centralized components (no master nodes, databases, queues, or cloud services). Focus on decentralized coordination, load distribution, and handling communication constraints between nodes.
Contextos reais
Onde essa pergunta já apareceu
Use esses exemplos para entender em que contexto ela costuma cair e adaptar sua prática.
Bloombergjuniorfev. de 2025
Sem observação adicional neste relato público.
Anexos públicos
Materiais associados
Nenhum anexo público associado a esta pergunta.
Sinais de resposta forte
Você mostra decisões explícitas, não só uma lista de componentes.
Há trade-offs claros entre simplicidade, custo, latência e consistência.
A solução fecha com gargalos, riscos e próximos passos de evolução.
O que costuma enfraquecer a resposta
Pular requisitos e ir direto para uma arquitetura decorada.
Nomear tecnologias sem explicar por que elas resolvem o problema.
Encerrar a resposta sem discutir falhas, abuso, operação ou trade-offs.
Continue a preparação com o banco completo
No app você encontra perguntas parecidas, compara empresas e aprofunda essa busca com mais filtros.