Gabriel Torres

Como nossos leitores são em sua maioria técnicos que se interessam sobre os bastidores do Clube do Hardware, sempre postamos detalhes sobre a configuração e os upgrades dos servidores que usamos. Resolvemos combinar todos os artigos sobre o assunto que já havíamos publicado em um único, dando um pouco mais de contexto histórico. É muito interessante observar a evolução do tráfego e dos requisitos de hardware necessários para atender a tal tráfego, bem como as configurações de hardware que usávamos na época, que podem parecer muito rudimentares para os padrões de hoje. Iniciamos o Clube do Hardware em 1996, inicialmente com outro nome e hospedado em um serviço de hospedagem grátis chamado Geocities. Em 1997, passamos a ser hospedados no servidor web do provedor de acesso discado que usávamos na época (Netgate). Quando atingimos o limite de armazenamento que dispúnhamos, passamos para um serviço de hospedagem compartilhada, nos EUA. Detalhamos este nosso início no artigo “Clube do Hardware: 5 anos! Conheça nossa história!”. Com o paulatino aumento em nosso tráfego, hospedagem compartilhada passou a não dar mais conta do recado, e tivemos de passar a utilizar um servidor dedicado. Em 2002, houve uma disparada na cotação do dólar, e decidimos a passar a hospedar o site no Brasil. Esta foi uma das piores decisões que tomamos em nossa história. Apesar de uma aparente economia de dinheiro, o modelo de negócios de hospedagem de servidores no Brasil, pelo menos na época, era bem diferente do que tínhamos nos EUA. Primeiro, nos EUA os servidores eram alugados, enquanto que aqui utilizava-se um modelo chamado co-location, onde o cliente precisa comprar uma máquina e instalá-la no data center da empresa de hospedagem. Se compararmos empresas de hospedagem localizadas no mesmo país, o custo mensal no modelo de aluguel é normalmente maior, pois paga-se pelo aluguel das máquinas e pelo link com a Internet. Já no modelo co-location, o custo mensal é menor, pois paga-se um aluguel pelo espaço físico onde as máquinas serão instaladas e pelo link com a Internet. Porém, no co-location há um custo inicial maior, que é o da aquisição das máquinas. E aqui está o grande problema: e quando for necessário trocar de máquinas por modelos mais “parrudos”? No modelo de aluguel, basta alugar novas máquinas e migrar os dados das máquinas antigas, tudo feito de forma remota. As empresas de hospedagem já têm disponíveis máquinas prontas para serem contratadas, e tal mudança de máquinas em geral não demora mais do que 48 horas. Já no modelo co-location, é necessário comprar novas máquinas e vender você mesmo as máquinas antigas, e ir fisicamente no data center fazer a troca. Um processo muito mais lento e trabalhoso. E você sabe que hardware é muito mais caro no Brasil do que nos EUA, além da oferta de configurações não ser a mesma. Assim, acabávamos tendo uma configuração de hardware muito mais modesta do que teríamos nos EUA. O segundo grande problema era o limite de tráfego de se hospedar no Brasil. Pelo menos na época, você contratava um link de velocidade fixa e limitada, por exemplo, um link de 1 Mbit/s, sem qualquer tolerância. Se o tráfego ultrapassasse este valor, havia lentidão no acesso ou então os usuários simplesmente não conseguiam abrir o site. As empresas de hospedagem faziam isso por que o próprio link deles com a Internet era limitado e caríssimo. Na hospedagem nos EUA, não havia este tipo de limite. Outro fator que não sabíamos de antemão era a burocracia extrema das empresas de hospedagem no Brasil, bem diferente do que ocorre nos EUA, além da diferença no nível de conhecimento técnico. Em resumo, a economia que inicialmente vislumbramos em hospedar no Brasil foi apenas uma miragem. Os problemas que encontramos de limite de tráfego e com a dificuldade e custo de upgrade de máquinas nos fez voltar definitivamente para os EUA, em 2003. Se não tivéssemos voltado ao hospedar nos EUA, não teríamos acesso às configurações de hardware que acabamos precisando ao longo de nossa história. A seguir você lerá o histórico de nossos upgrades. Não documentamos os detalhes de hospedagem antes de 2002. A nossa história neste artigo começa quando estávamos hospedando um único servidor dedicado, aqui no Brasil, utilizando o modelo co-location, com um link de 1 Mbit/s, em uma empresa chamada ComDomínio. Os últimos dois meses foram pauleira para o Clube do Hardware. Nossos acessos têm crescido cada vez mais, sendo que desde agosto temos transferido mais de 200 GB por mês. Mês passado batemos em 4 milhões de pageviews e 800.000 visitantes. Estamos a poucos passos de atingirmos a histórica marca de 1 milhão de visitantes por mês. Todo esse aumento no tráfego impactou diretamente o desempenho do site, por isso resolvemos montar um novo servidor. A troca de servidores ocorreu no dia 28 de setembro de 2002 e, por este motivo, alguns dos recursos do site não estavam funcionando corretamente até ontem, como o Fórum. Pedimos desculpas pelo inconveniente, mas foi para o melhor proveito de todos! Nosso novo servidor tem a seguinte configuração: Processador: Pentium 4 1,6 GHz Placa-mãe: EPoX 4G4A+ RAM: 1 GiB DDR266/PC2100 Samsung Discos rígidos: dois discos rígidos Maxtor DiamondMax Plus D740X (20 GB, 7.200 rpm, ATA-133) operando em RAID1 (espelhamento) Nota: hospedagem no modelo co-location, com link de 1 Mbit/s, na empresa ComDomínio. Vocês devem ter reparado que o site está agora muito mais rápido. Fizemos vários testes e ele está entregando dados pelo menos duas vezes mais rápido que o antigo servidor. Levamos um mês montando essa máquina. Apesar do hardware ter sido montado no mesmo dia em que compramos as peças, dureza foi instalar e configurar o Linux, já que ele não reconhecia o chip HighPoint HPT372, que controla as portas IDE onde os HDs estão conectados. Mas, enfim, no final deu tudo certo (com a instalação de um patch fornecido pelo pessoal da Red Hat) e o novo servidor está aí, permitindo que todos tenham acesso agora mais rápido ao maior site independente sobre informática da América Latina. Após termos colocado este editorial no ar, vários leitores nos enviaram e-mails perguntando o porque de termos escolhido um Pentium 4 e não um Athlon XP para o nosso servidor. A escolha não foi baseada no processador, mas sim na placa-mãe. Queríamos uma placa-mãe de alto desempenho, com portas RAID ATA-133 e com vídeo on-board (já que servidores não precisam de vídeo). Das placas-mães que tínhamos aqui, a que respondeu por esses requisitos foi a EPoX 4G4A+. Como essa placa-mãe é para processadores Intel, então nossa escolha foi por um Pentium 4. Se tivéssemos escolhido um Athlon XP, teríamos ainda de comprar uma placa-mãe, o que iria tornar o nosso servidor mais caro. A escolha do processador foi, portanto, uma simples conveniência, não tendo uma razão técnica pela escolha do Pentium 4 e não pelo Athlon XP. É incrível o aumento de acesso que temos tido em nosso site. No mês passado, voltamos a bater quase 4 milhões de pageviews e o nosso antigo servidor não estava mais aguentando o tranco. Ele estava operando a 100% da sua capacidade o tempo inteiro (100% de uso de CPU) e, quando isso ocorria, ele simplesmente começava a colocar em fila de espera os novos pedidos, fazendo com que algumas páginas não fossem abertas ou o servidor apresentasse erros de indisponibilidade. Ou seja, quem tentasse acessar o site em nosso horário de pico não estava conseguindo navegar bem. Além disso, estávamos precisando de uma estrutura que permitisse o nosso crescimento futuro, isto é, permitisse que colocássemos páginas mais dinâmicas. Não poderíamos aumentar a integração de nosso site com um banco de dados pois mais acessos ao banco de dados faria com que o nosso servidor não conseguisse responder a esses novos pedidos. Para isso, a solução que encontramos foi instalar um novo servidor web, mais rápido, para evitar que o processador fique sendo usado 100% do tempo, e o nosso antigo servidor web foi transformado em servidor dedicado de banco de dados. Com isso, o Clube do Hardware possui agora duas máquinas para poder atender aos nossos visitantes. O nosso novo servidor web tem a seguinte configuração: Processador: Athlon XP 2200+ Placa-mãe: EPoX 8K3A+ RAM: 1 GiB DDR266/PC2100 Samsung Discos rígidos: Maxtor 30 GB, 7.200 rpm, ATA-133 Nosso antigo servidor web foi reconfigurado como servidor exclusivo de banco de dados. O banco de dados é atualmente usado no armazenamento dos banners (propagandas) existentes e também para armazenar as mensagens do fórum: Processador: Pentium 4 1,6 GHz Placa-mãe: EPoX 4G4A+ RAM: 512 MiB DDR266/PC2100 Samsung Discos rígidos: dois discos rígidos Maxtor DiamondMax Plus D740X (20 GB, 7.200 rpm, ATA-133) operando em RAID1 (espelhamento) Nosso link com a Internet continua sendo de 1 Mbit/s, porém mudamos de empresa de hospedagem. Também ficamos muito insatisfeitos com a empresa onde estávamos hospedando nossas máquinas (ComDominio), pois eles apresentaram um orçamento três vezes mais caro do que o valor que estávamos pagando para o co-location do nosso primeiro servidor para a instalação da nossa segunda máquina. Achamos isso uma total falta de respeito e coerência, por isso decidimos mudar de empresa de hospedagem (Terra). Temos como política não indicarmos produtos ou empresas específicas, mas podemos com certeza dizer que a ComDominio é uma empresa que não recomendamos. Com a mudança de empresa, tivemos de trocar o endereço IP da nossa máquina. Por isso, muitas pessoas ficaram sem conseguir acessar o nosso site durante essa semana, até que todos os servidores DNS da Internet conseguissem replicar o nosso novo endereço IP. Apesar de a instalação de uma máquina adicional representar um aumento em nossos custos, acreditamos estarmos fazendo isso para melhor atendermos a todos os nossos visitantes. O acesso ao nosso site está muito lento desde hoje pela manhã. Isso está ocorrendo porque a empresa onde estamos hospedando o nosso site está limitando o acesso a nossos servidores ao valor do link que contratamos, que é de 1 Mbit/s. Como o tráfego do nosso site continua crescendo a cada dia que passa – estamos atingindo picos de 2 Mbit/s – a única solução para isso será o aumento do link. Infelizmente, o valor que a empresa onde hospedamos atualmente está cobrando por um link de 2 Mbit/s é incompatível com o nosso orçamento: R$ 5.400. Isso nos forçará a trocar novamente de empresa onde hospedamos nossos dois servidores para uma empresa compatível com o nosso bolso. Update: a empresa onde hospedamos atualmente nossos servidores (Terra) negociou um preço melhor para nós e fechamos um novo link para o site, de 1,5 Mbit/s. Com isso, resolvemos o problema de lentidão que o site estava enfrentando durante esta semana que passou. Se o nosso tráfego continuar aumentando do jeito que está, iremos precisar de um upgrade para 2 Mbit/s em breve. Além disso, nosso servidor web estava pedindo "soda" nos horários de pico, isto é, não estava sendo capaz de atender a todos os pedidos, deixando o site lento quando isso ocorria. Para solucionar esse problema, substituímos o processador do nosso servidor web, passando a usar o processador Athlon XP 2800+ com barramento externo de 333 MHz (166 MHz). A configuração atual dos nossos servidores é a seguinte: Servidor web Processador: Athlon XP 2800+ Placa-mãe: EPoX 8K3A+ RAM: 1 GiB DDR266/PC2100 Samsung Discos rígidos: Maxtor 30 GB, 7.200 rpm, ATA-133 Servidor de banco de dados Processador: Pentium 4 1,6 GHz Placa-mãe: EPoX 4G4A+ RAM: 512 MiB DDR266/PC2100 Samsung Discos rígidos: dois discos rígidos Maxtor DiamondMax Plus D740X (20 GB, 7.200 rpm, ATA-133) operando em RAID1 (espelhamento) Nota: hospedagem no modelo co-location, com link de 1,5 Mbit/s, na empresa Terra. Por conta do nosso crescimento, de tempos em tempos temos de trocar nossos servidores e aumentar o nosso link com a Internet. Para falar a verdade, nosso problema começou mesmo com a desvalorização cambial, em meados de 2002, pois estávamos hospedados nos EUA e o nosso custo de hospedagem foi para o espaço. Por conta disso, preferimos hospedar nosso site no Brasil. Infelizmente, só tivemos problemas hospedando nosso site em nosso país. Para começar, exitem poucas empresas capazes de hospedar um site do nosso porte (5 milhões de pageviews, 1 milhão de visitantes/mês, tráfego acima de 2 Mbit/s). O problema todo é o custo. Como no Brasil não existem empresas que cobram pela média de uso da banda (link), temos de pagar o custo do link mesmo quando ele está ocioso. Nos EUA, as empresas cobram pela média de uso. O nosso site tem como característica um acesso pesado durante o dia e pouco acesso durante a noite, fazendo com que a gente fique em total desvantagem financeira hospedando no Brasil. Além disso, o custo Brasil é algo impressionante. Os preços de hospedagem são estratosféricos, por conta do preço dos links das poucas empresas que fornecem links (Embratel, Intelig, AT&T, etc). Sem muita concorrência e com uma carga tributária violenta (25% de ICMS, enquanto nos EUA, dependendo do estado, não há imposto sobre link), torna-se impossível uma empresa brasileira de hospedagem tornar-se competitiva. Além do problema de custo, existe algo muito ruim no mercado brasileiro que é a inexistência de tabela de preços. Em qualquer empresa americana há uma tabela de preços no site da empresa e ninguém muda as regras do jogo no meio da partida. Mas aqui no Brasil não é assim que funciona. Os orçamentos são feitos de acordo com o cliente e simplesmente não existe uma tabela de preços onde você sabe de antemão o quanto vai gastar se precisar aumentar sua capacidade (veja o caso da ComDominio que já relatamos aqui em outro momento, que queria nos cobrar R$ 500/mês por uma prateleira para colocarmos uma segunda máquina). O amadorismo brasileiro é impressionante. Outro detalhe importante é que hospedando aqui no Brasil em geral não temos acesso a máquinas de última geração. Ou quando temos o custo é proibitivo. Nos EUA a taxa de juros básica está hoje em 1% ao ano, o que significa que dá para alugar uma máquina "parruda" por um custo baixíssimo. Por isso, voltamos a hospedar nosso site nos EUA. Veja o nosso caso: estamos pagando agora um terço do que gastávamos antes e com máquinas muito mais possantes! Trocamos o nosso Athlon XP 2800+ por um servidor com dois processadores Xeon de 2,4 GHz, com tecnologia Hyper-Threading, que são reconhecidos como sendo quatro processadores pelo sistema operacional. Ou seja, será quase impossível termos problemas de desempenho ao nosso site de agora em diante. Além disso, no Brasil as máquinas eram nossas (co-location) enquanto que agora as máquinas são alugadas. Isso significava que além do custo mensal de hospedagem, havia o custo inicial de se comprar as máquinas aqui no Brasil. Com os juros na casa do chapéu, é loucura alugar um servidor no Brasil. A configuração atual dos nossos servidores é a seguinte: Servidor web Processador: dois processadores Xeon de 2,4 GHz RAM: 1 GiB DDR266/PC2100 Discos rígidos: dois discos rígidos de 40 GB Servidor de banco de dados Processador: Pentium 3 de 1,13 GHz RAM: 512 MiB Discos rígidos: dois discos rígidos de 40 GB [paginaton="06/2004"] Fizemos um upgrade do servidor de banco de dados, contratando uma máquina igual à do nosso servidor web. Nossa configuração atual passou a ser: Servidor web Processador: dois processadores Xeon de 2,4 GHz RAM: 1 GiB DDR266/PC2100 Discos rígidos: dois discos rígidos de 40 GB Servidor de banco de dados Processador: dois processadores Xeon de 2,4 GHz RAM: 1 GiB DDR266/PC2100 Discos rígidos: dois discos rígidos de 40 GB Até 2005, o nosso site principal, contendo os artigos, notícias, análises de produtos e nossa loja virtual, era baseado em páginas estáticas, que não exigem muitos recursos do servidor web. Em 2005, migramos o nosso site principal para um sistema CMS (Content Management System) baseado em banco de dados. Com isto, o uso dos nossos servidores disparou, o que fez com que o nosso site (especialmente nosso fórum) ficasse lento em alguns momentos. Por isso, decidimos alugar mais dois servidores para hospedar o Clube do Hardware e teremos um total de quatro servidores. Migramos o sistema do fórum para estes dois novos servidores, assim separamos o site e o fórum em servidores separados, balanceando o tráfego. Nossa configuração atual é a seguinte: srv1 (servidor web do site principal) Processador: dois processadores Xeon de 2,4 GHz RAM: 2 GiB DDR266/PC2100 Discos rígidos: dois discos rígidos de 40 GB srv 2 (servidor de banco de dados do site) Processador: dois processadores Xeon de 2,4 GHz RAM: 1 GiB DDR266/PC2100 Discos rígidos: dois discos rígidos de 40 GB srv3 (servidor web do fórum) Processador: dois processadores Xeon de 3 GHz com 2 MiB de memória cache L2 RAM: 1 GiB Disco rígido: 80 GB srv4 (servidor de banco de dados do fórum) Processador: dois processadores Xeon de 3 GHz com 2 MiB de memória cache L2 RAM: 1 GiB Disco rígido: 80 GB Obs: havíamos aumentado a quantidade de memória do srv1 de 1 GiB para 2 GiB em janeiro de 2005. Oi pessoal, o tráfego do Clube do Hardware não para de aumentar, então tivemos de alugar mais um servidor. Aumentamos também a quantidade de memória dos servidores srv1 e srv4 e trocamos também o servidor de banco de dados do site principal (srv2). Temos agora um total de cinco servidores para poder dar conta do nosso tráfego: srv1 (servidor web do site principal): dual Xeon de 2,4 GHz e 2 GiB de RAM srv2 (servidor de banco de dados do site): dual Xeon de 2,4 GHz e 2 GiB de RAM srv3 (servidor web do fórum): dual Xeon de 3 GHz e 1 GiB de RAM srv4 (servidor de banco de dados do fórum): dual Xeon de 3 GHz e 2 GiB de RAM srv5 (servidor de e-mail): Celeron de 2,53 GHz e 512 MiB de RAM O que fizemos neste upgrade foi basicamente remover o servidor de e-mail do srv1 e instalarmos ele em um novo servidor dedicado. Com isso, a velocidade de acesso ao site deve melhorar bastante, tinha horas em que o servidor estava enfileirando processos por causa do programa anti-spam que usamos. Infelizmente o lixo digital obriga a gente a gastar mais dinheiro com servidores e manutenção. Nosso próximo upgrade deverá ser aumentar a quantidade de memória do srv3 de 1 GiB para 2 GiB, mas faremos isso somente quando o tráfego pedir, é claro. Por conta do aumento do nosso tráfego (mais de 16 milhões de pageviews/mês) tivemos que contratar mais um servidor para balancear a carga do nosso site. O nosso novo servidor já está instalado e rodando e o site deve ficar mais estável agora, especialmente durante o horário de pico. Temos agora um total de seis servidores dedicados. A configuração do nosso novo servidor é um dual-Xeon de 3 GHz com 2 GiB de memória e ele está sendo usado exclusivamente para armazenar o sistema de banners (propagandas) do nosso site. O nosso conjunto de servidores atuais é o seguinte: srv1 (servidor web do site principal): dual Xeon de 2,4 GHz e 2 GiB de RAM srv2 (servidor de banco de dados do site principal): dual Xeon de 2,4 GHz e 2 GiB de RAM srv3 (servidor web do fórum): dual Xeon de 3 GHz e 2 GiB de RAM srv4 (servidor de banco de dados do fórum): dual Xeon de 3 GHz e 2 GiB de RAM srv5 (servidor de e-mail): Celeron de 2,53 GHz e 512 MiB de RAM srv6 (servidor de banco de dados do sistema de banners): dual-Xeon de 3 GHz e 2 GiB de RAM Finalmente instalamos um novo servidor para balancear a carga do nosso fórum, resolvendo de vez o problema de lentidão que o nosso fórum vinha sofrendo há algum tempo. Encomendamos um segundo servidor web para o fórum para trabalhar em paralelo com o nosso servidor web anterior. Depois de um período de testes, liberamos o sistema na sexta passada, fazendo com que o nosso fórum tenha agora três servidores (dois web e um de banco de dados). No total nosso site tem agora SETE servidores (continuamos a ser, de longe, o maior site independente sobre informática da América Latina). Eis como funciona o balanceamento de carga: ao entrar no fórum pelo endereço http://forum.clubedohardware.com.br, o servidor irá automaticamente redirecioná-lo ao nosso novo servidor, http://forum2.clubedohardware.com.br, caso ele esteja sobrecarregado (lento). Você também pode, a seu critério, escolher qualquer um dos dois servidores para navegar. A nossa sugestão é que você experimente os dois e veja qual deles está mais rápido para você (sim, você pode acessar o segundo servidor diretamente sem problemas)! Os dois servidores são absolutamente iguais e os dados presentes são absolutamente os mesmos, visto que ambos puxam os dados de um outro servidor (servidor de banco de dados). O único detalhe é que a rotina de sincronização entre os servidores roda uma vez por minuto, assim se você subir uma foto em um servidor, ela demorará no máximo um minuto para aparecer no outro servidor. O único "efeito colateral" do sistema de balanceamento é que como os dois servidores não compartilham ainda informações de sessões e cookies, você terá de se logar novamente ao entrar no segundo servidor. Mas isso só ocorrerá no primeiro acesso: é só deixar marcada a caixinha para lembrar seu login e senha que você poderá navegar indistintamente em qualquer um dos dois servidores. Estamos de qualquer forma estudando este assunto para termos certeza de que realmente não há nada que possa ser feito para resolver este problema. Para finalizar, segue abaixo a configuração completa do nosso conjunto de servidores. Fizemos algumas mudanças também em relação ao uso de cada servidor, por isto houve uma renumeração: srv1 (servidor web da loja virtual e do sistema de banners): dual Xeon de 2,4 GHz e 2 GiB de RAM srv2 (servidor web do site principal): dual Xeon de 3 GHz e 2 GiB de RAM srv3 (servidor web 1 do fórum): dual Xeon de 3 GHz e 2 GiB de RAM srv4 (servidor web 2 do fórum): dual Xeon de 3 GHz e 2 GiB de RAM srv5 (servidor de e-mail): Celeron de 2,53 GHz e 512 MiB de RAM srv6 (servidor de banco de dados do site principal, loja virtual e sistema de banners): dual-Xeon de 3 GHz e 2 GiB de RAM srv7 (servidor de banco de dados do fórum): dual-Xeon de 3 GHz e 2 GiB de RAM Sinceramente acredito que com isso teremos uma navegação rápida no fórum por vários meses, até termos na faixa de 3.000 usuários logados ao mesmo tempo, acredito. O próximo upgrade aparentemente será no servidor de e-mails (a quantidade de spams que recebemos tá fritando o bichinho). Balanceamento de carga por software Em maio de 2007, melhoramos esse sistema de balanceamento de carga utilizado no fórum, conformo explico abaixo. Desde que instalamos um segundo servidor web para o nosso fórum usamos um sistema de balanceamento de carga "Tabajara": simplesmente colocamos o nome forum2.clubedohardware.com.br no segundo servidor e simplesmente mudamos os links do site para este novo servidor e recomendamos que os nossos visitantes usassem o novo endereço. O objetivo era desafogar o tráfego do servidor principal. Este sistema, apesar de ajudar a desafogar o nosso servidor antigo, não resolvia o nosso problema de lentidão, pois por não haver nenhum sistema tentando equilibrar a carga dos dois servidores, sempre um deles tinha mais tráfego que o outro, isto é, sempre havia um servidor mais rápido do que o outro. A verdade seja dita. Deixei assim por pura preguiça de sentar e estudar como instalar um sistema de balanceamento de carga profissional. Hoje resolvi sentar e estudar como instalar um sistema de balanceamento de carga de verdade em nosso fórum. O pessoal do vBulletin recomendou um programa chamado Pound que, para nossa sorte, existe módulo pré-compilado para o Debian (versão do Linux que rodamos em nossos servidores). Foi só dar um apt-get install pound e fim de papo! Em quinze minutos estávamos com o nosso balanceamento de carga profissional instalado! O que o Pound faz? Para cada chamada através do endereço forum.clubedohardware.com.br ele redireciona "por baixo dos panos" para um dos dois servidores web que temos. O endereço na barra de navegação continua sendo forum.clubedohardware.com.br e, desta forma, o usuário não tem como saber qual dos nossos dois servidores está sendo acessado. O mais importante é que ele mantém a carga entre os dois servidores bem equilibrada, não havendo o caso de ter um servidor mais vazio do que o outro. Com esta instalação resolvemos uma porção de problemas que tínhamos em nosso fórum, entre eles: Acesso ao fórum através de um só endereço, forum.clubedohardware.com.br. O endereço forum2.clubedohardware.com.br deixa de existir. O problema de lentidão foi definitivamente resolvido, visto que o novo sistema divide corretamente a carga entre os dois servidores. Estou falando aqui da lentidão causada pelo balanceamento ineficiente que usávamos antes, onde um dos servidores estava sempre sobrecarregado. Se o fórum ficar lento a partir de hoje pelo menos saberemos que a causa não é do balanceamento de carga ineficiente (há ainda alguns pequenos ajustes finos que ainda penso em fazer que possivelmente vão melhorar o desempenho do fórum ainda mais). Problemas aleatórios de ser redirecionado de um servidor para o outro foram resolvidos. Esses erros inclusive impediam algumas pessoas de postar mensagens. Facilidade para adicionarmos um terceiro servidor web ao fórum no dia em que isto for necessário. Enfim, estou realmente feliz de ter solucionado de forma definitiva este antigo problema. Desde sábado passado venho trabalhando direto nos servidores do fórum a fim de deixar o fórum mais rápido, fiz vários ajustes finos mas, infelizmente, não vejo outra solução a não ser adicionar mais um servidor na jogada (foi por isso que vocês encontraram erros e lentidão acima do normal nesses dias; no fim voltei tudo como estava). Com isso o nosso fórum terá três servidores web e um servidor MySQL, e o Clube do Hardware como um todo terá um total de oito servidores. Nomeamos este novo servidor como srv7 e renomeamos o antigo srv7 como srv8. Aumentamos também a quantidade de RAM do agora srv8 de 2 GiB para 4 GiB: srv1 (servidor web da loja virtual e do sistema de banners): dual Xeon de 2,4 GHz e 2 GiB de RAM srv2 (servidor web do site principal): dual Xeon de 3 GHz e 2 GiB de RAM srv3 (servidor web 1 do fórum): dual Xeon de 3 GHz e 2 GiB de RAM srv4 (servidor web 2 do fórum): dual Xeon de 3 GHz e 2 GiB de RAM srv5 (servidor de e-mail): Celeron de 2,53 GHz e 512 MiB de RAM srv6 (servidor de banco de dados do site principal, loja virtual e sistema de banners): dual-Xeon de 3 GHz e 2 GiB de RAM srv7 (servidor web 3 do fórum): dual Xeon de 3 GHz e 2 GiB de RAM srv8 (servidor de banco de dados do fórum): dual-Xeon de 3 GHz e 4 GiB de RAM Oi pessoal. Trago excelentes notícias. Finalmente a instalação do balanceador de carga por hardware do fórum está 100% concluída, resolvendo de forma definitiva todos os problemas de lentidão e instabilidade que vínhamos sofrendo há séculos. Só para explicar o que ocorre, o nosso fórum utiliza quatro servidores (três servidores web e um servidor de banco de dados; nosso site usa um total de oito servidores). "Balanceamento de carga" nada mais é do que um sistema que divide o tráfego que está vindo em nosso fórum entre os servidores web disponíveis. Antes nós usávamos um software para fazer isso e descobrimos que esta opção não é tão eficiente, e era esse balanceamento por software que deixava o nosso fórum lento, em particular para quem acessa usando o Internet Explorer. Por isso resolvemos investir e alugar um balanceador de carga por hardware. O investimento valeu à pena, pois deixou o fórum um "foguete". As boas notícias não param aí. Eu acabei de resolver de forma definitiva o problema das imagens do fórum. Explico. Quando um fórum tem mais de um servidor web as imagens subidas por usuários tornam-se um problema, pois elas serão armazenadas no servidor que o usuário estiver acessando no momento. Como a imagem estará armazenada em apenas um dos três servidores, somente quem der a sorte do balanceador de carga jogar o seu acesso para aquele exato servidor verá a tal imagem. No passado estávamos usando uma solução rudimentar (uma gambiarra mesmo): de três em três minutos os servidores se sincronizavam. Isso era feito através do comando rsync. O problema, obviamente, é que continuava havendo uma probabilidade (de até três minutos) de você não ver uma imagem recém subida. Hoje eu sentei para estudar como resolver este problema de vez, e instalei o NFS, um sistema que permite compartilhar diretórios remotamente, assim quando uma imagem é subida, ela é armazenada imediatamente em um ponto central, acessível imediatamente por todos os três servidores. Isso resolve de uma fez por todas outra antiga pendência. Na semana passada trocamos alguns de nossos servidores para deixar o nosso site ainda mais rápido (servidores srv1, srv2 e srv6). Para aguentar o tráfego que temos, temos agora nove servidores dedicados! Uma pergunta frequente é qual é a nossa configuração de servidores, porque precisamos de tantos servidores, etc. como fazer algum tempo em que não falo sobre isso, achei que seria oportuno abordar hoje qual é a nossa configuração atual em detalhes. Para facilitar, eu fiz um esquema, apresentado abaixo, listando todos os nossos servidores e equipamentos. Os cinco servidores mostrados na parte inferior são usados exclusivamente para o nosso fórum. Todos os nossos servidores rodam o Debian Linux 5.0 “Lenny”. As configurações de hardware dos servidores são as seguintes: srv1 (servidor web do sistema de banners): Dell PowerEdge SC1425 com dois processadores Xeon de 3 GHz (com tecnologia HT, barramento externo de 800 MHz) com 2 MiB de cache L2 cada e 4 GiB de RAM srv2 (servidor web do site principal): Dell PowerEdge SC1425 com dois processadores Xeon de 3 GHz (com tecnologia HT, barramento externo de 800 MHz) com 2 MiB de cache L2 cada e 4 GiB de RAM srv6 (servidor de banco de dados do site principal e sistema de banners): Dell PowerEdge SC1425 com dois processadores Xeon X3210 (2,13 GHz, quad-core, barramento externo de 1.066 MHz) com 4 MiB de cache L2 cada e 8 GiB de RAM srv5 (servidor de e-mail): Dell PowerEdge SC1425 com dois processadores Xeon 2,8 GHz (com tecnologia HT, barramento externo de 800 MHz) com 1 MiB de cache L2 cada e 2 GiB de RAM Balanceador de carga: divide o tráfego direcionado ao nosso fórum em quatro servidores web (srv3, srv4, srv7 e srv8). srv3 (servidor web 1 do fórum): Dell PowerEdge SC1425 com dois processadores Xeon de 3 GHz (com tecnologia HT, barramento externo de 800 MHz) com 2 MiB de cache L2 cada e 4 GiB de RAM srv4 (servidor web 2 do fórum): Dell PowerEdge SC1425 com dois processadores Xeon de 3 GHz (com tecnologia HT, barramento externo de 800 MHz) com 2 MiB de cache L2 cada e 4 GiB de RAM srv7 (servidor web 3 do fórum): Dell PowerEdge SC1425 com dois processadores Xeon de 3 GHz (com tecnologia HT, barramento externo de 800 MHz) com 2 MiB de cache L2 cada e 4 GiB de RAM srv8 (servidor web 4 do fórum): Dell PowerEdge SC1425 com dois processadores Xeon de 3 GHz (com tecnologia HT, barramento externo de 800 MHz) com 2 MiB de cache L2 cada e 4 GiB de RAM srv9 (servidor de banco de dados do fórum): Dell PowerEdge SC1425 com dois processadores Xeon dual-core 3 GHz (com tecnologia HT, barramento externo de 800 MHz) com 4 MiB de cache L2 cada, 8 GiB de RAM e três discos rígidos de 73 GB e 10.000 rpm em RAID5 com controladora por hardware A respeito da numeração que adotamos, ela pode parecer confusa para você, pois reflete os diversos upgrades que fizemos ao longo dos anos; talvez a gente mude essa numeração no futuro. Na semana passada, substituímos os quatro servidores web do fórum por “apenas” dois, porém mais parrudos. Isto é, apesar da redução do número de servidores de nove para sete, a capacidade de processamento foi dobrada. Temos abaixo a lista atualizada dos nossos servidores. As configurações de hardware dos servidores são as seguintes: srv1 (servidor web do sistema de banners): Dell PowerEdge SC1425 com dois processadores Xeon de 3 GHz (com tecnologia HT, barramento externo de 800 MHz) com 2 MiB de cache L2 cada e 4 GiB de RAM srv2 (servidor web do site principal): Dell PowerEdge SC1425 com dois processadores Xeon de 3 GHz (com tecnologia HT, barramento externo de 800 MHz) com 2 MiB de cache L2 cada e 4 GiB de RAM srv6 (servidor de banco de dados do site principal e sistema de banners): Dell PowerEdge SC1425 com dois processadores Xeon X3210 (2,13 GHz, quad-core, barramento externo de 1.066 MHz) com 4 MiB de cache L2 cada e 8 GiB de RAM srv5 (servidor de e-mail): Dell PowerEdge SC1425 com dois processadores Xeon 2,8 GHz (com tecnologia HT, barramento externo de 800 MHz) com 1 MiB de cache L2 cada e 2 GiB de RAM Balanceador de carga: divide o tráfego direcionado ao nosso fórum em quatro servidores web (srv3, srv4, srv7 e srv8). srv3 (servidor web 1 do fórum): Dell PowerEdge 1950 com dois processadores Xeon E5405 (2 GHz, quad-core, barramento externo de 1.333 MHz) com 12 MiB (6 MiB x 2) de cache L2 cada e 12 GiB de RAM srv4 (servidor web 2 do fórum): Dell PowerEdge 1950 com dois processadores Xeon E5405 (2 GHz, quad-core, barramento externo de 1.333 MHz) com 12 MiB (6 MiB x 2) de cache L2 cada e 12 GiB de RAM srv9 (servidor de banco de dados do fórum): Dell PowerEdge SC1425 com dois processadores Xeon dual-core 3 GHz (com tecnologia HT, barramento externo de 800 MHz) com 4 MiB de cache L2 cada, 8 GiB de RAM e três discos rígidos de 73 GB e 10.000 rpm em RAID5 com controladora por hardware A respeito da numeração que adotamos, ela pode parecer confusa para você, pois reflete os diversos upgrades que fizemos ao longo dos anos; talvez a gente mude essa numeração no futuro. É impressionante como quando fazemos um upgrade em nossos servidores o tráfego aumenta e não demora muito já temos de fazer outro upgrade. Dessa vez mal passou um mês desde a troca dos servidores web do fórum e o servidor de banco de dados já está “pedindo soda” devido ao aumento do tráfego. Trocamos, portanto, o srv9. A configuração atual está detalhada abaixo. srv1 (servidor web do sistema de banners): Dell PowerEdge SC1425 com dois processadores Xeon de 3 GHz (com tecnologia HT, barramento externo de 800 MHz) com 2 MiB de cache L2 cada e 4 GiB de RAM srv2 (servidor web do site principal): Dell PowerEdge SC1425 com dois processadores Xeon de 3 GHz (com tecnologia HT, barramento externo de 800 MHz) com 2 MiB de cache L2 cada e 4 GiB de RAM srv6 (servidor de banco de dados do site principal): Dell PowerEdge SC1425 com dois processadores Xeon X3210 (2,13 GHz, quad-core, barramento externo de 1.066 MHz) com 4 MiB de cache L2 cada e 8 GiB de RAM srv5 (servidor de e-mail): Dell PowerEdge SC1425 com dois processadores Xeon 2,8 GHz (com tecnologia HT, barramento externo de 800 MHz) com 1 MiB de cache L2 cada e 2 GiB de RAM Balanceador de carga: divide o tráfego direcionado ao nosso fórum em quatro servidores web (srv3, srv4, srv7 e srv8). srv3 (servidor web 1 do fórum): Dell PowerEdge 1950 com dois processadores Xeon E5405 (2 GHz, quad-core, barramento externo de 1.333 MHz) com 12 MiB (6 MiB x 2) de cache L2 cada e 12 GiB de RAM srv4 (servidor web 2 do fórum): Dell PowerEdge 1950 com dois processadores Xeon E5405 (2 GHz, quad-core, barramento externo de 1.333 MHz) com 12 MiB (6 MiB x 2) de cache L2 cada e 12 GiB de RAM srv9 (servidor de banco de dados do fórum): Dell PowerEdge 1950 com dois processadores Xeon E5405 (2 GHz, quad-core, barramento externo de 1.333 MHz) com 12 MiB (6 MiB x 2) e cache L2 cada, 12 GiB de RAM e dois discos rígidos de 150 GB e 10.000 rpm em RAID0 com controladora por hardware A respeito da numeração que adotamos, ela pode parecer confusa para você, pois reflete os diversos upgrades que fizemos ao longo dos anos; talvez a gente mude essa numeração no futuro. Nos últimos 30 dias tivemos de efetuar a troca de vários servidores do nosso site e fórum. Como nossos leitores sempre nos perguntam sobre a configuração dos nossos servidores, abaixo segue uma descrição detalhada do que foi feito, o motivo e qual é a nossa configuração atual. A principal modificação que fizemos foi no fórum. Como servidor web, nós usávamos dois servidores Dell PowerEdge 1950 (com um com dois processadores Xeon E5405 de 2 GHz, dois núcleos e tecnologia Hyper-Threading, e 16 GiB de memória) com um balanceador de carga, e decidimos trocar esta configuração por um único servidor Dell PowerEdge R520 (com dois processadores Xeon E5-2430 de 2,2 GHz, seis núcleos, tecnologia Hyper-Threading e 32 GiB de memória). O uso de apenas um único servidor web facilita enormemente a manutenção e no final temos um maior poder de processamento, já que o novo servidor é reconhecido como tendo 24 processadores pelo sistema operacional, enquanto que cada servidor antigo era reconhecido como tendo oito processadores cada. Além disso, economizamos uma grana, pois o custo desse novo servidor é inferior ao de mantermos dois servidores e um balanceador de carga. A segunda modificação foi no servidor de banco de dados do fórum. Na realidade, queríamos apenas aumentar a quantidade de memória de 16 GiB para 32 GiB, porém saía mais barato trocar o servidor inteiro por um servidor novo. O servidor antigo era um Dell PowerEdge 1950 com configurações idênticas ao dos servidores web antigos, e o novo servidor é um Dell PowerEdge R520 idêntico ao novo servidor web do fórum, mas com dois SSDs em RAID0. E a terceira modificação foi no servidor de banco de dados do site principal e do sistema de banners. Este era um servidor antigo que só suportava até 8 GiB de memória, então tivemos que trocar o servidor inteiro para termos um servidor com 16 GiB. O servidor antigo era um Dell PowerEdge R200 (Xeon X3210 de 2,13 GHz de quatro núcleos sem tecnologia Hyper-Threading). O servidor novo é um Dell PowerEdge 1950 igual ao que usávamos como servidor web do fórum antes. Aproveitamos para fazer também um upgrade no firewall. Em resumo, diminuímos a nossa quantidade de servidores de sete para seis, porém aumentamos o nosso poder de processamento total. Aproveitando a oportunidade, vemos em nosso fórum e em redes sociais alguns usuários do tipo “fan boy” nos criticando porque usamos processadores Xeon e não processadores Opteron. Gostaríamos de esclarecer que a empresa de hospedagem que usamos não oferece servidores baseados em processadores da AMD. Por isso, esta opção não existe para a gente. Apresentamos abaixo um diagrama atualizado da nossa configuração e, mais abaixo, uma descrição detalhada de cada servidor. srv1 (servidor web do site principal): Dell PowerEdge SC1425, com dois processadores Xeon de 3 GHz com tecnologia Hyper-Threading (total de quatro threads) e 8 GiB de RAM srv2 (servidor web do sistema de banners): Dell PowerEdge SC1425, com dois processadores Xeon de 3 GHz (um núcleo cada, tecnologia Hyper-Threading, total de quatro threads), 4 GiB de RAM srv6 (servidor de banco de dados do site principal e sistema de banners): Dell PowerEdge 1950, com dois processadores Xeon E5405 de 2 GHz (dois núcleos cada, tecnologia Hyper-Threading, total de oito threads), 16 GiB de RAM srv5 (sevidor de e-mail): Dell PowerEdge SC1425, com dois processadores Xeon de 2 GHz (um núcleo cada, tecnologia Hyper-Threading, total de quatro threads), 2 GiB de RAM srv3 (servidor web do fórum): Dell PowerEdge R520, com dois processadores Xeon E5-2430 de 2,2 GHz (seis núcleos cada, tecnologia Hyper-Threading, total de 24 threads), 32 GiB de RAM srv4 (servidor de banco de dados do fórum): Dell PowerEdge R520, com dois processadores Xeon E5-2430 de 2,2 GHz (seis núcleos cada, tecnologia Hyper-Threading, total de 24 threads), 32 GiB de RAM e dois SSDs de 120 GiB em RAID0 Firewall: SonicWall Pro 2040 A respeito da numeração que adotamos, ela pode parecer confusa para você, pois reflete os diversos upgrades que fizemos ao longo dos anos; talvez a gente mude essa numeração no futuro. Nesta semana, substituímos dois servidores web por um único servidor web mais parrudo. Com isso, diminuímos a quantidade de servidores que temos de seis para cinco, mas aumentamos o desempenho, facilitamos a manutenção e diminuímos custos. Esses dois servidores estavam no ar desde 2009 e, na época, pegar um único servidor mais parrudo tinha um custo proibitivo. Agora, porém, nós conseguimos pegar um servidor mais parrudo pela metade do custo de mantermos esses dois servidores... srv1 (servidor web do site principal): Dell PowerEdge R410 com dois processadores Xeon E5506 de 2,13 GHz (quatro núcleos cada, sem HT), 16 GiB de RAM e dois SSDs de 120 GiB em RAID0 srv2 (servidor de banco de dados do site principal): Dell PowerEdge 1950, com dois processadores Xeon E5405 de 2 GHz (dois núcleos cada, tecnologia Hyper-Threading, total de oito threads), 16 GiB de RAM srv3 (servidor web do fórum): Dell PowerEdge R520, com dois processadores Xeon E5-2430 de 2,2 GHz (seis núcleos cada, tecnologia Hyper-Threading, total de 24 threads), 32 GiB de RAM srv4 (servidor de banco de dados do fórum): Dell PowerEdge R520, com dois processadores Xeon E5-2430 de 2,2 GHz (seis núcleos cada, tecnologia Hyper-Threading, total de 24 threads), 32 GiB de RAM srv5 (sevidor de e-mail): Dell PowerEdge SC1425, com dois processadores Xeon de 2 GHz (um núcleo cada, tecnologia Hyper-Threading, total de quatro threads), 2 GiB de RAM Firewall: SonicWall Pro 2040 PS: Aproveitando a oportunidade, de vez em quando vemos em nosso fórum e em redes sociais alguns usuários do tipo “fan boy” nos criticando porque usamos processadores Xeon e não processadores Opteron. Gostaríamos de esclarecer que a empresa de hospedagem que usamos não oferece servidores baseados em processadores da AMD. Por isso, essa opção não existe para a gente. Em agosto de 2014, fizemos um upgrade no servidor de e-mail. O novo modelo é um Dell PowerEdge R200 com processador Xeon X3210 de 2,13 GHz (quatro núcleos e quatro threads), 8 GiB de RAM e disco rígido de 500 GB. A lista atualizada de servidores é a seguinte: srv1 (servidor web do site principal): Dell PowerEdge R410 com dois processadores Xeon E5506 de 2,13 GHz (quatro núcleos cada, sem HT), 16 GiB de RAM e dois SSDs de 120 GiB em RAID0 srv2 (servidor de banco de dados do site principal): Dell PowerEdge 1950, com dois processadores Xeon E5405 de 2 GHz (dois núcleos cada, tecnologia Hyper-Threading, total de oito threads), 16 GiB de RAM srv3 (servidor web do fórum): Dell PowerEdge R520, com dois processadores Xeon E5-2430 de 2,2 GHz (seis núcleos cada, tecnologia Hyper-Threading, total de 24 threads), 32 GiB de RAM srv4 (servidor de banco de dados do fórum): Dell PowerEdge R520, com dois processadores Xeon E5-2430 de 2,2 GHz (seis núcleos cada, tecnologia Hyper-Threading, total de 24 threads), 32 GiB de RAM srv5 (sevidor de e-mail): Dell PowerEdge R200, processador Xeon X3210 de 2,13 GHz (quatro núcleos e quatro threads), 8 GiB de RAM e disco rígido de 500 GB Firewall: SonicWall Pro 2040 No mês passado, eu vendi o site Hardware Secrets, que era a versão em inglês do Clube do Hardware, e que ficava hospedado nas mesmas máquinas. Com a mudança do Hardware Secrets para os servidores próprios do novo proprietário, houve uma queda no tráfego e no uso dos recursos dos nossos servidores. Ficamos, portanto, com uma capacidade de servidores muito maior do que a necessária para o nosso tráfego atual. Dessa forma, fizemos mais uma consolidação de servidores, unificando os servidores web do site principal e do fórum, mantendo o antigo servidor web do fórum, bem como unificando os servidores de banco de dados do site principal e do fórum, mantendo o antigo servidor de banco de dados do fórum e instalando mais 32 GiB de RAM nesta máquina, para um total de 64 GiB. A nossa configuração atual passou a ser a seguinte: srv1 (servidor web): Dell PowerEdge R520, com dois processadores Xeon E5-2430 de 2,2 GHz (seis núcleos cada, tecnologia Hyper-Threading, total de 24 threads), 32 GiB de RAM e dois SSDs de 120 GiB em RAID0 srv2 (servidor de banco de dados): Dell PowerEdge R520, com dois processadores Xeon E5-2430 de 2,2 GHz (seis núcleos cada, tecnologia Hyper-Threading, total de 24 threads), 64 GiB de RAM e dois SSDs em RAID0 srv3 (sevidor de e-mail): Dell PowerEdge R200, processador Xeon X3210 de 2,13 GHz (quatro núcleos e quatro threads), 8 GiB de RAM e disco rígido de 500 GB Firewall: SonicWall Pro 2040 A empresa de hospedagem que usamos foi comprada por outra, nos forçando a trocar os servidores por outros, localizados em outro datacenter. De qualquer forma, já estava mais do que na hora, pois estávamos usando os mesmos servidores desde 2013 (com reduções no número de servidores ocorridas ao longo do caminho, como você pode conferir detalhadamente nas páginas anteriores). A nova configuração é a seguinte: srv1 (servidor web): Dell PowerEdge R440, 2x Xeon Silver 4114 (10 núcleos/20 threads cada, para um total de 20 núcleos e 40 threads), 64 GiB de RAM e SSD de 480 GiB srv2 (servidor de banco de dados): Dell PowerEdge R440, 2x Xeon Silver 4114 (10 núcleos/20 threads cada, para um total de 20 núcleos e 40 threads), 64 GiB de RAM e SSD de 480 GiB srv3 (servidor de e-mail): Dell PowerEdge R220, processador Xeon E3-1231 v3 (quatro núcleos e oito threads), 32 GiB de RAM e disco rígido de 2 TB