Usando servidores HP com Folding@Home

[RooT]

Olá pessoal. Vou descrever aqui as configurações detalhadas das máquinas que uso no folding@home. Tanto para os curiosos quanto para quem planeja montar ou reaproveitar um sistema desses para foldar.

O grande forte de se usar servidores para qualquer tipo de aplicação é a estabilidade. É muito fácil montar um PC muito mais potente que um servidor comum, porém como o público alvo é diferente, a preocupação com estabilidade e segurança também é diferente ao se fabricar componentes de hardware para essas máquinas. Como o folding@home exige muito processamento e acesso à memória, estabilidade é tudo aqui.

Além disso existem vários outros recursos interessantes nessas máquinas como por exemplo redundância nas fontes, nos processadores, nas memórias, nos discos em raid, etc. No caso dos discos, há um recurso muito bacana que é o Hot-Plug, que permite que você retire um dos discos rígidos das máquinas sem precisar desligá-la. Neste caso, dois recursos permitem isso: o Raid e o próprio projeto de fabricação do disco que permite ser desligado e retirado em pleno funcionamento.

Vamos às máquinas. Neste momento estou utilizando 7 HPs Proliant, a saber:

3x DL360G6

- Dois Xeons E5520 (com HT ativado) 2.26Ghz - Total de 16 cores

- 16Gb de memória PC3-10600R RDIMMs DDR3

- 4 discos de 146Gb SAS

- 2 placas de rede 1Gbit

2x DL160G6

- Dois Xeons E5504 2.0Ghz - Total de 8 cores

- 4Gb de memória PC3-10600R RDIMMs DDR3

- 2 discos de 250Gb SATA

- 2 placas de rede 1Gbit

1x DL380G6

- Dois Xeons E5520 (com HT ativado) 2.26Ghz - Total de 16 cores

- 50Gb de memória PC3-10600R RDIMMs DDR3

- 6 discos de 146Gb SAS

- 3 placas de rede 1gbit

1x DL360G5

- Dois Xeons 5335 2.0Ghz - Total de 8 cores

- 4Gb de memória PC2-5300 Fully Buffered DIMMs

- 3 discos de 146Gb SAS

- 2 placas de rede 1Gbit

Sobre as WUs que pego, praticamente são só as "big WUs" 2681, 2682, 2683 e a recente 2684 (muito pesada).

As máquinas equipadas com os E5520 demoram 30 minutos para cada % processado das 2681, 2682 e 2683, rendendo 60 mil pontos (25 mil da WU + 35 mil de bônus). Para a 2684 são 43 minutos em média, rendendo 67 mil pontos (8955 da WU + 58 mil de bônus). Esses valores de pontuação são uma média, costumam oscilar mil pontos para mais ou para menos, dependendo de fatores que acredito serer ovehead o Sistema Operacional.

As equipadas com os E5504 e E5335 levam 50 minutos para cada % das 2681, 2682 e 2683, rendendo 50 mil pontos (25 mil da WU + 25 mil de bônus). A 2684 leva cerca de 1 hora e 12 minutos para cada %, totalmente inviável.

Todas as máquinas rodam Ubuntu Desktop 9.10, exceto uma DL160G6 roda Ubuntu Server 9.04.

Com esse arsenal em operação tenho conseguido pontuar pouco mais de 1 milhão por semana, mas esse número tende a mudar com a chegada da WU 2684, que por um lado é muito pesada e demora muito para se completar, por outro lado rende muito mais bônus que qualquer outra WU. Vamos ver como vai ficar esse desempenho com o tempo.

Bom, acho que deu pro pessoal matar um pouco da curiosidade, hehe. Para quem estiver disposto a montar um sistema desses, basta desembolsar mais ou menos U$ 25000,00.

Ainda bem que essas máquinas são da Univesidade onde estudo, e elas estavam paradas devido à "falta do que elas fazerem". Além de aproveitar esse excelente conjunto de máquinas para um nobre motivo, não tenho a preocupação com consumo de energia. Portanto posso usar e abusar delas à vontade.

Abraço galera, e keep folding!

[jaobutzke]

Bom, o custo x beneficio dessas maquinas é bom?

Ps: parabens pelos 4 milhos

[RooT]

Para quem tem aplicações críticas sim. Em geral essas máquinas são usadas para armazenarem sites, banco de dados, filtros de rede, rodar sistemas de Bancos, etc. São aplicações críticas onde a máquina nunca pode desligar, travar, esquentar muito, reiniciar, etc. Esses servidores da HP, assim como os da Dell e IBM são feitos para dar a maior segurança possível, com todo um aparato de redundância.

Uma única máquina dessas pode sozinha rodar o site do Clube do Hardware com razoável velocidade. Imagina o prejuízo se esse "troço" trava? Muitas vezes o prejuízo é incalculável.

A maior questão pelo relativo alto preço de uma máquina dessas é pelo suporte que a HP dá em seus produtos. Qualquer problema, por mais remoto que seja, o suporte deles resolve, na maioria das vezes à distância, em questão de minutos entre a abertura de um chamado e o problema totalmente resolvido. Para centros de processamento de dados isso é uma maravilha!

[Alrai]

Que beleza!!! esse é a nossa Administraçao Brasileira! =)

"falta do que elas fazerem"

[RooT]

Pois é, acredite, o dinheiro público é muito mal administrado mesmo. Aqui na Universidade temos aproximadamente 35 máquinas dessas, sendo que umas 20 no máximo já seriam mais que o suficiente. E o impressionante é que não pára de chegar máquinas novas toda semana, pena que não fui autorizado a usar essas outras máquinas pelo menos agora, num futuro quem sabe.

Mesmo com tanto recurso de sobra, ainda inventaram de comprar um Blade System. Sim, isso mesmo, um Blade, máquina de capacidade colossal que sozinha consegue rodar enormes sistemas como por exemplo grandes partes do gigantesco sistema da Receita Federal brasileira. O custo dessa criança? Custou nada menos que 1 milhão e meio de reais.

[jaobutzke]

ei, pensando nisso, tenho como alugar um servidor pra foldar?

[Alrai]

ei, pensando nisso, tenho como alugar um servidor pra foldar?

Ta vendo =( esse é o espirito brasileiro!

Me envergonho disto =(

Mas vamos que vamos! somos jovens e podemos mudar muito!! =)

RooT é eu sei como é, eu trabalhava na unicamp, la era a mesma coisa, tinha 10k pra fazer festa e não tinha 1 tostão para comprar nobreak, ja ai na sua eles gostam de tecnologia! hehehehehehehe

[jefferson.igorbr]

ei, pensando nisso, tenho como alugar um servidor pra foldar?

Também estava pensando nisso, só que o custo é bem salgado. Sai mais barato comprar o PC em 12x no cartão

[RooT]

ei, pensando nisso, tenho como alugar um servidor pra foldar?

Sim, isso é possível e já existe em larga escala no mundo inteiro. É o que se chama de Fazenda de Computadores, as Farms. Uma empresa que possui várias máquinas que são alugadas a quem quiser para rodar os mais variados programas, em geral de simulações ou renderizações. As animações gráficas dos filmes de Hollywood são renderizadas em fazendas de computadores, por exemplo.

Porém não conheço alguma Farm brasileira.

[jaobutzke]

Quer me alugar uma maquina dessas? huahuaha

[KinKaray]

RooT, desculpe a pergunta, mas em qual facul você trampa? (Se não quiser responder não precisa!^^)

Mas galera, logo logo, começaremos uma farm do CdH!!

Eu to aqui começando a montar uma farm ,pequena e que, ainda, não pontua quase nada, mas quem sabe um dia! ^^

[RooT]

RooT, desculpe a pergunta, mas em qual facul você trampa? (Se não quiser responder não precisa!^^)

Que isso, imagina. É na UFES.

[hallaor]

Root meus parabens pelas maquinas...

Fiquei com inveja, ¬¬ (brincadera)

Pois na universidade onde estudo, tem uns servidores também... ja até fiquei imaginando eu aproveitando o tempo ocioso dos servidores deles.. hehehehehehe... o/

[Evandro]

Pois é, acredite, o dinheiro público é muito mal administrado mesmo. Aqui na Universidade temos aproximadamente 35 máquinas dessas, sendo que umas 20 no máximo já seriam mais que o suficiente. E o impressionante é que não pára de chegar máquinas novas toda semana, pena que não fui autorizado a usar essas outras máquinas pelo menos agora, num futuro quem sabe.

Mesmo com tanto recurso de sobra, ainda inventaram de comprar um Blade System. Sim, isso mesmo, um Blade, máquina de capacidade colossal que sozinha consegue rodar enormes sistemas como por exemplo grandes partes do gigantesco sistema da Receita Federal brasileira. O custo dessa criança? Custou nada menos que 1 milhão e meio de reais.

Não é só aí.. nem vou comentar, tem muita coisa errada nesse meio, muita politicagem, muita utopia e é por isso que nossa ciência faz o que pode, mas infelizmente ainda não consegue fazer o que tem capacidade.

Mas posso falar de uma, que não é a primeira que ocorre por aqui.

Firezam uma rotatória aqui no campus da USP RP. Asfaltaram tudo bonitinho mas só tem um problema.. ficou um poste a meio metro da calçada, dentro da rua.

Sim, vocâs leram direito.

Da outra vez eles criaram uma rua, safaltaram tudo certinho mas de novo tinha lá um poste, mas desta vez no meio da rua, e isso sem falar em uma outra rotatória que fizeram e ela precisou ser reformada 3 vezes em muito pouco tempo porque era difícil de trafegar nela, principalmente os ônibus.

[jaobutzke]

Pena que a furb é privada, tavam querendo tornar ela uma universidade publica, mais acho que só traria problemas.

[Gabriel Torres]

Valeu Root,

Matou a minha curiosidade, vou ver quais WUs eu estou pegando aqui pois nunca me atentei a isso.

Ah, só um esclarecimento:

Uma única máquina dessas pode sozinha rodar o site do Clube do Hardware com razoável velocidade. Imagina o prejuízo se esse "troço" trava? Muitas vezes o prejuízo é incalculável.

Na realidade não, usamos 7 servidores Dell similares he he he O tráfego do Clube do Hardware e o poder de processamento necessário é monstro...

Abraços,

Gabriel.

[RooT]

Na realidade não, usamos 7 servidores Dell similares he he he O tráfego do Clube do Hardware e o poder de processamento necessário é monstro...

Valeu Gabriel. Só uma dúvida, quais máquinas você usa para rodar o site e o fórum do CDH? Procurei no blog mas só encontrei uns upgrades antigos que você fez.

Abraço

[KinKaray]

Mas a maioria dos problemas é administrativo e/ou político.

Conheço alguns professores da USP (meu pai é professor lá) que se matam de trabalhar para fazer o seu "setor", digamos assim, dar certo e funcionar direito, ai vem um reitor ou alguma coisa e f****** com tudo.... Por pura falta de conhecimento, politicagem, ou burrice pura e simples.

[Gabriel Torres]

Oi Root,

Realmente as informações acabaram ficando "espalhadas".

A configuração completa listando os modelos de servidores:

https://www.clubedohardware.com.br/artigos/blog/274

Essa era a configuração que usávamos quanto tínhamos 9 servidores, nós resolvemos trocar e "juntar" alguns servidores (isto é, pegando dois servidores mais "fracos" e trocando por um mais "forte") e passamos a ter 7:

https://www.clubedohardware.com.br/artigos/blog/314

Mas é claro que a maioria deles não chega nem aos pés dos servidores que você tem aí. É óbvio que eu dei uma exagerada na minha mensagem anterior, tecnicamente falando daria para juntar alguns dos servidores em um único desses servidores que você usa, mas por questões de custo é mais barato usar a configuração que usamos, e por isso usamos servidores separados (há outro motivo, segurança/estabilidade, por exemplo se o site sai do ar continuamos com e-mail pois o servidor de e-mails é separado).

Abraços,

Gabriel.

[hallaor]

Oi Root,

Realmente as informações acabaram ficando "espalhadas".

A configuração completa listando os modelos de servidores:

https://www.clubedohardware.com.br/artigos/blog/274

Essa era a configuração que usávamos quanto tínhamos 9 servidores, nós resolvemos trocar e "juntar" alguns servidores (isto é, pegando dois servidores mais "fracos" e trocando por um mais "forte") e passamos a ter 7:

https://www.clubedohardware.com.br/artigos/blog/314

Desculpe, mas com esses servidores, você tambem usa pro seu folding?? se nao, quantas maquinas você usa??

att

[Sambaquy]

Valeu Root,

Matou a minha curiosidade, vou ver quais WUs eu estou pegando aqui pois nunca me atentei a isso.

Ah, só um esclarecimento:

Na realidade não, usamos 7 servidores Dell similares he he he O tráfego do Clube do Hardware e o poder de processamento necessário é monstro...

Abraços,

Gabriel.

E olha que acessar o CDH em horário de pico está complicado, o fórum trava aqui entre as 19:00 e as 21:00, outros sites não, tão faturando bem hein, rsss, ainda bem que tem gente que deixa de ver novela para ler algo interessante por aqui.

[RoyalKnight]

^^

Eu faço isso, não suporto novelas.

Sou muito mais ler Notícias e afins por aqui e pela rede.

[jowjowjowjowjow]

Gabriel esses seus servidores são só do Clube do Hardware ou do Hardware Secrets tambem?

[RooT]

Desculpe, mas com esses servidores, você também usa pro seu folding?? se nao, quantas maquinas você usa??

att

Com certeza ele não faz isso, até porque se fizesse, o site e o fórum ficariam tão lentos a ponto de praticamente parar. A quantidade de acessos é muito grande e os clientes do folding consomem muito processamento. A ideia de que o folding só usa os tempos ociosos do processador não funciona bem na prática.

EDIT:

Gabriel, qual máquina você usa para o balanceamento de carga? Seria algum roteador?

[Gabriel Torres]

Desculpe, mas com esses servidores, você também usa pro seu folding?? se nao, quantas maquinas você usa??

att

Olá. O cliente para processadores do folding só pode ser usado com processadores que estão ociosos e além disso não poderíamos comprometer o desempenho do site/fórum rodando o folding.

As máquinas que uso estão listadas aqui:

https://www.clubedohardware.com.br/artigos/blog/288

Fiz algumas mudanças recentes, coloquei o Core i7-980X para rodar o bicho e instalei uma segunda placa de vídeo, uma GeForce GTX 275 na minha máquina pessoal. Este Core i7 eu desligo quando preciso do espaço (está montado na bancada) ou das peças que ele usa (por exemplo, a placa-mãe dele é a que usamos para testar placas de vídeo). Em breve postarei atualizações.

E olha que acessar o CDH em horário de pico está complicado, o fórum trava aqui entre as 19:00 e as 21:00, outros sites não, tão faturando bem hein, rsss, ainda bem que tem gente que deixa de ver novela para ler algo interessante por aqui.

Bem, vou considerar o que você disse como uma piada, é claro.

Gabriel esses seus servidores são só do Clube do Hardware ou do Hardware Secrets também?

Sim. O srv1 que é usado pelo sistema de banners é também usado para hospedar o Hardware Secrets. O banco de dados do Hardware Secrets está no mesmo servidor do banco de dados do Clube do Hardware. O Hardware Secrets é bem menor do que o Clube do Hardware (10% do tráfego e número de usuários), então não há problema.

Com certeza ele não faz isso, até porque se fizesse, o site e o fórum ficariam tão lentos a ponto de praticamente parar. A quantidade de acessos é muito grande e os clientes do folding consomem muito processamento. A ideia de que o folding só usa os tempos ociosos do processador não funciona bem na prática.

Exatamente.

Gabriel, qual máquina você usa para o balanceamento de carga? Seria algum roteador?

É um balanceador de carga por hardware, é uma máquina vendida pronta com esta finalidade. Eu nunca vi pessoalmente a bicha então não saberia te dizer exatamente se é um roteador ou servidor adaptado. Sei que tem uma porta WAN e quatro portas LAN.

Abraços,

Gabriel.