Ajuda para montar computador com 4 Titan X!

[Églen Protas]

Oi. Sou aluno de mestrado em engenharia de computação na Universidade Federal do Rio Grande(FURG). Estamos planejando montar um computador com 4 GeForce Titan X, que será usado para treinar redes neurais. Eu pensei na seguinte configuração:

placa-mãe:

ASUS ROG RAMPAGE V EXTREME/U3.1 LGA 2011-v3 Intel X99 SATA 6Gb/s USB 3.1 Extended ATX Intel Motherboard - Newegg.com

Processador:

http://www.newegg.com/Product/Product.aspx?Item=N82E16819117404

Memória:

http://www.newegg.com/Product/Product.aspx?Item=N82E16820233801

SSD:

http://www.newegg.com/Product/Product.aspx?Item=9SIA3FA3KF3036

GPU: Quatro dessas:

http://www.amazon.com/EVGA-GeForce-GAMING-Graphics-12G-P4-2992-KR/dp/B00UXTN5P0/ref=sr_1_1?s=pc&ie=UTF8&qid=1452885546&sr=1-1&keywords=titan+x

Fonte:

http://www.newegg.com/Product/Product.aspx?Item=9SIA24G28N1850

 

Eu fiquei com algumas duvidas:

Existe algum problema de compatibilidade nessa configuração:

Será que vai ter espaço na placa-mãe pra colocar as 4 Titan X?

Como vamos refrigerar isso tudo? Qual gabinete seria ideal?

 

Eu também fiquei em duvida sobre o que exatamente seria isso?

http://www.amazon.com/EVGA-GeForce-Cooling-Graphics-12G-P4-1999-KR/dp/B00YDAYMIE/ref=sr_1_1?s=pc&ie=UTF8&qid=1452900469&sr=1-1&keywords=titan+x+HYBRID

É uma placa de vídeo refrigerada a agua?

Como se instala isso?

É só ter um gabinete com 4 espaços para ventilador de 120 mm?

Qual gabinete teria essa característica?

 

Pensei nesse gabinete, mas talvez não seja suficiente:

http://www.newegg.com/Product/Product.aspx?Item=N82E16811139019&cm_re=corsair_obsidian_900-_-11-139-019-_-Product

 

Preciso da ajuda de vocês, gostaria de resolver essas duvidas até segunda.

Muito obrigado pela atenção!

[Dharos]

Onde conseguiu esse dinheiro o.O ?

[Bessone]

 

 talvez esse vídeo te norteie um pouco 

[Zeca Pagodinho]

Olha, a pergunta pode parecer *****, mas é necessário ter um processador LGA 2011 para rodar software de GPGPU? São 4 placas de vídeo, geralmente cada uma fica com 1 thread controlador e não mais. Se não me engano o poder single thread desse processador não é diferente dos processadores i7 da mesma arquitetura, que têm 4 núcleos reais e 4 virtuais, ou seja, sobra capacidade de gerenciamento desses 4 monstrinhos.

E SSD pra quê? Por acaso um HD Sata3 seria limitador de rendimento para a entrega de resultados das placas de vídeo? Que eu saiba, seja qual for o trabalho que as placas de vídeo desenvolverem, usarão muito suas próprias memórias, as memórias do computador e por fim fazer alguma entrada no disco. Por exemplo, eu faço parte da rede de computação distribuída Folding@Home, recebo trabalhos cujo resultado de 3 a 5 horas na minha GTX 780Ti não somam mais que 30 MiB... se pudesses explicar que tipo de cálculos e respostas essas redes neurais dão, ficaria mais claro a necessidade de um disco SSD e todos nós aprenderíamos um pouco mais.

Ok, um SSD tem desempenho bem superior em relação a um HD. Mas se você precisa de espaço, não é com um SSD que se consegue isso. O custo é muito alto e é possível obter velocidade no que se precisa usando unidades menores trabalhando em RAID0, deixando o trabalho de armazenamento pesado com HD's.

[Zeca Pagodinho]

A diferença entre essa

http://www.amazon.com/EVGA-GeForce-Cooling-Graphics-12G-P4-1999-KR/dp/B00YDAYMIE/ref=sr_1_1?s=pc&ie=UTF8&qid=1452900469&sr=1-1&keywords=titan+x+HYBRID

e essa

http://www.amazon.com/EVGA-GeForce-GAMING-Graphics-12G-P4-2992-KR/dp/B00UXTN5P0/ref=sr_1_1?s=pc&ie=UTF8&qid=1452885546&sr=1-1&keywords=titan+x

é que a primeira vem com um sistema de refrigeração líquida já pré-instalado, entretanto, para quem quer colocar 4 TitanX uma do lado da outra, não parece ser a melhor opção. Nesse caso o melhor seria um sistema de refrigeração líquida customizado, utilizando blocos a serem montados diretamente sobre o processador e controladores de tensão (DRM, acho que é esse o termo), para no fim ligar tudo a uma única bomba ligada a um radiador grande e que seja projetado para resfriar mais de 1000W de potência. Acho que não existe isso para gabinete nenhum, é um sistema de exceção, tudo deverá ser pensado minuciosamente e levando em consideração cada detalhe. Quanto ao espaço físico, colocando blocos para refrigeração líquida deve sobrar um espaço de circulação de ar entre as placas.

Por fim, o lugar onde fica esse monstrengo deve ser refrigerado, mantendo temperatura ambiente baixa, caso contrário o sistema de refrigeração, seja qual for, não vai dar conta.

[Églen Protas]

Bom, o SSD acho que não precisa, mas já que vamos gastar tanto não faz sentido economizar no HD. De qualquer jeito a decisão final não é minha, só estou fazendo o orçamento. Além disso pode ser útil no futuro, em outras aplicações.

Sobre o gerenciamento das GPUs, isso deve ser feito pelo framework que vamos utilizar. Acredito que não vai haver necessidade de muito gerenciamento, que a maior parte do fluxo de dados vai ser entre a GPU e a memória de vídeo mesmo. O processador tem 8 núcleos físicos e 16 threads, talvez seja possível fazer parte dos cálculos nas GPUs e outra parte em CPU, mas mesmo que não seja esse processador certamente vai ser útil em outros projetos.

 

Pelo visto a refrigeração vai ser um problema sério, ainda não sei como vamos resolver isso. Eu nunca nem vi um Water Cooler de perto, espero que a gente encontre alguém que já tenha mexido com isso.

 

Obrigado pela ajuda!

 

Edit: Assisti o vídeo, e pelo que eu entendi eles só colocaram water cooler no processador e simplesmente meteram as 4 titans uma do lado da outra. Mesmo assim a temperatura ficou na casa dos 85°, que eu acho que é aceitável, mesmo com uso de GPU acima dos 95%.

[Zeca Pagodinho]

Em relação ao vídeo postado, fica muito bonito, mas você pode ver que as quatro placas de vídeo ficam grudadinhas. Na prática sai um calor infernal dali, com o tempo a temperatura só sobe e não duvido que as placas de vídeo comecem a decair o clock para evitar superaquecimento... enfim, paga-se por 4 GTX TitanX e se recebe, depois de uns 30 min de trabalho pesado, 4 GTX 960-970...

 

Uma fonte de 1600W 80 Plus Platinum parece ser muito boa, dá conta do recado, mas já que o problema não é dinheiro e a refrigeração é um problema, se encontrares uma 80 Plus Titanium de 1800-2000W ligada a uma rede de 220-230V fica de melhor tamanho para a exigência que terás: ~1000 W no pico de consumo, em torno de 50% da capacidade da fonte significa 96% de rendimento, ou seja, somente 4% de perdas com dissipação térmica e outros.

[Églen Protas]

Pois é, fica bem apertado. Mas se a gente conseguir 4 das titans refrigeradas a agua acho que fica bom. O problema vai ser achar um gabinete com 4 "furos" pra cooler de 120mm. Talvez a gente tenha que abrir espaço no gabinete na marra.

Sobre a fonte, parece que existe uma de 2000W:

https://www.techpowerup.com/reviews/SuperFlower/SF-2000F14HP/11.html

Mas pelo visto é difícil de achar até nos EUA. Não sei se tem como importar da Alemanha.

[Bessone]

Sobre a fonte, uma de 1600W aguenta sem problema. O seu maior desafio na montagem desse monstro é justamente pensar em um sistema de refrigeração eficiente. Como você bem disse, no vídeo o cara botou o WC no processador e deixou as titans à ''deriva''. Outro grande problema é que no vídeo eles colocaram o ''sentido'' do ar de forma errada. Você tem que criar uma corrente de ar que passe pelo gabinete, mantendo sempre refrigerado. Não vou nem citar o papo de nitrogênio líquido porque acho que isso está completamente fora dos planos. 

[Zeca Pagodinho]

7 horas atrás, Bessone disse:

Sobre a fonte, uma de 1600W aguenta sem problema. O seu maior desafio na montagem desse monstro é justamente pensar em um sistema de refrigeração eficiente. Como você bem disse, no vídeo o cara botou o WC no processador e deixou as titans à ''deriva''. Outro grande problema é que no vídeo eles colocaram o ''sentido'' do ar de forma errada. Você tem que criar uma corrente de ar que passe pelo gabinete, mantendo sempre refrigerado. Não vou nem citar o papo de nitrogênio líquido porque acho que isso está completamente fora dos planos. 

 

Aguentar, aguenta. A questão é a eficiência da fonte. Com 70% da carga a eficiência cai um pouco. O ideal, sempre que pensamos em fontes, é trabalhar com 50% da carga, é nesse ponto que a eficiência é máxima. No caso de uma Platinum fica em 94% e uma Titanium, 96%, ambas trabalhando em rede de 230V.

[Thiago Atanazio]

e uma bancada aberta em vez de gabinete?

[ares0079]

Creio que o melhor seria dispensar o gabinete usual e utilizar uma estrutura para overclok de bancada:

 

 

 

Ou então, montar uma estrutura com parafusos e finalziar com acrilico, realizando as furações necessária, inclusive para circulação do ar:

 

[Églen Protas]

Será que não seria melhor duas fontes então? Uma de 1200W pra ligar 3 titans, e uma de uns 1000W pra ligar todo o resto?

Cada titan consome em torno de 230W, acredito que todo o resto (processador, placa-mãe, SSD, etc) deve consumir uns 270, ou menos, não é? A melhor eficiência ocorre quando a fonte trabalha com 50% da carga, não é isso?

[CM18]

 

 

 

Talvez de conta do recado..

[KairanD]

43 minutos atrás, Églen Protas disse:

Cada titan consome em torno de 230W, acredito que todo o resto (processador, placa-mãe, SSD, etc) deve consumir uns 270, ou menos, não é? A melhor eficiência ocorre quando a fonte trabalha com 50% da carga, não é isso?

Cada Titan X pode alcançar picos de aproximadamente 250W em full load: http://www.tomshardware.com/reviews/nvidia-geforce-gtx-titan-x-gm200-maxwell,4091-5.html

[Églen Protas]

1 hora atrás, Foxwalt disse:

Cada Titan X pode alcançar picos de aproximadamente 250W em full load: http://www.tomshardware.com/reviews/nvidia-geforce-gtx-titan-x-gm200-maxwell,4091-5.html

Sim, mas isso no test de "torture", que não corresponde à condições reais. Em "gaming" ficou em 224W. É claro que o nosso caso é diferente dos testados, então não tem como prever exatamente quanto elas vão consumir.

[KairanD]

35 minutos atrás, Églen Protas disse:

Sim, mas isso no test de "torture", que não corresponde à condições reais. Em "gaming" ficou em 224W. É claro que o nosso caso é diferente dos testados, então não tem como prever exatamente quanto elas vão consumir.

Eu apenas quis chamar atenção para as cargas de pico, que são o valor mais importante ao dimensionar uma fonte, apenas para acrescentar informações. Em nenhum momento eu quis dizer que isso ia ser o consumo real ou que deve ser aplicado ao cálculo de eficiência.

[Églen Protas]

1 hora atrás, Foxwalt disse:

Eu apenas quis chamar atenção para as cargas de pico, que são o valor mais importante ao dimensionar uma fonte, apenas para acrescentar informações. Em nenhum momento eu quis dizer que isso ia ser o consumo real ou que deve ser aplicado ao cálculo de eficiência.

Sim, mas acho que no caso dessa configuração, com uma fonte alimentando exclusivamente 3 das titans, não tem a menor possibilidade da carga de pico chegar perto dos 1200W. Não sei bem o consumo dos outros componentes, mas duvido que todos eles e mais uma titan cheguem a puxar perto 1000W.

[KairanD]

agora, Églen Protas disse:

Sim, mas acho que no caso dessa configuração, com uma fonte alimentando exclusivamente 3 das titans, não tem a menor possibilidade da carga de pico chegar perto dos 1200W. Não sei bem o consumo dos outros componentes, mas duvido que todos eles e mais uma titan cheguem a puxar perto 1000W.

Então, não chega mesmo. Ficará tranquilo. Coloquei a informação ali somente para ajudar nisso, e você pôde confirmar o que já estava pensando.

[Églen Protas]

Estou seriamente pensando em pegar 4 HYBRID e coloca-las no gabinete que eu já tinha escolhido. Lugar pros 4 radiadores de 120mm tem, ali em baixo, o problema é que não da pra saber se os tubos alcançam até lá.