Computador para LLM (Large Language Model) até R$ 20.000

[josue.sehnem]

Estou querendo montar um computador para treinar e rodar LLM, para isso preciso de uma máquina bem robusta, estou pensando em algo como um 7950x, 64GB de ram e um rtx3090 usada, provavelmente no futuro vou querer fazer upgrade para 128GB e adicionar mais uma rtx3090, sei que orçamento pode ficar um pouco apertado, mas tenho alguma flexibilidade para cima, e de preferência quero gastar menos que isso, vi que o processador está com um bom valor na gigantec, mas não sei se é confiável, também tenho dúvidas sobre a melhor opção de resfriamento, fonte, memória, gabinetee até mesmo placa-mãe. Espero que possam me ajudar, eu costuma frequentar há muito tempo aqui, mas hoje em dia estou bem por fora da área.

Obrigado.

[Entusiasta da Elétrica]

@josue.sehnem Podemos mudar algumas coisa mas qual é esse processador que você citou, 7 ou 9? 

[josue.sehnem]

2 minutos atrás, Entusiasta da Elétrica disse:

@josue.sehnem Podemos mudar algumas coisa mas qual é esse processador que você citou, 7 ou 9? 

É esse aqui.

[Rolf William Gewers]

@josue.sehnem Rss.... pode comprar, comprei lá esse também, inclusive o X é bem melhor que o 3d.

Sobre o resto... minha opinião, de quem já apanhou bastante com AMD.

 

Memória, não pegue memória primeiro, pegue por último, escolha uma placa-mãe bacana, para essa cpu x670 ou x670e se quiser pcie5 para futuras gpu´s), marca gigabyte, msi ou ASRock estão bem com Ryzen, ASUS melhor ficar afastado, tem umas fofocas ruins rolando sobre eles com AMD, de qualquer forma, primeiro placa-mãe, escolhida ela, olha o QVL no suporte dela e ali você escolhe o modelo da ram, isso porque você quer lotar o banco, se fosse 2 pentes não importa tanto... mas para 128gb, você quer a memória testada e acertada para evitar problema, se prepara, pois achar ram de QVL é um saco, e para 128gb prepara o bolso, no meu 2990wx eu tive que importar todos os 8 pentes.

 

GPU, a ideia da 3090 é boa mesmo, alias, acho que vou roubar sua ideia rs... preço show.

 

Quase esqueci, se quiser fonte estou vendendo uma corsair hx850i platinum, rodei meu 2990wx com uma 2080ti durante um bom tempo com ela.

[Andros Santos]

[josue.sehnem]

26 minutos atrás, Rolf William Gewers disse:

@josue.sehnem Rss.... pode comprar, comprei lá esse também, inclusive o X é bem melhor que o 3d.

Sobre o resto... minha opinião, de quem já apanhou bastante com AMD.

 

Memória, não pegue memória primeiro, pegue por último, escolha uma placa-mãe bacana, para essa cpu x670 ou x670e se quiser pcie5 para futuras gpu´s), marca gigabyte, msi ou ASRock estão bem com Ryzen, ASUS melhor ficar afastado, tem umas fofocas ruins rolando sobre eles com AMD, de qualquer forma, primeiro placa-mãe, escolhida ela, olha o QVL no suporte dela e ali você escolhe o modelo da ram, isso porque você quer lotar o banco, se fosse 2 pentes não importa tanto... mas para 128gb, você quer a memória testada e acertada para evitar problema, se prepara, pois achar ram de QVL é um saco, e para 128gb prepara o bolso, no meu 2990wx eu tive que importar todos os 8 pentes.

 

GPU, a ideia da 3090 é boa mesmo, alias, acho que vou roubar sua ideia rs... preço show.

 

Quase esqueci, se quiser fonte estou vendendo uma corsair hx850i platinum, rodei meu 2990wx com uma 2080ti durante um bom tempo com ela.

Valeu pelas dicas, teria alguma sugestão de cooler e gabinete? e sobre essa fonte, quer quanto por ela? Vai me limitar se eu quiser duas 3090, mas por um tempo deve dar conta.

@Andros Santos Valeu pela recomendação, mas não tem como ser uma 4070, preciso de pelo menos 24GB de memória de vídeo, e dois pentes de RAM para upgrade futuro.

[Entusiasta da Elétrica]

@josue.sehnem Bacana, vou vê o que pode ser ideal pra você.

@josue.sehnem Complicou a questão das 24gb em placa de vídeo.

 

[Rolf William Gewers]

@josue.sehnem Cooler não sei... eu instalei um corsair 115i PRO que eu tinha largado aqui nunca usado, mas eu sempre troco todos fans por noctua industrial ip67, tenho já uns 12 desses e nunca vi nenhum morrer, são caros mas vale a pena, na verdade lembrando agora, tive um que começou um barulho estranho em baixa rpm e ai troquei, mas voltando ao AIO, gosto dos 280mm devido ao barulho ser menor.

 

Gabinete é outra coisa que não vou ser o melhor... Depende do espaço que você tem disponível ai e quanto quer gastar, nesse meu build novo estou usando H7 flow, adorei montar nele, show, mas no meu 2990wx eu uso um h710i, joguei fora o hub da nzxt e ai sim adorei ele, você consegue com preço bom no h710 hoje, e ele é enorme, cabe o que quiser nele, o h7 é um pouco menor, se for comprar o H7 observe que tem 3 versões, a elite toda em vidro, a flow toda furada e uma podre que tem a frente fechada no metal, recomendo a flow, e no h710 vai no sem o i, aquele hub da nzxt não presta.

 

A fonte esta anunciada na OLX por 1050, mas não sei se para você é um bom negócio pois vi agora que você está no RS, frete pode ficar pesado.

[josue.sehnem]

@Rolf William Gewers Beleza, valeu pelas dicas, realmente para uma fonte o frete acaba não compensando, vou dar mais uma pesquisada aqui pra ver se fecho os componentes.

[Entusiasta da Elétrica]

@josue.sehnem

Bom, um computador nessa faixa de preço é mais difícil que parece, e com 24gb de GPU vai ficar bem mais que 20k, mas vamos lá.

 

Processador Intel Core i9 13900K
placa-mãe ASUS Rog Strix Z790-F Gaming
Memória DDR5 Kingston Fury Beast, RGB, 32GB, 5600Mhz, Black (x2)

(Em relação a placas de vídeo temos algumas opções com 24GB, porém, vou citar dois modelos que eu acho valer a pena.)

Placa De Vídeo ASRock AMD Radeon RX 7900 XTX Phantom Gaming OC.

Placa de Vídeo INNO3D NVIDIA GeForce RTX 4090 X3 OC.

(Entretanto, o modelo escolhido por min é ASRock.)

SSD Kingston Fury Renegade, 2TB, M.2 NVMe, 2280.

Fonte XPG CyberCore, 1300W, 80 PLUS Platinum, Full Modular, com PFC Ativo

(Gabinete eu acho uma escolha muito pessoal, mas para essa configuração tem que ser um ATX bem projetado.)

(E para refrigeração do processador recomendo um Water Cooler de 360mm.)

Exemplo: Water Cooler Corsair H150 RGB, 360mm.

 

O Valor total vai para a casa dos 23K, mas pode sair mais barato caso pesquise bem, e podemos remover esse processador, placa-mãe, ram, e fonte se achar pertinente, sendo assim, ficando mais em conta, e aceito observações de melhorias para essa configuração.

[monylulu]

Em 15/05/2023 às 08:47, josue.sehnem disse:

Estou querendo montar um computador para treinar e rodar LLM, para isso preciso de uma máquina bem robusta, estou pensando em algo como um 7950x, 64GB de ram e um rtx3090 usada, provavelmente no futuro vou querer fazer upgrade para 128GB e adicionar mais uma rtx3090, sei que orçamento pode ficar um pouco apertado, mas tenho alguma flexibilidade para cima, e de preferência quero gastar menos que isso, vi que o processador está com um bom valor na gigantec, mas não sei se é confiável, também tenho dúvidas sobre a melhor opção de resfriamento, fonte, memória, gabinetee até mesmo placa-mãe. Espero que possam me ajudar, eu costuma frequentar há muito tempo aqui, mas hoje em dia estou bem por fora da área.

Obrigado.

 

@josue.sehnem

 

Tenho necessidade idêntica à sua (inclusive comecei um doutorado na área de IA/LLM  e ainda não sei até que ponto posso contar com o cluster da facul).  Você já montou a máquina?  Estou pesquisando algumas opções, mas ainda em dúvida se realmente vale a pena, ou se o ideal é usar nuvem ou cluster - nessa área, o padrão tem sido de A100 para cima (o que quase nunca está disponível para nós mortais :))