Recomendação de configuração que suporte Inteligência Artificial até R$ 25.000

[TheDemonLena]

Olá, boa noite. Bom começaremos por aqui:

Estou a um tempo desenvolvendo um sistema de inteligência artificial, e agora cheguei na parte em que preciso selecionar um hardware consistente o suficiente para suportar a carga. Não há um limite de custo a se gastar, mas pensei em algo em torno de R$ 3.200 a R$ 5.000 para o básico. Indo para o avançado entre R$ 10.000 a R$ 15.000, e o mais avançado, sendo de R$ 25.000 (Sei que terei que gastar muito mais que o dobro ou o triplo para um sistema que consiga suportar tudo). Para uma análise mais clara, esse sistema seria suportado por uma bateria, mesmo contendo fonte, ele estaria sempre ligado a uma bateria interna. (Tendo carregamento externo por meio de um conector de energia)

Também planejo adicionar câmeras 4K a composição, fora outras engenhocas e alguns pequenos controladores. Sobre o resfriamento, farei um sistema de arrefecimento customizado utilizando algum líquido de refrigeração. Mas por agora, preciso selecionar exatamente:

— Processador
— memória RAM
— placa-mãe
— Armazenamento (SSDs/HDs)
— Placa de vídeo
— Fonte

Sei que é algo meio inconsistente, mas quero ter uma ideia de que peças deveria usar e quais suportariam bem esta carga. Estive pensando em colocar logo um processador da geração Ryzen 7000 e DDR5, mas valeria a pena? Pensando que este computador utilizaria também SSDs de 7000Mb/s e provavelmente HD de 20 TB. 

Outras questões: Pensei por um Threadripper, mas provavelmente teria que fazer um sistema de arrefecimento bem mais complexo que o atual. Fora o gasto de energia abundante. 
 

[rikawa]

Uma dica, dá uma pesquisada pelo https://www.pugetsystems.com/solutions/scientific-computing-workstations/machine-learning-ai/
Eles são referência, da pra aprender bastante conteúdo lá, e ter uma boa base pra começar.
Sistemas a partir de U$5000, até uns de U$39000. Isso preços dos EUA, claro.

Aqui, eles explicam um pouco mais sobre os componentes https://www.pugetsystems.com/solutions/scientific-computing-workstations/machine-learning-ai/hardware-recommendations/

 

[monylulu]

Depende de vários fatores: ao que parece você está montando um servidor para hospedar seu sistema?

 

Já considerou hospedagem/treinamento em nuvem ou cluster?

 

Até mesmo dentro da IA há várias necessidades diferentes: se envolver LLMs é um tipo de configuração, a depender do tamanho do modelo. Já se envolver algo mais “tradicional” como redes convolucionais ou machine learning é outra.

 

Para placa de vídeo para IA, tem que priorizar a VRAM. Para consumidor final (ex: treinar e testar modelos), hoje a recomendação é a RTX 4090/3090, mas para servidor muda de figura (aí entram A100, H100, Quadro etc, bem mais caras). Melhor NVIDIA por causa do CUDA (AMD e Apple não são facilmente suportados, embora seja possível a depender da biblioteca utilizada ). De tal forma que só a placa fica entre 11 e 14k.

 

Threadripper está na casa de dezenas de milhares de reais.