Falsificações de resultados

[sledgehammer]

Bom galera, tem uma prática antiga que está cada vez mais comum, que é a falsificação de resultados de desempenho. Está mais comum porque os programas para fazer isso estão mais fáceis de serem obtidos.

O que o software faz é enganar a medição do tempo (só alguns tipos, pois não funciona com todos os programas).

O SuperPi é um dos que são tapeados. Sandra, CPUMark e WCPUID também. O CPUZ não sofre mudança, nem o pifast para pegarmos programas similares.

Um programinha que parece estar bem popular (é shareware) é este aqui: http://www.foredu.com/speed_up/index.htm

O resultado de usar ele vocês podem ver aqui:

http://www.sledgehammer.kit.net/superpi-04.png

http://www.sledgehammer.kit.net/sandramem.gif

É bom que todos saibam que não dá pra confiar em tudo o que se vê pela net (esses programas sempre existiram, mas sempre foram restritos ao criador, agora já virou comercial).

Achei que é um direito do leigo ver com seus próprios olhos que a falsificação tem tudo para se tornar generalizada.

Acho que depois disso os testes do superpi e CPUMark terão que parar. Serão trocados pelo pifast e estou pensando em um programa que otimiza o tamanho de imagens PNG, que é um cálculo intensivo de inteiros, e assim pode substituir o CPUMark99. O código para a medição do tempo não é afetado pelo programinha.

Bom, agora acabou a graça de alguns falsificadores.

É um pouco ingênuo, mas todos deveriam ter vergonha na cara e não usar esse tipo de programa (aqui já tem alguns testes que dá pra ver que usaram esse tipo de recurso). Ele tem utilidade para aqueles que tem máquinas onde jogos antigos rodam muito rapidamente (teria que testar se jogos lentos ficam melhores usando a configuração inversa). Participar de um teste e usar um resultado ireal (muitos pegam da rede e mandam) é coisa de gente frustrada. E nenhum desses concursos dá prêmio algum.

[Visitante]

Putz!! sem comentários!! não deixe o Netadmin ver esse software pelo amor de Deus!!!!! ahauhauhahuahuhauhauhuah... Brincadeira.

Sacanagem heim??!! Eu que tinha fama de professional do photoshop, agora já perdi minha carreira totalmente!!  

Interessante, mas agora não da pra confiar mesmo né?!! A galera mal intecionada vai fazer a festa!! (coisa de ninfa).

[Visitante]

Como em política e economia, o mau exemplo vem lá de cima. Já não chega os drivers espertalhões de um certo fabricante de GPUs e as táticas usadas em testes como o Winstone, Sysmark 2002 e o SPECcpu 2000.

[sledgehammer]

e aí Forca.

Cara, acho que podemos discutir sobre qual medida de tempo esse programa afeta.

Antes eu achava que eles zoavam com o RDTSC, mas meus programas não foram afetados. você faz alguma ideia de qual métdo que ele sacaneia? Será que é só alguma função do Windows, como a GetTickCount, QueryPerformanceCounter, etc... ou o quê?  Faz ideia? Bem, eu vou testar essas quando der, ai eu trago a resposta (se alguma dessas sofrer influência).

Bom, agora também saquei porque tinha HD que conseguia 3000 pontos no teste do PCMark aqui. Olhem só:

http://service.futuremark.com/compare?pcm=1386014

Mais um programa pra lista negra. O 3DMark é inteligente e já para no primeiro teste.

Agora nos testes o pessoal terá que usar o CPUZ que não é afetado e não mais o WCPUID.

[Visitante]

Fora as chamadas comuns do Windows, o truque poderia ser relacionado com escritas à interrupção 8 da BIOS a qual acessa o timer em tempo real do sistema. Uma chamada poderia simplesmente desativar o clock do SO por um instante, alterar diretamente o conteúdo do timer em tempo real e aí então "rebootar" o clock do SO.

Como praticamente todo PC possue uma cpu rodando em modo protegido e SO multitarefa a bandalheira deve ficar fácil. Eu suspeito q esse tipo de programa pode causar travamentos em um SO como o Win95 ou 98, os quais não funcionam totalmente em modo protegido como o Win2k e o XP fazem.

[Visitante]

É uma pena mesmo, como vão ficar os Ranking do SuperPI e do CpuMark? Qual é a sua opnião a respeito Cleber?

Será que podemos nos arriscar e botar fé nas pessoas que mandarem resultados?

Faz um favor pra mim, passa o link da onde pega o PiFast, assim já vou planejando um Ranking legal para ele.

Valeu!

[sledgehammer]

A única coisa que irá mudar é que o teste terá que vir acompanhando de um screnshot do CPU-Z e não mais do WCPUID.

Continua dando pra burlar, mas não tanto.

E também como disse, isso é coisa de gente frustada. Duvido que vá aumentar tanto assim. Inclusive o SuperPi quase ninguém mais manda screenshots e tenho visto que quase todos os tempos são bastante condizentes com as máquinas. Sinal que o pessoal está mais interessado em saber como a máquina está configurada e receber dicas se for possível melhorar do que fazer euricagens.

O pifast é melhor usar o teste proposto pela Hexus. Está descrito aqui e tem o download: http://pifast.hexus.net/instructions.htm

Melhor guardar o .zip em algum servidor seu.

Espere que vou fazer um programa pequeno para já incluir a identificação do processador ai nessa telinha.

[Visitante]

Postado Originalmente por sledgehammer@04 Julho 2003,10:30

Espere que vou fazer um programa pequeno para já incluir a identificação do processador ai nessa telinha.

Ok. Vou criar um pequeno tutorial para não ter confusões, você acha que rodar assim é o ideal ??

0

0

10000000

1024

0

[sledgehammer]

O tutorial é clicar duas vezes no .bat, esperar terminar e capturar a tela )

Sim, 10M é o teste mais usado na rede. É lógico que fica bem mais dependente do desempenho da memória, mas é bacana.

Se reduzir para 8M eu seria taxado de algo que não quero )

[Visitante]

Hahahahaha... Nem tinha reparado no *.bat

Bom, vou criar no modo mais usado mesmo.............

[zhiad]

Que Lindo isso!

Peguei o dito cujo e fiz uns scores que dão MEDO!

Aproveitei a oportunidade para mandar uns screens em varios benchs (espalhados por ai). Claro que depois vou esclarecer. Quero apenas ver ate onde vai a credulidade das pessoas. Postei uns scores com um palomino que são IMPOSSIVEIS.

Que lixo esses caras fazem. Assim perde totalmente o sentido.

Não bastava os fabricantes de Hard(bandidos) agora isso!!!!!!

* O unico que deu pau foi o 3Dmark.

[sledgehammer]

hehehe. Que lixo. Agora que sou o recordista no PCMark2002 (o segundo colocado tem 15072 e é um resultado falso também) começaram a me enviar emails perguntando como fiz o resultado.

Zhiad, melhor você não causar confusão por ai. Muita gente sabe reconhecer esse tipo de sacanagem (ainda mais se for um resultado absurdo), e um moderador te dar uma advertência.

[zhiad]

Vivendo e aprendendo: Apos os resultados adulterados, postei um topico em outro forum, explicando a situação...

Para minha surpresa quase fui linchado!!

Minha intenção era claramente a de colaborar, era so ter lido o texto! Os caras la parece que sabem tudo sobre o tema!

Que lixo! o forum mudou de nome mas continua sendo o mesmo lixo!! Nunca mais entro lá. parece que tem algum espirito maligno na área, tá loco!!!

[MADMAX]

Putz...sledge os resultados do pcmark e 3dmark são afetados pelo programa ?

Qual será o programa "oficial" de benchmark agora ?

Abraços.

[MADMAX]

Postado Originalmente por zhiad@05 Julho 2003,15:28

Vivendo e aprendendo: Apos os resultados adulterados, postei um topico em outro forum, explicando a situação...

Para minha surpresa quase fui linchado!!

Minha intenção era claramente a de colaborar, era so ter lido o texto! Os caras la parece que sabem tudo sobre o tema!

Que lixo! o forum mudou de nome mas continua sendo o mesmo lixo!! Nunca mais entro lá. parece que tem algum espirito maligno na área, tá loco!!!

Amigo o mesmo aconteceu comigo no "FORUM PCs"  postei o assunto lá e me mandaram pro lixão 2x , huahiahahaihuia....

A mensagem não ficou nem 2min e foi deletada .

Abraços.

[Eduardo Junior]

Às vezes nem precisa programa para mudar os resultados, é só modificar o screenshot...

[zhiad]

Postado Originalmente por MADMAX@06 Julho 2003,18:43

Amigo o mesmo aconteceu comigo no "FORUM PCs"  postei o assunto lá e me mandaram pro lixão 2x , huahiahahaihuia....

Sabe o q acontece Mad.... Depois do advento da net, todo RATO virou TIGRE, como so Deus sabe onde está o ratinho ele não tem medo de levar um soco bem no meio da cara! e dai fale qualquer porcaria que aprendeu em casa e fica por isso mesmo! Meu sonho e promover um fórum ao vivo. Vai ser um tal de rato levando porrada que vai ser o show!!!

Mas voltando a vaca fria: Deu pra burlar quase tudo, só não da no 3dmark. O negocio e esperar o que o mestre Sledge fala, pra gente poder Testar.. Valeu [],s

já que fiz uma salada de frutas, vai mais uma: Sledge, aquele negócio do NV400-64, voltado para o mercado de BAIXO CUSTO, ser mais rápido que o Nforce2 400 me deixou magoado. Primeiro fiquei P... e agora to deprimido! Que coisa... Se souber de alguma treta que mostre que não é bem assim, que houve um engano (rs) da um toque!!

[*gamb]

Deprimente

Inclusive, o Dragolino deve estar achando que eu usei esses programinhas pra mandar um resultado fake, porque eu fiz 41s com meu XP 1700+ no Super Pi, e ele me mandou um email dizendo q achou muito estranho eu ter conseguido um resultado tão bom, mas como estava tudo dentro da regra ele colocou no ranking..

Bom, tentei explicar pra ele o porque do resultado, mandei o pc realmente no talo... olhem o screen :

http://www.msgdigital.com.br/x/p.jpg

Se alguem não acreditar no resultado posso rodar esse pifast ( nunca ouvi falar mas eu puxo e rodo aqui ), ou qualquer outro...

[Phoenyx]

Postado Originalmente por *gamb@08 Julho 2003,14:38

Se alguem não acreditar no resultado posso rodar esse pifast ( nunca ouvi falar mas eu puxo e rodo aqui ), ou qualquer outro...

Ao invés d rodar com o WCPUID faça com o CPU-Z q não é enganado. O MBM5 também não pode ser enganado, é só deixá-lo aberto no canto como você fez ::

[sledgehammer]

aí, o CPUZ também é enganado. Eu acho que cheguei a conclusão errada pois tinha feito testes rápido e estava com sono. Na versão PRO do programinha tem uma opção de forçar a trapaça. Assim ele afeta outros métodos de medição de tempo (eu achei que tinha testado, mas devo ter clicado duas vezes).

A conclusão que eu cheguei é que NÃO EXISTE NENHUM (talvez seja um pouco pesado, mas acho que é isso mesmo) programa que ele não possa enganar.

O MBM que alguns achavam que não era afetado também é afetado.

Ou seja, o ideal é que todos os benchmarks tenham uma proteção para detectar a sacanagem.

Mas por outro lado é fácil detectar que estão usando um cheater. Só não consigo saber qual dos métodos de medição estão errados. A solução é mostrar que o resultado menor é o correto. Isso falha quando o cara desacelera, mas ai ninguém vai querer fazer um tempo maior mesmo.

Já estou fazendo o meu "SledgeCPUID" pra evitar os sacanas.

Quem quiser dar uma olhada é só baixar aqui:

http://www.sledgehammer.kit.net/CPUID.zip

Quem puder testar, comparar com o WCPUID e me mandar um screenshot (um do lado do outro), eu agradeço. E se possível comentários, dizendo se precisou fazer um refresh pra medir direito, etc.

Eu preciso principalmente de testes com máquinas com processadores que eu não tenho para testar. Mas mesmo Athlon como o meu podem mandar (se estiverem inundando minha caixa postal eu aviso que está bom pra determinado processador).

Ah. Não funciona em 486. Bom, eu não tenho certeza o que irá acontecer (travar, dar erro ou o quê). É só a partir do Pentium clássico que a medição é garantida.

mandem: [email protected]

[zhiad]

Sledge, O programa não abre. já tentei varias vezes!

WINXP PRO/SP1.

Lembrete: Quem tiver um gerenciador de downloads tem q desabilitar! :-baaa

[Phoenyx]

Aqui também não roda! WinXP sem service pack...

[sledgehammer]

Não é esse o problema.

O problema é que eu uso a tela em 1280x1024 e esqueci de alterar uma propriedade que faz o programa iniciar na posição que estava na tela. Ai que usa resolução baixa não está aparecendo. Cheguei a mudar, e mandei ele ficar no centro da tela, mas parece que o ***** se baseia na minha conf; o jeito é fazer na mão mesmo.Vou ver se altero aqui no trampo. Senão coloco ele a noite.

O problema é que o programa está com a opção de mover desativada. Senão seria apenas mover ele.

Se vocês aumentarem a resolução para pelo menos 1024x768 acho que vocês conseguem ver ele (essa última versão que deixei lá no kit.net, que até agora pouco estava com uma versão mais velha que estava no cache do servidor).

[flavioac]

É, e agora? em quem vou confiar?Quem diz que grandes empresas não possuem(claro que sim) pessoal só para desenvolver este programinhas , hoje a propaganda na web impulsiona os negócios, uma fabricante de placa-mãe, pode sair de uma "péssima imagem" para a melhor em desempenho, hoje todos sabem, qualquer software pode ser burlado, sempre existe uma key, aparentemente aqui no fórum os resultados estão coerentes, mas não sei dizer até quando. Minha sugestão é continuar com o super pi, até agora os valores estão coerentes com as mqs.

[sledgehammer]

A ideia é continuar com o SuperPi.

Como agora consegui fazer esse programa pra substituir o WCPUID e CPUZ (pelo menos na medição de clock), acho que podemos continuar com todos os programas.

Postei a nova versão (já com uma captura de tela (cheia) para facilitar as coisas.

Só precisa sair do cache do kit.net

Ou então peguem pelo outro nome de arquivo que coloquei:

http://www.sledgehammer.kit.net/CPUID2.zip