Caso não exista nenhum item descrevendo o barramento AGP, possivelmente haverá um driver genérico "Ponte PCI Padrão" ou similar em seu lugar no Gerenciador de Dispositivos. Nesse caso, você precisará instalar os drivers que vêm junto com a placa-mãe, em seu CD-ROM de instalação, ou então baixar os drivers no site do fabricante do chipset da placa-mãe. Nós daremos os endereços mais adiante.
Em princípio, basta executar o programa fornecido pelo fabricante (em geral chamado Setup.exe) que o próprio programa faz as modificações necessárias para você. Após reiniciar a máquina, o sistema irá reconhecer o barramento AGP e, no Gerenciador de Dispositivos, ele aparecerá agora listado, como mostramos na figura.

clique para ampliar
Figura 1: Barramento AGP corretamente instalado no sistema operacional em uma placa-mãe com chipset AMD-761.
Se porventura após você instalar os drivers o sistema continuar não reconhecendo o barramento AGP, selecione os drivers do chipset que estão sendo listados como padrão (Ponte PCI padrão e similares) e remova. Ao reiniciar a máquina, possivelmente o sistema irá detectar os drivers corretos.
Se você não tem experiência na instalação de drivers e na procura de drivers no CD-ROM do fabricante da placa-mãe, aqui vão algumas dicas. O driver que você tem de instalar varia de acordo com o fabricante do chipset (circuitos de apoio) da placa-mãe. Atualmente no mercado existem placas usando chipsets da Intel, VIA, SiS, ALi e AMD. Note que aqui "Intel" e "AMD" referem-se ao circuito encontrado na placa-mãe e não ao processador. Para saber qual é o fabricante do chipset de sua placa-mãe, basta olhar o que há escritos nos maiores circuitos que você encontrar sobre a placa. Cada fabricante chama os drivers do barramento AGP de uma maneira diferente.
A VIA chama seus drivers de 4-in-1, a Intel chama seus drivers de "Intel Chipset Software Installation Utility" ou simplesmente "Inf Files", a SiS e a ALi chamam de "AGP Driver" e a AMD chama de "AGP Miniport Driver". Assim, de posse do CD-ROM de instalação da placa-mãe, você terá de procurar por um diretório que seja o provável local desses drivers. O problema é que o nome do diretório varia de acordo com o fabricante da placa-mãe. Só para você ter alguns exemplos reais, no CD-ROM da placa-mãe Gigabyte GA-7DXR (que usa o chipset AMD 761), os drivers do barramento AGP estão localizados no diretório chipsetamdagp e o nome do arquivo a ser executado é miniport_471.exe. Já no CD-ROM da placa-mãe Gigabyte GA-6OX (que usa o chipset Intel 815EP), os drivers do barramento AGP estão localizados no diretório chipsetintelintel95 e o arquivo a ser executado chama-se Setup.exe.
Para a nossa sorte, os CDs das placas-mães hoje em dia estão vindo com a função autorun, sendo executados automaticamente quando você os insere na unidade. Nesse caso, basta escolher a opção que instala os drivers (no CD da Gigabyte GA-6OX essa opção chama-se Windows 9x INF Update Utility, por exemplo).
Se você não tiver mais o CD da placa-mãe, baixe os drivers da Internet, nos endereços abaixo.