Ir ao conteúdo
  • Comunicados

    • Gabriel Torres

      Seja um moderador do Clube do Hardware!   12-02-2016

      Prezados membros do Clube do Hardware, Está aberto o processo de seleção de novos moderadores para diversos setores ou áreas do Clube do Hardware. Os requisitos são:   Pelo menos 500 posts e um ano de cadastro; Boa frequência de participação; Ser respeitoso, cordial e educado com os demais membros; Ter bom nível de português; Ter razoável conhecimento da área em que pretende atuar; Saber trabalhar em equipe (com os moderadores, coordenadores e administradores).   Os interessados deverão enviar uma mensagem privada para o usuário @Equipe Clube do Hardware com o título "Candidato a moderador". A mensagem deverá conter respostas às perguntas abaixo:   Qual o seu nome completo? Qual sua data de nascimento? Qual sua formação/profissão? Já atuou como moderador em algo outro fórum, se sim, qual? De forma sucinta, explique o porquê de querer ser moderador do fórum e conte-nos um pouco sobre você.   OBS: Não se trata de função remunerada. Todos que fazem parte do staff são voluntários.
    • DiF

      Poste seus códigos corretamente!   21-05-2016

      Prezados membros do Fórum do Clube do Hardware, O Fórum oferece um recurso chamado CODE, onde o ícone no painel do editor é  <>     O uso deste recurso é  imprescindível para uma melhor leitura, manter a organização, diferenciar de texto comum e principalmente evitar que os compiladores e IDEs acusem erro ao colar um código copiado daqui. Portanto convido-lhes para ler as instruções de como usar este recurso CODE neste tópico:  
Entre para seguir isso  
markitop

maquina de busca...

Recommended Posts

Problema 1: Construção de Índice Invertido para Máquinas de Busca

A base para o funcionamento de uma máquina de busca, tais como Google e Yahoo!, é a

construção de um índice invertido para uma coleção de documentos. Dada a coleção de

documentos, um índice invertido é uma estrutura contendo uma entrada para cada palavra (termo)

que aparece em pelo menos um documento. Esta entrada associa à palavra pares do tipo

<count, doc_id>, onde doc_id identifica um documento e count é o número de vezes em

que a palavra em questão apareceu no documento doc_id. Documentos que não contém a

palavra não precisam ser indicados.

Como exemplo, suponha uma coleção com apenas os dois documentos seguintes:

arquivo1.txt

Quem casa quer casa. porém ninguem casa.

Ninguem quer casa tambem. Quer apartamento.

arquivo2.txt

Ninguem em casa. Todos sairam. Todos.

Quer entrar? Quem? Quem?

Supondo os identificadores 1 e 2 para arquivo1.txt e arquivo2.txt,

respectivamente, o índice invertido seria:

apartamento 1 1

casa 4 1 1 2

em 1 2

entrar 1 2

ninguem 2 1 1 2

porém 1 1

quem 1 1 2 2

quer 3 1 1 2

saíram 1 2

tambem 1 1

todos 2 2

Note que, adjacente a cada palavra do índice está uma lista de pares de números

representando ocorrências da palavra nos documentos. O primeiro número de cada par representa

o número de vezes que a palavra ocorre em um documento e o segundo representa o identificador

do documento em questão. Note que a lista está ordenada por identificadores de documentos.

Projete um sistema para produzir um índice invertido. Para facilitar, este sistema deve

receber como entrada o nome de um arquivo entrada.txt com formato:

N

arquivo1.txt

arquivo2.txt

arquivo3.txt

.....

arquivoN.txt

A primeira linha deste arquivo contém um número N que representa o número de

documentos da coleção. Cada linha a seguir contém o nome do arquivo que contém um dos

documentos da coleção. No exemplo acima, há N documentos que estão armazenados nos arquivos

arquivo1.txt, arquivo2.txt, ...., arquivoN.txt. Você pode assumir que estes

arquivos, caso existam (você precisa testar), estarão no diretório corrente de execução.

O sistema deverá processar cada um dos arquivos, lendo palavra após palavra e

construindo o índice invertido. Ele deverá também associar a cada documento um doc_id único e

associar, em memória, este identificador com o nome do documento. Para extrair as palavras de

um texto, você pode utilizar o procedimento ExtraiPalavras mostrado na página 222 do livro

“Projeto de Algoritmos”, Nívio Ziviani.

Cabe ressaltar que:

a) Uma palavra é considerada como uma sequência de letras e dígitos, começando com uma

letra. Portanto, ignore sinais de pontuação. Você pode assumir que os textos não terão

acentuação.

B) Palavras com letras em maiúsculas devem ser primeiramente transformadas para minúsculas

antes da inserção no índice. Desta forma, a mesma palavra apresentada com letras minúsculas

ou maiúsculas não serão diferenciadas.

c) Apenas os primeiros C caracteres devem ser retidos nas chaves. Assim, duas palavras que não

diferem nos primeiros C caracteres são consideradas idênticas. Assuma que C possui tamanho

20.

d) Palavras constituídas por menos do que C caracteres devem ser preenchidas por um número

apropriado de brancos.

e) Uma palavra pode ocorrer múltiplas vezes na mesma linha de um documento, ou mesmo em

múltiplas linhas de um mesmo documento.

Organize o seu código da seguinte maneira. O sistema para construção de índice invertido

deverá ser chamado como um procedimento de nome CriaIndiceInvertido pelo programa

principal. Ou seja, além de operações de inicialização, o seu programa principal deve chamar a

operação CriaIndiceInvertido, a partir da qual a construção é realizada.

Solução a ser apresentada:

Para implementar a operação CriaIndiceInvertido, o seu programa deve utilizar as

operações do Tipo Abstrato de Dados Dicionário (criar, inserir, pesquisar). Para a função inserir

deve ser implementado duas versões de Tabela Hash:

1. Hash imperfeito com encadeamento para tratar colisões;

2. Hash imperfeito com rehash para tratar colisões. O rehash vai aplicar a função mod

acrescida de uma constante no numerador: F(chave)=[ASCII(chave)+i]%M onde i

deve ser um número primo e M o tamanho da tabela.

Os documentos que devem ser indexados estão postados no moodle, totalizando 10

arquivos texto.

O tamanho da Tabela onde as informações serão armazenadas fica a critério do aluno, não

podendo ser maior que 500 e nem menor que 100. Uma boa prática é definir um número primo

como tamanho da Tabela Hash. As tabelas devem possuir o mesmo tamanho.

Problema 2: Consultas sobre o índice invertido:

Utilizar o índice invertido construído do tópico anterior para realizar consultas por um ou

mais termos passados como entrada.

O objetivo é, dado uma consulta, retornar uma lista de documentos, ordenados pela

relevância para a consulta. A relevância vai ser medida, basicamente, pela quantidade de termos

presentes em cada documento. Essa quantidade deve ser informada no retorno.

Se houver um empate utilize a freqüência do primeiro termo para desempate. Caso

continue empatado retorne os documentos em ordem aleatória.

No exemplo dado acima, uma consulta “quer todos”:

• dois termos (q = 2): quer e todos;

• há dois documentos: N = 2;

• o número de ocorrências do primeiro termo - quer - no documento 1 é 3 e no documento 2 é

0;

• o número de ocorrências do segundo termo – todos - no documento 1 é 1 e no documento 2

é 2;

• Logo, as relevâncias dos documentos pra esta consulta são:

o r(1) = 3 + 0 = 3

o r(2) = 1 + 2 = 3

• Neste caso o documento 1 é retornada antes do 2 pelo fato do primeiro termo aparecer 3 vezes

em 1 e zero em 2;

alguem pode dar uma mao urgente...

Compartilhar este post


Link para o post
Compartilhar em outros sites

Crie uma conta ou entre para comentar

Você precisar ser um membro para fazer um comentário

Entre para seguir isso  





Sobre o Clube do Hardware

No ar desde 1996, o Clube do Hardware é uma das maiores, mais antigas e mais respeitadas publicações sobre tecnologia do Brasil. Leia mais

Direitos autorais

Não permitimos a cópia ou reprodução do conteúdo do nosso site, fórum, newsletters e redes sociais, mesmo citando-se a fonte. Leia mais

×