Os motores de busca coletam informações sobre o conteúdo da Web automaticamente. Eles usam softwares especiais que sistematicamente "rastreiam" a Web, seguindo os links que encontra em páginas da Web. Estes softwares geralmente são chamados de rastreadores da Web, ou uma aranha, ou mesmo um robô. Os sites individuais podem controlar o modo como os mecanismos de pesquisa controlam o site instalando um arquivo especial chamado "ROBOTS.TXT". Se o arquivo estiver presente, um rastreador examina seu conteúdo para obter instruções antes de rastrear o site.
No comments:
Post a Comment