Typisk crawler siden vises ikke i jagten resultater. Dette sker, fordi siden ikke medfører nok tekst til identiteten af crawlere til at give denne enkelt side en høj placering i øvrigt dens intet Gem til en portal mod resten af din hjemmeside eller blog og dine menneskelige brugere behøver ikke at bruge det. Gå ikke i panik, hvis det crawlere ikke øjeblikkeligt synes at indeksere dit website.
En stor del af hjemmesider er tilgængelige på internettet, der skal gennemgås, indekseret, kulminerede rangeret. Det kan nogle gange tage op til tre måneder for en webcrawler at komme til din.