Så nu Add URL form har også en test: den viser nogle skæve bogstaver designet til at narre automatiske "bogstav-guessers"; den beder dig om at indtaste de bogstaver, du ser - noget i retning af en eye-diagram test for at stoppe programmer som samler emailadresser. Når Googlebot henter en side, er det nedslagtninger alle de links der optræder på siden og tilføjer dem til en kø til senere gennemgang. Googlebot har tendens til at støde lidt spam, fordi de fleste web-forfattere link kun til, hvad de mener er af høj kvalitet sider.
Ved høst links fra hver side det støder, kan Googlebot hurtigt opbygge en liste over links, der kan dække brede afkroge af internettet. Denne teknik, kendt som dyb gennemgang, giver også mulighed Googlebot at sonden dybt inden for de enkelte steder. På grund af deres massive, kan dybe gennemgange nå næsten hver eneste side i nettet. Fordi internettet er enorme, kan det tage nogen tid, så nogle sider kan blive gennemgået én gang om måneden. Selv om dens funktion er enkel, skal Googlebot programmeres til at håndtere flere udfordringer.
Først, da Googlebot sender samtidige anmodninger om tusindvis af sider, køen af "besøg snart" URL'er skal konstant undersøges og sammenlignes med webadresser allerede i Googles indeks. Dubletter i køen skal elimineres for at forhindre Googlebot i at hente den samme side igen. Googlebot skal bestemme, hvor ofte at gense en side. På den ene side er det et spild af ressourcer at re-indeksere en uændret side. På den anden side, Google ønsker at re-indeks ændres sider til at levere up-to-date resultater.
For at holde indekset strøm, Google løbende recrawls populære hyppigt skiftende websider med en sats nogenlunde proportional med, hvor ofte siderne ændres. Sådanne gennemgange holde et indeks strøm og er kendt som friske gennemgange. Avissider er hentet dagligt, er sider med aktiekurser downloadet langt hyppigere. Selvfølgelig friske kravler tilbage færre sider end den dybe gennemgang. Kombinationen af de to typer kravler giver Google mulighed for at både gøre effektiv brug af sine ressourcer og holde sit indeks rimeligt aktuel. 2.
Googles I