, indeksering
, behandling
, beregning relevans
, og hente
.
For det første at søgemaskiner kravle
nettet se, hvad der er der. Denne opgave udføres af e stykke software, der kaldes en en spider
crawler
eller (eller Googlebot, som det er tilfældet med Google).
Edderkopper følge links fra én side til en anden og indeksere alt, hvad de finder på deres vej. Under hensyntagen til antallet af sider på internettet (over 20 milliarder), er det umuligt for en edderkop til at besøge et websted dagligt bare for at se, om en ny side har givet møde eller hvis en eksisterende side er blevet ændret. Sommetider crawlere vil ikke besøge dit websted i en måned eller to, så i løbet af denne tid din SEO indsats ikke vil blive belønnet. Men der er intet du kan gøre ved det, så bare tie stille.
Hvad du kan gøre, er at kontrollere, hvad en crawler ser fra dit websted. Som allerede nævnt, crawlere er ikke mennesker, og de kan ikke se billeder, Flash-film, JavaScript, rammer, password-beskyttede sider og mapper, så hvis du har tonsvis af disse på dit websted, du må hellere køre Spider Simulator
nedenfor for at se, om disse lækkerier kan ses af edderkoppen. Hvis de ikke er synlige, vil de ikke blive spidered, ikke indekseret, ikke behandles, etc. - i et ord, de vil være ikke-eksisterende for søgemaskiner
.