at kontrollere, hvad en crawler ser fra dit websted. Som allerede nævnt, crawlere er ikke mennesker, og de kan ikke se billeder, Flash-film, JavaScript, rammer, password-beskyttede sider og mapper, så hvis du har tonsvis af disse på dit websted, du må hellere køre
Spider Simulator
nedenfor for at se, om disse lækkerier kan ses af edderkoppen. Hvis de ikke er synlige, vil de ikke blive spidered, ikke indekseret, ikke behandles, etc. - i et ord, de vil være ikke-eksisterende for søgemaskiner
.