De 2 termer indenfor Google’s måde at optage sider på er ordene crawling og indexing (indeksering). Mange går dog i den tro at disse 2 ord dækker for det samme, hvilket ikke er tilfældet.

Crawling

Når google opdager dit website igennem links, begynder den at crawle websitet. Dette vil sige at den følger alle de links den finder, indtil den har kortlagt hele websitet. Når den har gjort dette begynder den med indekseringen.

Indeksering

Indeksering betyder at den nu har kortlagt alle dine sider på websitet, og nu vælger at vise dem i google resultaterne. Siderne kan herefter blive fundet ved en søgning efter ord som forekommer på dit website.

Sammenlagt

I overført betydning går google på opdagelse (crawling) for hele websitet, når den har opdaget alt hvad der er at opdage, laver den et kort (indekserer) og derefter udgiver dette kort (dit websitet bliver fundet via en søgning på google).

Det er derfor vigtigt at pointere at google sagtens kan have opdaget alle dine sider, selvom den ikke har indekseret dem. Dette sker f.eks. ved at man laver et meta tag med no-index, eller en robots.txt. Den eneste måde at du kan beskytte sider 100% mod at blive fundet på google, er via et login til samtlige sider. Hvis blot én af siderne kan tilgåes udenom login, så vil google finde den med tiden, og derefter også resten af siderne.

Så derfor, vær lidt varsom med at ligge alle informationer på nettet, chancen for at google finder dem er stor 😉