Google Crawling og indeksering
24. september, 2007 af Martin ØstergaardDe 2 termer indenfor Google’s måde at optage sider på er ordene crawling og indexing (indeksering). Mange går dog i den tro at disse 2 ord dækker for det samme, hvilket ikke er tilfældet.
Crawling
Når google opdager dit website igennem links, begynder den at crawle websitet. Dette vil sige at den følger alle de links den finder, indtil den har kortlagt hele websitet. Når den har gjort dette begynder den med indekseringen.
Indeksering
Indeksering betyder at den nu har kortlagt alle dine sider på websitet, og nu vælger at vise dem i google resultaterne. Siderne kan herefter blive fundet ved en søgning efter ord som forekommer på dit website.
Sammenlagt
I overført betydning går google på opdagelse (crawling) for hele websitet, når den har opdaget alt hvad der er at opdage, laver den et kort (indekserer) og derefter udgiver dette kort (dit websitet bliver fundet via en søgning på google).
Det er derfor vigtigt at pointere at google sagtens kan have opdaget alle dine sider, selvom den ikke har indekseret dem. Dette sker f.eks. ved at man laver et meta tag med no-index, eller en robots.txt. Den eneste måde at du kan beskytte sider 100% mod at blive fundet på google, er via et login til samtlige sider. Hvis blot én af siderne kan tilgåes udenom login, så vil google finde den med tiden, og derefter også resten af siderne.
Så derfor, vær lidt varsom med at ligge alle informationer på nettet, chancen for at google finder dem er stor 😉
Skrevet i Dit og Dat | 
14 kommentarer »
Cool indlæg. Der har lige været en debat på Amino om netop den problemstilling, så jeg linkede lige til dit indlæg 🙂
Må vist til at følge lidt mere med på Amino så 🙂
Ja, det må du hellere 🙂
God artikel. Tak fordi du skærer det ud i pap.
Indeksering …
Måske mere over i at Goolge sammenligner det den mener din side handler om med andre sider den mener også handler om det samme og derefter kommer så den dejlige algoritme udregning ingen ved hvordan fungere og sætter din side ind i søgeresultatet hvor google mener det er bedst for de brugere der skal se på søgeresultatet. Sådan helt forenklet.. 🙂
Peter
Hej Martin,
Ovenstående er jeg med på, men når jeg kører mit site igennem seomoz crawl test, får jeg en besked om at der kun er fire sider indexeret i google. (har skrevet mange sider) Google kan dog godt finde siderne hvis jeg søger efter noget unikt inhold på en bestemt side. Jeg bruger typo3, og har en mistanke om at det er noget med det at gøre. Håber der er nogle der kan hjælpe:-)
Hej Signe,
Du kan jo altid lave en site søgning på Google, og se hvilke sider Google har indekseret. Du gør ved at skrive “site:www.itf.dk” (uden “‘er) på Google, og så kan du se hvad Google kender til.
Prøv også http://tools.summitmedia.co.uk/spider/ og tjek dit website der igennem. Deres spider kan hurtigt give et svar på hvordan dit website ser ud totalt set. 🙂
Fra ikke nørden, men en som gerne vil lære! 🙂
Kan i hjælpe mig?
Når jeg forsøger mig på site søgning på google, site:www.kasamia.dk kommer “siden kan ikke vises” frem. Skal man bruge et specielt program for at åbne denne side?
Hej Mette,
Dine side kasamia.dk kommer fint frem her. Husk på at hvis du lige har oprettet domænet kan der gå noget tid inden du kan skrive en “site” anmodning på google som giver resultater.
Godt og meget relevant indlæg i disse “se-mig-se-mig” tider, hvor alle ønsker at komme frem i google. 🙂
Der er nemlig også en del info, man ønsker holdt privat til en lukket gruppe af modtagere, og her er det netop relevant at ens data/information ikke er at finde på google.
@Mette: Du skal søge på site:kasamia.dk (uden www), så virker det fint her 😉
Spændende artikel 🙂
Mvh Kristian
Jeg har faktisk altid troet at de to ord havde samme betydning i sidste ende – well, så blev man da lidt klogere 🙂
tak for en god letforståelig artikel.
mvh klaus