Website architectuur of de structuur van je website is erg belangrijk voor Google. Zeker als je goede scores wenst te behalen met specifieke trefwoorden & onderliggende pagina´s.

Google indexatie

Nieuwe inhoud wordt dagelijks gegenereerd. Google wordt geconfronteerd met bijna oneindige hoeveelheden inhoud die online beschikbaar zijn. Ondanks het groot aantal middelen en resources is Googlebot, de spider van Google, in staat om slechts een klein percentage van deze inhoud te vinden, te doorzoeken en op te nemen in de index.

Crawlen & spideren is hetzelfde

Er is veel verwarring tussen crawlen & spideren, omdat Google deze 2 termen dikwijls tezamen gebruikt. Daarom willen we dit graag even uit de doeken doen.

Crawlen/spideren = vinden, doorzoeken en indexeren = Googlebot.

Prioriteiten van de crawler of spider:

• Crawlen van nieuwe inhoud
• Oude data vervangen door nieuwe
• De relevante data wordt geïndexeerd = het opnemen van relevante inhoud in de index

Aan deze inhoud worden er punten toegekend door het algoritme van Google. Op basis van dit puntensysteem (hiermee bedoelen we geen PageRank) of algoritme worden er posities toegekend aan die specifieke inhoud.

Duplicated content wordt genegeerd (er wordt telkens maar 1 exemplaar geïndexeerd – dewelke kiest de spider zelf). Het is aan de webmaster om ervoor te zorgen dat er geen duplicated content is.

URL´s zijn als bruggen voor de crawler

Een URL wordt aanzien als een brug tussen de website en de crawler. Deze laatste heeft die brug nodig om de relevante inhoud te vinden en te doorzoeken.

Indien de URL´s ingewikkeld of overbodig lijken zal de crawler meer tijd besteden aan het opsporen en heropsporen. Als de URL´s gestructureerd en goed zijn opgebouwd zal hij jouw site veel makkelijker begrijpen. Wanneer de URL een warboel is zal de crawler moeite hebben om een structuur te vinden in je site.

Googlebot zal op enkel maar ´losstaande´ pagina´s terugvinden. Op zich niet erg zou je denken, maar weet gewoon dat als je goede URL´s hebt met trefwoorden er in, dat dit een grote meerwaarde is voor de zoekresultaten. Hij kan zowel de URL als de tekst gaan gebruiken om de plaats in de zoekresultaten te bepalen. Dit zal natuurlijk veel beter zijn ten opzichte van een slecht opgemaakte URL.

Maak de toegang tot inhoud makkelijk(er) voor de crawler

1. Vermijd alternatieve codes & parameters in de URL

Voorbeeld:

• shop.example.com/items/Periods-Styles_end-table_W0QQ_catrefZ1QQ_dmptZAntiquesQ5fFurnitureQQ_flnZ1QQ_npmvZ3QQ_sacatZ100927QQ_trksidZp3286Q2ec0Q2em282
• www.example.com/ABN/GPC.nsf/MCList?OpenAgent&expand=1,3,15

Het gebruik van alternatieve codes en parameters zoals session ID´s in URL´s zijn geen aanrader. Deze kunnen beter vervangen worden door bijvoorbeeld een cookie. Door deze informatie in een cookie te steken en vervolgens via een 301 redirect naar een gestructureerde URL om te leiden vermindert u het aantal URL´s die verwijzen naar dezelfde inhoud. Een welgekend voorbeeld is een webshop. Bij sommige webshops heb je meerdere URL´s voor 1 product. Hou er rekening mee dat 1 product eigenlijk maar 1 URL mag hebben.

2. Verwijder specifieke gebruiker details in URL´s

Voorbeeld:

• www.example.com/cancun+hotel+zone-hotels-1-23-a7a14a13a4a23.html
• www.example.com/ikhgqzf20amswbqg1srbrh55/index.aspx?tpr=4&act=ela

Zulke URL´s zijn zeer moeilijk te crawlen. In plaats daarvan, vervang de getallen of codes door een naam of trefwoord.

Voorbeeld:

• www.example.com/skates/riedell/carrera/
• www.example.com/skates.php?brand=riedell&model=carrera

3. Optimaliseer dynamische URL’s

Dynamische URL´s kunnen namen en/of sleutelwoorden bevatten die door de Google crawler makkelijker toegankelijk zijn en worden begrepen. Enkele jaren terug zei men dat Google geen dynamische URL´s kon lezen, maar niets is minder waar.

Voorbeeld:

• www.example.com/skates.php?brand=riedell&model=carrera

4. Optimaliseer dynamische URL’s

Via een robots.txt file, die je plaatst in de root van je website, kan je Googlebot & andere zoekmachine spiders verbieden om bepaalde mappen en/of pagina´s als ´Add to cart´, ´Contact us´, login, enz. te spideren. Dit zijn pagina´s die helemaal geen unieke en/of relevante inhoud bevatten en zo hoeft Googlebot hier ook geen aandacht aan te besteden.

5. One man, one vote – 1 URL, 1 blok unieke inhoud

In een ideale wereld, wat helemaal niet moeilijk is, is een 1-op-1 koppeling tussen de URL en de inhoud: elke URL leidt tot een uniek stuk inhoud, en elk uniek stuk inhoud kan worden bereikt door 1 URL. Hoe meer je dit kan toepassen, hoe beter en hoe meer gestroomlijnd het crawlen zal verlopen.

Als dit voor je website moeilijk te verbeteren valt, dan kan je steeds gebruik maken van de nieuwe canonical attribuut. Dit element kan je door onderstaand voorbeeld telkens in de header (<head></head>) van je pagina te gaan toepassen:

• <link rel="canonical" href="http://www.example.com/skates/riedell/" />

Hierdoor geef je aan dat het originele stukje unieke inhoud op die pagina staat binnen je website en dat je die pagina geïndexeerd wilt zien. Dit element wordt trouwens ook herkend door andere zoekmachines.

Tip: Plaats de canonical URL´s ook in je sitemap. Als de URL in de sitemap hetzelfde is dan de pagina naar waar jij linkt, dan hoeft dit niet natuurlijk. Enkel en alleen als de URL in de sitemap verschillend is dan de doelpagina, dan moet je dit toevoegen.

6. Verkies de hoofddomeinnaam via Google Webmasterhulptools

Heel veel sites hebben voor iedere pagina (inclusief de homepagina) een of meerdere broertjes. Dit kan ook opgelost worden door een 301 redirect toe te passen via .htaccess, maar via Google Webmasterhulptools kan je ook de hoofddomeinnaam instellen.

Voorbeeld:

• www.example.com vs. example.com

Mijn voorkeur gaat steeds uit naar www.example.com als hoofddomeinnaam en niet:

• example.com
• www.example.com/index.html
• example.com/index.html

Do´s and dont´s

Vooraleer we dit artikel afsluiten overlopen we nog even de belangrijkste do´s and dont´s.

Do´s

• Pas gestructureerde en goed opgebouwde URL´s toe met trefwoorden
• Gebruik steeds een taaldirectory (vb. /nl/, /fr/)
• Vermijd duplicated content d.m.v. de canonical tag in de toe te voegen
• Optimaliseer indien nodig je dynmische URL´s
• Gebruik een robots.txt file om de toegang tot bepaalde mappen en pagina´s te verbieden
• Gebruik 1 hoofddomeinnaam die tegelijk dient als de homepagina. Verwijs alle andere ´homepagina´s´ via een 301 redirect naar de hoofddomeinnaam

Dont’s

• Het gebruik van alternatieve codes en parameters
• Het gebruik van specifieke user details
• Het gebruik van dubbele URL´s & duplicated content