Basis technische inrichting van een website voor het scoren in een zoekmachine in 3 simpele stappen:

Technische zoekmachine optimalisatie is een erg uitgebreid onderwerp. Gelukkig zijn er vandaag de dag maar weinig cms pakketten op de markt waarbij het zoekmachine onderdeel echt slecht te noemen is. Het is wel van belang om te controleren of een aantal basis elementen aanwezig is. Wanneer je deze controles hebt uitgevoerd is je site zonder noemenswaardige drempels ingericht en ben je goed op weg voor je eerste posities op de zoekmachine resultaat pagina’s.

  • Stap 1: Is de site bereikbaar en zichtbaar voor zoekmachines?
  • Stap 2: Zijn alle elementen aanwezig om de pagina te optimaliseren?
  • Stap 3: Worden de juiste statuscodes gebruikt?

Stap 1: Is mijn site überhaupt zichtbaar voor een zoekmachine?

Het is mogelijk om je site dusdanig verkeerd in te richten dat een zoekmachine nooit bij de inhoud terecht komt. Het gevolg is uiteraard dat je site niet getoond wordt op de resultaat pagina’s. Je zult dus geen bezoekers via een zoekmachine ontvangen. Er zijn een aantal simpele redenen waarom een zoekmachine geblokkeerd kan worden:

  • Foutief gebruik robots.txt bestand
  • Foutief gebruik noindex of nofollow metatag

Hoe controleer ik of mijn robots.txt correct wordt gebruikt?

Een robots.txt bestand is een heel simpel bestand dat op je server kan staan. Het gebruik ervan is een soort van afspraak tussen website bouwers. In het bestand kun je aangeven welke onderdelen je van je site openstelt voor bijvoorbeeld zoekmachines (of eigenlijk de robots van een zoekmachine, robots zijn kleine computerprogramma’s die informatie verzamelen).

De lokatie en naamgeving van het bestand is erg simpel. Een robots.txt hoort in de root (hoofdmap) van je website te staan en dient als naam robots.txt te hebben. Je kunt dus erg makkelijk controleren of deze aanwezig is door naar de website te gaan en er vervolgens robots.txt achter te plaatsen.

Bijvoorbeeld: www.supportflex.nl/robots.txt

Wanneer je dit bestand kunt openen betekend dit slechts dat het bestand bestaat. Indien je geen bestand vind is dit geen probleem. Je website kan heel goed zonder. Wanneer je wel een bestand aantreft dan open je deze via je browser. Het bestand bestaat uit een aantal regels. Deze bevatten vaak een user agent en een allow of disallow. Een user agent is bijvoorbeeld een zoekmachine. De volgende regel spreekt dus enkel de user agent Google aan (de robot van Google heeft als naam Googlebot).

User-agent: Googlebot

Wanneer je alle zoekmachines en andere websites wil aanspreken gebruik je een *.

User-agent: *

Het volgende deel geeft aan wat je wil dat de robot wel of niet doet. Hier gebruik je de term Allow of Disallow voor. Met andere woorden wel of geen toegang. Dit laat je volgen door het deel waar je geen toegang toe wil verlenen. Je gebruikt een slash (/) voor de gehele website

User-agent: * 
Disallow: /

Bovenstaande regel zal dus de gehele website voor alle zoekmachines blokkeren. Dit is een regel die vaak wordt gebruikt om een testsites buiten de zoekmachines te houden. Tref je zoiets onbedoeld aan op je live website dan heb je een blokkade opgeworpen voor zoekmachines.

Let op. De volgende regel lijkt erg op bovenstaande foutieve regel maar geeft geen problemen. Deze geeft juist aan dat er niets geblokkeerd wordt.

User-agent: * 
Disallow:

Controleren of de noindex of nofollow tag gebruikt wordt

De broncode van een website

Een webpagina is niet heel veel meer dan ieder ander bestand dat je op je computer tegenkomt. Het heeft een bestandsnaam en er staat een hoop code in. Daarnaast dient het geopend te worden met het juiste programma zodat je het kunt bekijken. In dit geval dien je het bestand te openen via een browser zoals Chrome, Opera of Firefox. De code in de bestanden die een website opbouwen bestaan uit informatie die je op je scherm zult zien en code over hoe die informatie wordt getoond en kan worden beïnvloedt. Daarnaast is het ook mogelijk om code mee te sturen die we metadata noemen.

Metadata zijn gegevens die de karakteristieken van bepaalde gegevens beschrijven. Het zijn dus eigenlijk data over data. De metadata bij een bepaald document (de gegevens) kunnen bijvoorbeeld zijn: de auteur, de datum van schrijven, de uitgever, het aantal pagina’s en de taal waarin de gegevens zijn opgesteld.

Zoals gezegd vinden we de metadata in het bestand. Het vinden van de metadata is vrij simpel. Je opent de betreffende webpagina met je browser. Vervolgens dien je de bron van de pagina te bekijken. Bij nagenoeg alle browsers doe je dit door de toetsencombinatie ctrl + u.

Er wordt nu op enige wijze een nieuw venster of deel van het scherm geopend waarop je de code van de pagina ziet. Meestal tref je bovenaan de metadata aan.

In de genoemd metadata is het mogelijk om een simpel stukje code te plaatsen over hoe een zoekmachine met de bezochte pagina dient om te gaan. Hierbij is het mogelijk om aan een zoekmachine aan te geven of hij de pagina moet opnemen in de zoekindex of niet. Tevens kun je iets zeggen over hoe de zoekmachine om dient te gaan met de links op de pagina. De metatag (het stukje code dat de metadata bevat) waarover we het in dit geval hebben kan er als volgt uit zien:

<meta name="robots" content="noindex, nofollow"/>


We gaan nu terug naar de broncode van de webpagina die we zojuist geopende hebben. Hierin gaan we op zoek naar het stukje tekst met daarin meta name=”robots” . Tref je dit niet aan in de code dan wordt de standaard instelling gebruikt en hoeven we ons er verder niet druk over te maken. Tref je de robots meta tag wel aan dan is het van belang dat deze correct gevuld is. Het betref de waardes die achter content staan:

  • index: Deze pagina mag geïndexeerd worden door zoekmachines
  • noindex: Deze pagina mag niet door zoekmachines geïndexeerd worden
  • follow: De links op deze pagina mogen bezocht worden door zoekmachines
  • nofollow: De links op deze pagina mogen niet bezocht worden door zoekmachines

Hoewel er allerlei redenen te verzinnen zijn voor het wel of niet laten volgen of indexeren van een pagina of link kunnen we wel een stelregel hanteren:

Iedere pagina die we willen optimaliseren dient de volgende meta tag te bevatten (uitzonderingen daargelaten).

Wanneer deze tag niet aanwezig is wordt de standaard waarde genomen. Die komt overeen met deze waarde die onderstaande tag weergeeft.

<meta name="robots" content="index, follow"/>

Door deze simpele tests hebben we vastgesteld of je pagina geblokkeerd wordt voor zoekmachines door de meest voor de hand liggende instellingen of niet. Wanneer dit niet het geval is kunnen we gaan starten met optimaliseren.

Stap 2: Kan ik een pagina optimaliseren?

Het basaal optimaliseren van een webpagina bestaat uit het inrichten van een aantal elementen. Het is belangrijk dat deze elementen via je systeem te beheren zijn. Een groot percentage van de hedendaagse websites heeft een Content Management systeem. Nagenoeg alle moderne systemen bieden deze mogelijkheden al geruime tijd. In sommige gevallen dient er een instelling gewijzigd te worden. Het optimaliseren van een website bestaat voor een groot deel voor het aanpassen van deze elementen:

  • Tekst en afbeeldingen op je site
  • Correct gebruik van kopteksten (h1, h2, h3)
  • Pagina titels (page title)
  • Meta description van de pagina
  • Url van de pagina

Hoe weet je nu of je deze elementen aan kunt passen? Om te beginnen heb je de mogelijkheid nodig om teksten te plaatsen en op te maken. Controleer daarnaast of je een paginatitel aan kunt passen.

Het aanpassen van de url is tevens een plek waar je zoektermen kunt verwerken. Enige voorzichtigheid is hierbij wel geboden. Wanneer je het simpel wil houden kun je als stelregel gebruiken dat je nooit een url aanpast van een pagina die al langere tijd bestaat. Een nieuwe pagina kun je zonder al te veel problemen optimaliseren met een zoekwoord in de url.

Stap 3: Redirects en statuscodes

Een pagina geeft onder water een statuscode zodat de browser weet wat er gebeurt. Een foutieve statuscode kan voor problemen zorgen. De relevante statuscode en de bijbehorende betekenis zijn:

  • Statuscode 200: pagina gevonden. Alles is dus in orde en de pagina wordt getoond
  • Statuscode 301: de pagina is blijvend verplaatst naar een nieuwe locatie. De bezoeker wordt doorgestuurd. Deze code wordt gebruikt wanneer een pagina van url wijzigt of wanneer je een pagina verwijderd hebt. Wanneer je de verwijderde pagina doorstuurt doe je dit met een 301 redirect.
  • Statuscode 302. De pagina is tijdelijk verplaatst. Deze code lijkt op de 301 echter gaat het hier om een tijdelijke verplaatsing. Let op de 301 geeft wel linkkracht door de 302 niet.
  • Statuscode 404 de pagina is niet gevonden. De link waarop je hebt geklikt is veranderd of de pagina is verwijderd.

Waarom is die statuscode nu zo belangrijk voor je optimalisatie? In de basis wil je dat iedere bestaande pagina een statuscode 200 geeft. Verwijder je een pagina of heb je een foutieve url in je adresbalk geplaatst dan krijg je een 404 statuscode. Kom je deze tegen dan is bijvoorbeeld de link naar een oude pagina blijven staan. Deze dien je voor zover mogelijk aan te passen.

Heb je een oude pagina verwijderd of van naam veranderd dan heb je de mogelijkheid om door middel van een redirect (301 of 302 redirect) aan te geven naar welke plaats de informatie van de oude pagina heen is verhuisd. Je gebruikt een 301 voor een permanente verhuizing een 302 voor een tijdelijke verhuizing (dus wanneer je van plan bent om de oude pagina ooit weer terug te plaatsen). Vanuit het oogpunt van een zoekmachine is er een wezenlijk verschil tussen een 301 en een 302 redirect. Een 301 redirect geeft zijn linkkracht door en een 302 niet.

Een voorbeeld om het gebruik van statuscodes te verduidelijken:

Een website heeft een pagina met als url /productnaam-x vervolgens bedenkt het bedrijf dat ze de naam van het product aan gaan passen. Logischerwijs wordt er dan besloten om de url aan te passen naar /productnaam-y. De oude url levert nu vaak een 404 op. De nieuwe url krijgt een 200 statuscode. Alle links op je website naar de oude url kun je nu het beste aanpassen naar de nieuwe url. Zo komen je bezoekers op de juiste pagina. Er zullen ook bezoekers vanuit zoekmachines en vanaf andere websites op de pagina komen. Voor de laatste groep bezoekers maken we een 301 aan van de oude naar de nieuwe url. Bezoekers worden nu doorgestuurd en komen op de juiste pagina met de nieuwe productnaam uit. Ook de links die via externe websites komen worden nu doorgestuurd met als gevolg dat de opgebouwde linkkracht telt voor de nieuwe url. Het gevolg van deze inrichting is dat de nieuwe url optimaal in de zoekmachine resultaat pagina’s zal verschijnen. De oude pagina zal op de duur verdwijnen uit de resultaten.