Vertel Google wanneer een pagina niet meer beschikbaar is

31 juli 2007, 06:43

Google heeft sinds kort een nieuwe toevoeging in hun Robots Exclusion Protocol: de unavailable_after regel. Hoe werkt dat dan precies? Je plaatst de volgende regel in de <head> van de betreffende pagina:

<meta name=“googlebot” content=“unavailable_after: 25-Aug-2007 15:00:00 EST”>

(datum en tijd volgens RFC 850 formaat)

En op de ingestelde datum zal Google de pagina geautomatiseerd als een removal request indienen. Dat betekent dat het nog enkele dagen (volgens Google 1 dag) kan duren alvorens de pagina echt uit de index is verdwenen.

Doel volgens Google

Google geeft als redenen voor het opvoeren van deze nieuwe regel het kunnen uitsluiten van pagina’s die na een bepaalde datum niet meer toegankelijk moeten zijn. Dit kunnen tijdelijke acties zijn of pagina’s die na een bepaalde periode achter een betaalde inlog verdwijnen. En je wilt bezoekers niet frustreren met een pagina die niet meer bestaat of niet meer te lezen is.

Mening

Persoonlijk snap ik het nut niet echt, als ik een actie heb die verlopen is wil ik de actiepagina nog wel even behouden. Die actiepagina heeft waarschijnlijk een stuk populariteit opgebouwd waardoor hij nog veel bezoek trekt, ik kan dat bezoek na de actie dan verwijzen naar andere acties of interessante pagina’s. Natuurlijk volgt er een lichte ‘teleurstelling’ bij de bezoeker, maar met het aanbieden van goede alternatieven zal dat geen probleem opleveren.

Het andere voorbeeld van pagina’s die na een bepaalde periode achter een betaalde inlog verdwijnen: die pagina’s zijn waarschijnlijk al gescraped door andere sites dus eenmaal openbaar is altijd openbaar. En ook die pagina’s wil je in de Google zoekresultaten houden zodat je bezoekers de optie om te betalen aan kunt bieden. Wanneer je het zoekresultaat helemaal verwijderd trekt hij geen enkel bezoek meer, en dat lijkt me niet handig. Natuurlijk zal de pagina wel langzaam wegzakken in de resultaten aangezien ook Google niet meer bij de echte content kan, maar zo lang hij nog bezoekers trekt wil je hem in de index hebben.

Iemand anders die een goede reden kan bedenken voor het toepassen van die nieuwe element?

André Scholten
Google Analytics, Tag Manager, SEO & Site Speed Specialist bij andrescholten.nl

Als zelfstandig specialist houd ik me bezig met Google Analytics, Site Speed en SEO. Heb je een probleem met de techniek, de organisatie of je kennis? Ik kan je helpen dit op de rails te krijgen. In de laatste jaren heb ik veel ervaring opgedaan met deze onderdelen bij diverse top 100 sites in Nederland. Of het nou gaat om het opzetten van een strategie of het wijzigen van een stukje javascript, laat het weten.

Categorie
Tags

22 Reacties

    ssmeding

    Ik kan niet anders zeggen dan dat ik het helemaal met je eens ben André. Maar misschien zijn er argumenten die wij over het hoofd zien. Ik denk dat de nieuwe functie vooral bedoeld is in de hoop dat mensen het gaan gebruiken, zodat het voor Google makkelijker wordt om zijn index schoner te houden. En, om bij je voorbeeld aan te sluiten, na het aflopen van je actie de actie van de concurrent automatisch naar boven te laten doorschuiven. Maar ja, daar heb je als website-eigenaar zelfs niks aan natuurlijk.


    31 juli 2007 om 06:56
    Tobi Fondse

    Als hierdoor een andere (actuele, waardevolle) pagina van je site hierdoor een treetje hoger komt kan ik me voorstellen dat je een verouderde pagina laat verdwijnen. Helaas heb je niet in de hand of dat je eigen pagina of de pagina van je concurrent wordt.

    De bezoeker zal niet blij worden van een niet bestaande/relevante pagina. In plaats van Google de pagina te laten verwijderen kun je als site-eigenaar misschien beter een voor de bezoeker interessante referrer-oplossing bieden: De pagina is niet meer beschikbaar maar wél hebben wij de volgende pagina’s voor u …


    31 juli 2007 om 07:21
    ssmeding

    Ik vraag me trouwens af wat de invloed zou zijn als je dit consequent toepast. Als je netjes aangeeft bij tijdelijke pagina’s wanneer ze niet meer beschikbaar/relevant zijn, zou dit dan misschien een algemeen positieve uitwerking kunnen hebben op de waardering vanuit Google voor je site?


    31 juli 2007 om 07:32
    Karel

    Vind het eigenlijk ook maar een rare metatag. Denk dat het inderdaad, zoals Sint al aangeeft, bedoeld is om de index schoon te houden met als doel (denk ik) de snelheid garanderen van de zoekmachine.

    Overigens zijn ze ook met weer een nieuwe metatag gekomen: de X-robots-tag. Bedoeld voor niet HTMl documenten zoals PDF, Word en .txt. Zo kun je toch metatags meegeven aan die documenten (plaatsen in de HTTP-Header).


    31 juli 2007 om 07:39
    Arjan Eising

    Extra mark-up voor een onnozel doel, dat is het. Ik houd niet van specifieke mark-up, net als het rel=’nofollow’ attribuut.

    En als je dan toch de pagina weg wilt hebben, kun je beter de methode gebruiken die je in die link gaf, denk ik dan.


    31 juli 2007 om 07:39
    André Scholten

    @Sint: Ik zou niet weten waarom dit een positieve uitwerking zou moeten hebben. Het is hooguit een signaal naar Google dat je je rommel opruimt. Maar het lijkt me hoogst onwaarschijnlijk dat ze hier iets mee doen. Als dat wel zo zou zijn zou ik elke week een nieuwe pagina lanceren om hem de week daarna automatisch te laten verwijderen 😉

    Het is hetzelfde verhaal als met de bounce-rate, het is mogelijk aangetoond dat Google hier iets mee doet. Maar zeker weten doen we het ook niet aangezien al die onderzoeken beïnvloed worden door externe factoren.


    31 juli 2007 om 07:40
    chi666

    Ja, ik kan me indenken dat als je bepaalde pagina’s offline haalt (verlopen, verouderd, etc) dat het soms verstandig is om ze ook uit google te halen om een 404 te voorkomen. Ik snap dat het bij google vooral bedoeld is om op voorhand actie pagina’s te verwijderen, maar…. je kan het dus ook inzetten lijkt me om snel(ler) verwijderde pagina’s te verwijderen, of begrijp ik het nu verkeerd?


    31 juli 2007 om 07:40
    André Scholten

    @Bas: klopt, als je weet dat je een bepaald deel van je site weg gaat doen kun je dat deel voorzien van deze meta. Maar je kan ook net zo goed een removal request doen in je Webmaster Console.


    31 juli 2007 om 07:43
    Wiep

    Ik neem aan dat deze tag met name bedoeld is voor veiling- en tweedehandswebsites, zoals eBay en Marktplaats. Er is immers niks vervelenders voor bezoekers dan op een verlopen advertentie binnen te komen.


    31 juli 2007 om 08:34
    martinm

    Maar een removal request doen in je webmaster console kan je niet als je website extern wordt gemaakt cq beheert.

    Bedrijven die de bouw en het onderhoud van hun website uitbesteden hebben dus wél voordeel aan deze nieuwe tag.

    Immers kan het designburo nu aangeven tot wanneer de pagina geldig is. Als je zelf de website beheert is het nutteloos. Gebeurd het extern dan kan het dus denk ik best nuttig zijn 🙂


    31 juli 2007 om 08:37
    Karel

    Dat is een goede Wiep…

    Toch zou ik dan (als ik Marktplaats zou zijn) op deze pagina advertenties tonen van gelijke aard, op deze manier ben je de bezoeker niet kwijt maar help je hem of haar door suggesties aan te bieden…


    31 juli 2007 om 08:38
    Karel

    @Martin

    Goed punt! Maar zou het dan niet beter zijn om eenmalig een mooie (gebruiksvriendelijke) 404 pagina te laten maken met links naar andere onderdelen van je website? Dan houd je de bezoekers wel op je site…


    31 juli 2007 om 08:41
    André Scholten

    @Wiep: daarvoor is het ook niet echt handig aangezien je niet precies weet wanneer de advertentie niet meer beschikbaar zal zijn. En op het moment dat je dat wel weet kun je die tag wel plaatsen maar zal je eerst moeten wachten op een bezoek van de spider voordat Google uberhaupt weer dat je een pagina weg wilt hebben.

    @Martin: het mag geen probleem zijn als je website extern beheerd word. Laat gewoon het verificatie bestand van de Google Webmaster Console van jouw account plaatsen. Dan kun jij vanaf die console gewoon url’s verwijderen. Het plaatsen van dat bestandje is een eenmalige actie.


    31 juli 2007 om 08:59
    ssmeding

    Ik ben het met André eens dat als een webbureau een meta-tag kan plaatsen met een unavailable_after per pagina, ze net zo goed een verificatiebestand of verificatiemetatag kunnen plaatsen voor de webmaster console. Dan hoeft er ook niet iets gemaakt te worden dat een pagina een verloopdatum zou moeten kunnen kennen.

    Ander idee is dat dit waardevol is bij pagina’s en site die niet vaak worden geupdate en dus niet vaak wordt gespiderd. Als Google een pagina bijvoorbeeld maar eens per maand komt spideren kan het zo zijn dat’ie vier weken onterecht in de SERP’s staat, ook al wordt al een 404-error gegeven.

    Ik heb geloof ik al ergens anders gezegd dat het logischer was geweest als deze meta-tag onderdeel was geworden van de Sitemaps-standaard, omdat daar ook al andere meta-datum over pagina’s is ondergebracht, bijvoorbeeld de laatste update.


    31 juli 2007 om 09:21
    Wiep

    @André: zowel Marktplaats- als eBay advertenties hebben een beperkte houdbaarheid, waarvan de lengte van te voren bekend is. Bij Marktplaats is dit geloof ik een maand en bij eBay een dag of 8.

    In Nederland is dit niet zo’n ontzettend groot probleem (hangt natuurlijk van de zoekopdracht af), maar probeer maar eens een top 10 op een gebruiksproduct zonder bv eBay of Ricardo te vinden. Ik (als gebruiker) zou het erg fijn vinden als het aantal verlopen eBay veilingen op deze manier kan worden teruggebracht.


    31 juli 2007 om 09:37
    André Scholten

    @Wiep: maar bij Marktplaats kun je een advertentie verlengen, dus die tag plaatsen lijkt me niet erg gebruikersvriendelijk. eBay is inderdaad een goed voorbeeld: die datums liggen aardig vast.


    31 juli 2007 om 09:40
    André Scholten

    @Gerben: die snelheid van Google is voornamelijk gericht op nieuwe blogposts, en niet op bestaande pagina’s. Het kan dus wel even duren voor de 410’s opgepakt worden.


    31 juli 2007 om 10:01
    Tobias Bos

    Een dergelijke functionaliteit bestaat al langer, het is alleen nieuw dat je een datum kunt instellen. Ik heb er destijds voor gekozen omdat ik door duizenden bezoekers werd bezocht via Google. Nadat ik me had laten verwijderen, ontving ik nog steeds bezoekers van Google doordat ik een extern plaatje op mijn pagina had gelinkt. Het systeem is dus nog niet eens 100 procent waterdicht. Verder vind ik dat niet de webmaster, maar Google zelf moet bepalen wanneer een pagina verwijdert wordt.


    31 juli 2007 om 12:28
    André Scholten

    @Tobias: jij hebt dus pagina’s verwijderd omdat ze veel bezoek uit Google trokken?

    En ik ben het niet met je laatste zin eens. De webmaster is ten alle tijde diegene die beslist over het wel of niet laten indexeren van zijn pagina’s. Natuurlijk speelt Google wel een rol als het gaat om het verwijderen van zooi en spam.


    1 augustus 2007 om 04:46

Marketingfacts. Elke dag vers. Mis niks!