Soft 404’s zijn redelijk vaak voorkomende fouten die Google soms op webpagina’s geeft, met name bij grotere sites. Het is ook een vreemde fout, omdat soft 404’s een hybride zijn van 404- en normale pagina’s, en het is niet altijd duidelijk wat precies de oorzaak is van deze fout voor een bepaalde pagina.
Daarom wil ik in dit bericht helpen wat verwarring weg te nemen over waarom soft 404-fouten optreden, hoe ze verschillen van gewone 404-fouten, en hoe u de SEO-problemen die ze veroorzaken kunt oplossen.
Wat is een soft 404-fout?
Volgens Google:
“Een soft 404 betekent dat een URL op uw site een pagina terugstuurt die de gebruiker vertelt dat de pagina niet bestaat en ook een code van 200-niveau (succes) aan de browser geeft.”
Basically, you’ve got a page on your site telling visitors that it no longer exists, but at the same time it’s telling search engines that it does exist.
Confusing, right?
In some cases, it might be a page on your site that doesn’t have much, if any, content. WordPress genereert bijvoorbeeld automatisch een nieuwe URL wanneer u een nieuwe tag voor uw site aanmaakt. Als u een tag hebt aangemaakt, maar nog geen berichten met die tag hebt gepubliceerd, hebt u een lege pagina op uw site – en mogelijk een zachte 404.
Wat gebeurt er nu eigenlijk? Nou, deze dunne pagina’s zijn super verwarrend voor Googlebot. Als Googlebot uw site crawlt en op een pagina stuit waarvan de server zegt dat die bestaat, maar de inhoud iets anders suggereert, denkt hij: “Nou, deze pagina biedt gebruikers geen waarde, dus is het niet de moeite waard om hem te indexeren” en krijgt hij een soft 404-label.
Het is ook mogelijk om een soft 404 te krijgen als een pagina niet bestaat en als een gebruiker erop terechtkomt nadat hij in de zoekresultaten heeft doorgeklikt, wordt hij doorgestuurd naar een pagina die niet relevant is voor de zoekcontext. De gebruiker komt bijvoorbeeld op een pagina terecht en wordt automatisch doorgestuurd naar de startpagina.
Doen zachte 404-fouten er echt toe?
Wanneer een webpagina een zachte 404-fout geeft, wordt deze niet weergegeven in de zoekresultaten van Google. Het komt erop neer dat Google pagina’s die een soft 404-fout retourneren, de-indexeert, wat weer gevolgen kan hebben voor uw SEO.
Laten we eens kijken naar een voorbeeld:
Laten we zeggen dat u een online winkel hebt die stoelen verkoopt en dat u problemen hebt met één URL in het bijzonder: https://chairsgalorestore.com/products/sale/blue-chair
Weliswaar laadt uw server de URL zonder problemen en geeft hij een 200 (OK) statuscode terug omdat er een echte pagina op die URL staat, maar de inhoud op de pagina kan bezoekers vertellen: “
Basically, the page is displaying search results for a product that does not exist because it’s no longer for sale or has sold out.
Ecommerce sites contain often dynamically generated pages and content that can throw up soft 404 errors when product lines sell out or are no longer available. Afbeeldingen: Unsplash.
Dit is helemaal niet handig voor sitebezoekers. Immers, wanneer ze naar uw pagina doorklikken vanuit Google Zoeken, zijn ze op zoek naar blauwe stoelen en verwachten ze blauwe stoelen te vinden, maar in plaats daarvan ontdekken ze dat er geen stoelen beschikbaar zijn!
Het is om deze reden dat Google het soft 404-foutlabel heeft gemaakt – het is een label, geen officiële HTTP-responscode – om om te gaan met dunne of niet-bestaande inhoud en ervoor te zorgen dat alleen kwaliteitsresultaten worden weergegeven in zoekopdrachten.
Dus wat gebeurt er met pagina’s die een soft 404 krijgen? Google indexeert deze pagina’s niet.
In wezen wil Google geen bronnen verspillen aan het crawlen van pagina’s die tegenstrijdige signalen afgeven, niet meer bestaan of geen waardevolle, hoogwaardige inhoud bieden. Dus verwijdert Google ze gewoon uit de index en gaat verder met het crawlen van pagina’s die echt bestaan.
Hoe controleert u uw site op soft 404-fouten
De eenvoudigste manier om te controleren op soft 404-fouten is met behulp van Google Search Console (voorheen Google Webmasterhulpprogramma’s). Meld u aan bij uw account en op het hoofdscherm ziet u een grafiek voor de ‘Prestaties’ van uw site (totaal aantal klikken per dag) met daaronder een grafiek voor ‘Dekking’.
Als u pagina’s met fouten hebt, inclusief zachte 404-fouten, worden deze weergegeven in de grafiek ‘Dekking’. Klik op “Rapport openen” voor meer details over uw fouten.
Op het rapportscherm worden alle fouten weergegeven als een totaal in het grote, rode vak. U kunt op dit rode foutvak klikken om meer te weten te komen over eventuele fouten op uw site en wat de bron van de fout zou kunnen zijn.
Gelukkig voor mij, zoals je kunt zien op het Search Console-scherm voor mijn website, heb ik geen fouten die moeten worden opgelost. Dit is echter het scherm dat u zou bezoeken om ze te vinden.
Aternatief kunt u Fetch as Google gebruiken om te controleren of een bepaalde URL op uw site de juiste statuscode teruggeeft, inclusief zachte 404-fouten.
U kunt deze tool gebruiken om te zien of Googlebot de URL kan openen, hoe de pagina wordt weergegeven en of er paginabronnen (zoals afbeeldingen of scripts) voor Googlebot worden geblokkeerd.
Het simuleert een crawl- en renderuitvoering zoals die in het normale crawl- en renderproces van Google plaatsvindt, en is superhandig voor het debuggen van crawlproblemen op uw site.
Hoe zachte 404-fouten te verhelpen
Als u zachte 404’s op uw site krijgt voor belangrijke pagina’s, zoals product-, categorie- of leadgeneratiepagina’s, is het van cruciaal belang dat u snel handelt om deze fouten te verhelpen en deze pagina’s geïndexeerd en terug in de Google-zoekresultaten te krijgen.
Zo ook, als u een groot aantal soft 404-fouten hebt in verhouding tot het totale aantal pagina’s op uw site, is dit geen goed teken dat u Google stuurt. Te veel soft 404-fouten kunnen leiden tot een lagere crawlsnelheid van uw site, wat weer kan resulteren in lagere rankings en minder geïndexeerde pagina’s – een groot probleem als u honderden of duizenden pagina’s hebt!
Hoe u soft 404-fouten gaat oplossen, hangt af van de oorzaak. Maar in het algemeen moet u ervoor zorgen dat de URL de juiste responscode retourneert die overeenkomt met de werkelijke inhoud van de pagina.
Hier zijn een paar manieren om soft 404-fouten op te lossen:
Als de pagina niet langer beschikbaar is
Pagina’s die niet langer bestaan, moeten een 404 (niet gevonden) of 410 (verdwenen) responscode retourneren. Beide codes vertellen zowel browsers als zoekmachines dat de pagina niet meer bestaat.
Dit kan een groot probleem zijn voor eCommerce-winkels en blogs, vooral als je bedenkt dat de drie meest voorkomende bronnen van zachte 404-fouten zijn:
- Lege zoekresultatenpagina’s
- Lege eCommerce productcategorieën
- Lege blogcategorieën
Omdat deze pagina’s vaak dynamisch worden gegenereerd en ingevuld door WordPress, is het simpelweg retourneren van een harde 404 niet de beste optie.
Wat Google’s eigen richtlijnen suggereren is dat u, naast het retourneren van een 404-antwoordcode, ook een aangepaste 404-pagina moet weergeven die nuttige informatie biedt om bezoekers te helpen op uw site te navigeren. Dit kan een pagina zijn met uw populairste pagina’s, blogberichten of producten.
De 404-pagina van Joast is een goed voorbeeld van hoe websites verloren gebruikers beter van dienst kunnen zijn. Hun 404-pagina laat duidelijk zien hoe de gebruiker kan vinden wat hij zoekt. En als u naar beneden scrollt, vindt u links naar recente berichten.
Als de pagina is verplaatst
Als u de URL voor een pagina hebt gewijzigd (bijv. de slug voor een blogbericht hebt aangepast), moet deze een 301 (permanente verwijzing) terugsturen en gebruikers naar de nieuwe URL doorsturen.
Aternatief, als de pagina is verplaatst omdat u oude inhoud hebt bijgewerkt, moet u de URL omleiden naar een andere pagina op uw site met actuele of meer relevante informatie.
Een van mijn favoriete tools voor het instellen van pagina-omleidingen is de toepasselijk genaamde Redirection-plugin. Als alternatief is de premium versie van Yoast SEO voorzien van een redirect manager.
Als de pagina beschikbaar is
Als een pagina op uw site beschikbaar is en in de zoekresultaten zou moeten worden weergegeven, betekent dit dat Googlebot het als “dunne” inhoud ziet. In dit geval moet u werken aan het verbeteren van de inhoud van uw pagina, zodat u een soft 404-fout kunt voorkomen.
Dit betekent dat u ervoor moet zorgen dat wanneer een gebruiker vanuit de zoekresultaten doorklikt naar uw pagina, uw pagina levert wat hij verwacht. Om mijn eerdere voorbeeld over het kopen van blauwe stoelen te gebruiken, moet u er bijvoorbeeld voor zorgen dat de pagina informatie over blauwe stoelen bevat die informatief en nuttig is voor de gebruiker.
Als de pagina beschikbaar is, maar u wilt niet dat deze wordt weergegeven in de zoekresultaten van Google
Er kunnen pagina’s op uw site zijn die zachte 404-fouten krijgen die u liever helemaal uit de index van Google zou verwijderen. U kunt bijvoorbeeld tag-, categorie- of zoekresultatenpagina’s op uw WordPress-site hebben die steeds soft 404’s krijgen en u krijgt toch niet veel SEO-sap voor deze pagina’s.
In dit geval moet u Google vertellen deze pagina’s niet te crawlen. U kunt dit doen door disallow-regels toe te voegen aan het robots.text-bestand van uw site.
Voor zoekpagina’s kunt u bijvoorbeeld de volgende regels toevoegen aan uw robots.txt-bestand:Disallow: /?s=Disallow: /search/
U kunt ook eenvoudigweg pagina’s noindexeren die u niet in de zoekresultaten wilt zien verschijnen. De eenvoudigste manier om dit te doen is met behulp van de Yoast SEO-plugin. Standaard zet Yoast zoekpagina’s en 404 pagina’s op noindex, follow. Maar voor tag- en categoriepagina’s kunt u noindex-regels toevoegen op het tabblad ‘Zoekuiterlijk’.
Voor meer informatie over het noindexeren van URL’s, kunt u deze handleiding voor noindexeren bij Yoast raadplegen.
Conclusie
Soft 404’s zijn vreemde fouten en het is niet altijd duidelijk wat de oorzaak ervan is. Maar met een beetje graven, vooral in Google Search Console, kunt u het probleem bij de wortel aanpakken en snel een oplossing implementeren.
Voor WordPress-sites in het bijzonder, die bijna altijd dynamisch gegenereerde pagina’s hebben die zachte 404-fouten opwerpen, kunt u deze pagina’s eenvoudigweg noindexeren in de instellingen van Yoast. Het is ook een goed idee om een aangepaste 404 in te stellen om gebruikers op te vangen die op pagina’s terechtkomen die niet bestaan, zodat u ze naar de belangrijke pagina’s van uw site kunt leiden.