Validatie van webforms tegen (spam)bots

[Leon Vosmeijer]

Iedere webdeveloper heeft er ooit wel eens mee te maken gehad: online (spam)bots.

 

Bij het ontwikkelen van web projecten moet er tegenwoordig rekening worden gehouden met de mogelijkheid dat bots* open formulieren volgooien met berichten.

 

Er zijn tegenwoordig al een aantal projecten die dit proberen tegen te gaan. Een goed voorbeeld van zo'n project is een captcha. Een reactie test (doorgaans met behulp van een dynamische gegenereerde image) om te controleren of de gebruiker daadwerkelijk een mens is.

 

De problemen met dit soort projecten is dat de implementatie van dit soort methoden ervoor zorgt dat de usability en de accessability van de web applicatie hier dramatisch mee wordt aangetast. Voor een geoptimaliseerde website is dit dus dodelijk.

 

Ik zou graag jullie graag willen vragen aan te geven welke methoden (het liefst met voorbeelden) jullie het beste vinden of het best vinden werken. Wellicht dat er goede en gebruiksvriendelijk vormen van captcha beschikbaar zijn.

 

*: voor de niet-technici onder ons: geautomatiseerde software, welke alle websites in de wereld proberen (!) af te gaan om daar hun boodschap (veelal internet addressen voor indexering of verkoop) achter te laten

[Michiel van Vlaardingen]

Ik vind zelf de minst hinderrlijke en toch redelijk effectieve methode de volgende:

voeg een veld toe aan het formulier met een verleidelijke name="email1" oid... en maak dat veld vervolgens onzichtbaar voor gewone gebruikers. (hoogte en breedte = 1 oid) De gemiddelde bot kan de verleiding niet weerstaan om toch een waarde in te vullen. Als dat zo is, heb je dus bijna zeker een bot en kan je dat uitsluiten.

 

Nadeel: mensen die een utility gebruiken om snel formulieren in te vullen hebben hier wel last van, want ook die vullen dit veld vrolijk in.

 

(In online contact formulieren gooi ik daarnaast meestal ook altijd alles weg wat meer dan twee linkjes bevat... maar dat is niet altijd handig/toepasbaar)

[Leon Vosmeijer]

Ik vind zelf de minst hinderrlijke en toch redelijk effectieve methode de volgende:

voeg een veld toe aan het formulier met een verleidelijke name="email1" oid... en maak dat veld vervolgens onzichtbaar voor gewone gebruikers. (hoogte en breedte = 1 oid) De gemiddelde bot kan de verleiding niet weerstaan om toch een waarde in te vullen. Als dat zo is, heb je dus bijna zeker een bot en kan je dat uitsluiten.

 

Nadeel: mensen die een utility gebruiken om snel formulieren in te vullen hebben hier wel last van, want ook die vullen dit veld vrolijk in.

 

(In online contact formulieren gooi ik daarnaast meestal ook altijd alles weg wat meer dan twee linkjes bevat... maar dat is niet altijd handig/toepasbaar)

 

Het nadeel van deze oplossing is alleen dat de meeste bots tegenwoordig ook kijken naar de stylesheets - de bots worden immers ook vrolijk geupdate met de nieuwste technieken - en een display:none of een visibility:hidden ook zien en die secties overslaan...

Toch vind ik het zelf ook een chique oplossing

[willemj]

Lijkt me meer een vraag voor technischforum. Sterker nog; hij is al heel vaak gesteld op tweakers.net.

[Leon Vosmeijer]

Lijkt me meer een vraag voor technischforum. Sterker nog; hij is al heel vaak gesteld op tweakers.net.

 

Ik ben meer op zoek naar een gebruiksvriendelijk oplossing. Wat dat betreft heb ik liever de 'minder technische mensen' die de post bekijken

[edited]

[seb]

Lijkt me meer een vraag voor technischforum. Sterker nog; hij is al heel vaak gesteld op tweakers.net.

 

ben ik niet helemaal met je eens Willem, Leon en ik liggen regelmatig met elkaar in de clinch over de captcha's, ik heb er persoonlijk een hekel aan en van de recaptcha (met voorlees mogelijkheid) krijg ik het idee dat ik stemmen in m'n hoofd hoor.

 

Wij hebben nu een aantal projecten lopen waar we captcha's als een soort noodzakelijk kwaad inzetten. Door zuiver vanuit een technisch oogpunt te kijken (leon's favoriete bezigheid) ga je voorbij aan het gebruiksvriendelijk houden van een site (mijn stokpaardje). Ik begin captcha's steeds meer te zien als een blokkade voor potentiele klanten/bezoekers. Een forum als higherlevel is m.i. bij uitstek geschikt om eens te informeren naar alternatieven die dezelfde veiligheid bieden maar wellicht voor de echte mensen een stuk liever zijn.

[willemj]

Door zuiver vanuit een technisch oogpunt te kijken (leon's favoriete bezigheid) ga je voorbij aan het gebruiksvriendelijk houden van een site (mijn stokpaardje). Ik begin captcha's steeds meer te zien als een blokkade voor potentiele klanten/bezoekers.

 

De definitie van een captcha is dat je de bezoeker een stuk informatie geeft, hij daarover nadenkt en een response moet geven. Op basis van de response bepaal je of het een mens is of niet. Hoe je het ook draait de bezoeker moet dus en nadenken en een extra aktie uitvoeren. Binnen die context kun je alleen nog over de gebruiksvriendelijkheid van de geboden informatie discussieren ('klik op het plaatje van de hond', 'laaste drie letters van het woord' etc) Maar dat is, voor mij althans, al aardig technisch.

 

Alternatief is om de bezoeker niet te belasten met extra werk en een wel technische oplossing te zoeken. Twee ideeen: hussel alle veldnamen helemaal door elkaar (zie postbank inlogformulier, daar zijn de veldnamen 'random' teksten), gebruik aan de ontvangende kant een Bayes filter en anti-spam dienst (meestal op basis van IP) Maar goed we gingen het niet over techniek hebben ;-)

 

Groetjes,

Een 37-jarige nerd / tweakert ;D

[chielsen]

Ideeën van niet technici zijn leuk, maar die weten vaak niet wat wel en niet uit te voeren is. Reken maar dat er echt al veel methodes geprobeerd zijn, dus is tweakers of google toch zeker wel een goede bron.

 

Wat het wel is, bots gaan het liefst zoveel mogelijk sites langs zonder moeilijk te doen. Een bepaalde implementatie is vaak goed te kraken (zoals volgens mij elke captcha van google al gekraakt is).

Wat je dan beter kan doen is je eigen variant maken. Hier weten de bots vaak geen raad mee en de programmeurs erachter steken er geen moeite in op hun bot aan te passen voor jouw weblogje.

 

Als je standaard captcha methodes gebruikt loop je veel meer kans dat iemand hun bot specifiek heeft ontworpen om die captcha te kraken. Je kan bijvoorbeeld een javascript maken die kijkt hoe lang er op de submit knop gedrukt wordt (dan ook alleen toestaan dat je met die knop mag submitten). Een bot zal vaak supersnel hierop drukken.

Of vraag een super simpele vraag als welke dag het is.

 

Is allemaal makkelijk te kraken, maar totdat iemand er energie in gaat steken heb je een gebruiksvriendelijke methode om spam te voorkomen.

[WaltervL]

Het hangt er natuurlijk veel vanaf hoe belangrijk je site is en of je taalgebied nederlandstalig is.

 

Bij een phpbb2 forum waar ik moderator van ben hebben we de captcha bij het registratieformulier uitgezet (was toch al gekraakt) en een simpele controle vraag toegevoegd. Aangezien het een nederlands forum is de vraag in het nederlands gesteld. Het antwoord staat gewoon in de vraag. Zoiets als: Amsterdam is de hoofdstad van Nederland. Wat is de hoofdstad van Nederland?

Het registreren door bots was volledig verdwenen.

 

Wat ook hielp was een minimale wachttijd in te bouwen van 5 seconden. Dus reacties die pas na 5 seconden na het renderen van het formulier werden verstuurd werden geaccepteerd. Bots versturen meestal binnen de seconde hun formulier.

 

Je zou ook je formulieren dynamisch kunnen aanmaken, dus elke keer andere veld-id's, andere volgorde's etc.

Bijvoorbeeld het emailveld elke keer op een andere plek in het formulier zetten en het geen email te noemen.

 

Maar wanneer je site interessant genoeg is wordt het toch gekraakt. >:(

[Mark Lindhout]

Vanuit usability-oogpunt is een extra actie door de gebruiker niet wenselijk. (Ik ben zelf overtuigd van het 'Don't Make Me Think'-principe.) Daarom dus geen Captcha, geen controlevraag.

 

Daarentegen kun je server-side heel mooi filteren met software zoals Bad Bahaviour of Spam Karma (op Wordpress), en dan bij voorkeur in combinatie met elkaar. Ook Akismet mag natuurlijk niet in de lijst ontbreken. Een korte lijst met mijn bijdragen (plus uitleg) hieronder.

 

[*] Bad Bahaviour is er als WordPress plugin, Drupal module, Mediawiki plugin, en als 'generic' script. Met een redelijk weinig moeite dus ook in custom software te bouwen.

[*] Spam Karma is een prachtige Wordpress plugin die zeer precieze filtering doet. Je kunt hem aanpassen naar eigen wens, maar de standaardinstellingen zijn al zo goed dat ik er praktisch nooit aan zit. Nadeel is dat het "Wordpress Only" is.

[*] Akismet is er als Wordpress plugin, Drupal module, en nog heel veel meer. Akismet checkt of een bericht spam is tegen de servers van de softwareproducent, en is op persoonlijke websites gratis. Commerciele websites kosten, afhankelijk van de grootte, een maandelijkse bijdrage.

[*] Drupal Spam-module is er alleen voor Drupal. Complete oplossing, en zeer uitgebreid.

 

[LittleBit]

> Ik zou graag jullie graag willen vragen aan te geven welke methoden (het liefst met voorbeelden)

> jullie het beste vinden of het best vinden werken.

Ik beheer een site waar dit probleem speelde en daar heb ik een vraag toegevoegd:

Controle-vraag: Wat is de naam van de prinses die zei "Hij was een beetje dom!"

met als meerkeuze antwoord:

"Juliana, Minima, Maxima, Beatrix, Margriet, Irene

 

Dit is een makkie voor nederlandse mensen en lastig voor robots en russinnen.

 

[Jaap Haagmans]

Als je Akismet kunt gebruiken is dat echt "the way to go". Anders toch iets vergelijkbaars: captcha's vind ik zelf erg storend en gebruik ik enkel als er geen andere mogelijkheid is.

[R.I.P. - Benm]

Captcha's zijn altijd vervelend voor de welwillende bezoeker. Op zich zou ik aanraden ze alleen te implementeren als het echt de spuigaten uit loopt, of bij een systeem waarbij de ingevulde informatie automatisch online komt zonder tussenkomst van een redacteur oid (comments op een blog, etc).

 

In de gevallen waar het werkelijk nodig is vind ik recaptcha wel een mooie oplossing, die bovendien zeer eenvoudig te integreren is.

[Jaap Haagmans]

Captcha's zijn altijd vervelend voor de welwillende bezoeker. Op zich zou ik aanraden ze alleen te implementeren als het echt de spuigaten uit loopt, of bij een systeem waarbij de ingevulde informatie automatisch online komt zonder tussenkomst van een redacteur oid (comments op een blog, etc).

Ook daar is Akismet bijna altijd de beste oplossing.

 

Ik heb één captcha op de bedrijfswebsite, omdat mijn administratiesysteem het spamfilter omzeilde. Maar de captcha is wel zo eenvoudig mogelijk gehouden. Als hier bij een nieuwe versie verandering in komt haal ik het meteen weg!

[Manon GJ]

Puur als gebruiker: ik vind de onleesbare codes een ramp, ze zijn vaak zo scheef dat ik het meerdere malen verkeerd intik. Dan moet ik iets nog wel heel graag willen anders ben ik weg.

 

Mijn voorkeur gaat uit naar een eenvoudig sommetje dat steeds wijzigt maar misschien dat bots dat ook doorzien?

Dus gewoon 1+3 = en dan je dan in cijfers of letters 6 of zes intikt.

[Jaap Haagmans]

Mijn voorkeur gaat uit naar een eenvoudig sommetje dat steeds wijzigt maar misschien dat bots dat ook doorzien?

Dus gewoon 1+3 = en dan je dan in cijfers of letters 6 of zes intikt.

Was dat sommetje wel zo simpel? ;)

[Leon Vosmeijer]

Mijn voorkeur gaat uit naar een eenvoudig sommetje dat steeds wijzigt maar misschien dat bots dat ook doorzien?

Dus gewoon 1+3 = en dan je dan in cijfers of letters 6 of zes intikt.

Was dat sommetje wel zo simpel? ;)

 

Ongeacht of het sommetje wel of niet goed opgeschreven is, ben ik wel op zoek naar dit soort reacties van de 'gemiddelde' internet gebruiker.

Bedankt Manon!

[Jeroen Bakker]

Heb je gezien hoe we dit hier op Higherlevel.nl doen? Klik maar eens op 'Meld dit bericht aan de moderator'. Werkt vriendelijk naar invullers toe èn er komt nooit spam op binnen.

[Leon Vosmeijer]

Heb je gezien hoe we dit hier op Higherlevel.nl doen? Klik maar eens op 'Meld dit bericht aan de moderator'. Werkt vriendelijk naar invullers toe èn er komt nooit spam op binnen.

 

Grappig eigenlijk dat een goede oplossing meestal direct onder je neus ligt, zonder dat je het doorhebt.

[Jaap Haagmans]

Heb je gezien hoe we dit hier op Higherlevel.nl doen? Klik maar eens op 'Meld dit bericht aan de moderator'. Werkt vriendelijk naar invullers toe èn er komt nooit spam op binnen.

Dat zijn inderdaad gemakkelijke methoden. En het is ook wat Manon bedoelt (in een iets andere vorm). Het is simpel en je hebt behoorlijk wat applicatielogica nodig om het op te lossen. Helaas zijn de wat simpelere "5+6" sommetjes tegenwoordig al geen goede oplossing meer (spammers voorzien hier al in) en de simpelere captcha's ook niet. Maar goed, als je er "tel negen bij 7 op" van maakt ben je er ook en dat is alweer veel moeilijker.

[Johan Mulder]

Ik heb ook een aantal versies gezien die ik zeer zeer gebruiksvriendelijk vind:

 

- de simpele rekensom (net als Manon)

- een zeer simpele vraag. Een forum over Aprilia motoren, hoeveel cilinders heeft een Aprilia Tuono? (antwoord =2)

 

 

De plaatjes met daarin letters en cijfers vind ik soms lastig. Sommige letters lijken erg op cijfers en zorgen dus voor een foutmelding. Ook zorgt de achtergrond soms voor slecht leesbare tekens.

[R.I.P. | Peter Bonjernoor]

Ik heb op een gastenboek een variant gehad met een blok van 4x4 cijfers in 4 verschillende kleuren, en daarnaast de tekstopdracht "Voer de blauwe cijfers in" (of rode, gele, groene). Werkte als een zonnetje.

[WaltervL]

Ik kwam laatst nog een variant tegen (weet alleen niet meer waar) waarbij je de tekstopdracht kreeg om op een bepaald gedeelte van een afbeelding te klikken. Er was 1 plaatje met verschillende kleuren cirkels en dan was bijvoorbeeld de opdracht: Klik op de gele cirkel.

 

De Submit actie was dus verborgen. Een bot kan dan wel het formulier invullen, alleen niet versturen ;D

[Johan Mulder]

Ik kwam laatst nog een variant tegen (weet alleen niet meer waar) waarbij je de tekstopdracht kreeg om op een bepaald gedeelte van een afbeelding te klikken. Er was 1 plaatje met verschillende kleuren cirkels en dan was bijvoorbeeld de opdracht: Klik op de gele cirkel.

 

De Submit actie was dus verborgen. Een bot kan dan wel het formulier invullen, alleen niet versturen ;D

 

leuk voor kleurenblinden... :-[

[djemmers]

wat ik soms doe is extra aanhalingstekens gebruiken in een tekstvraag:

 

geef het "aantal" letters van het vierde woord in deze zin.

 

Ik ben namelijk al tegengekomen dat bots ook kijken naar " " in tekstverificaties. Door die " op een rare plaats te zetten maak he het de bots nog een stapje moeilijker.

 

Maar dat kan dan weer vreemd overkomen voor de gebruiker misschien?

 

[djluc]

Heb je gezien hoe we dit hier op Higherlevel.nl doen? Klik maar eens op 'Meld dit bericht aan de moderator'. Werkt vriendelijk naar invullers toe èn er komt nooit spam op binnen.

:-[ Die heb ik al vaak fout gedaan! Hoe erg!