Anti-spidering /blank gifjes

[anoniem]

In een andere posting, op het testforum (wie test mijn site...) lees ik in de respons van iemand iets dat vragen bij mij oproept>

In deze te testen website zat een contactformulier, maar de contactgegevens konden niet gekopieerd worden.

Een van de respondenten vroeg zich af of hier een " blank gifje" voor zat???

 

Wij gaan binnen 2 weken onze vacaturebank lanceren; hierop staan alleen banen van echte werkgevers. Verboden voor cv-schuivers :-) . De verwachting is dat onze site zowieso gespiderd zal worden door minimaal 2 partijen die data verkopen aan marktonderzoekers, re-integratieburo's , concurrenten en...intermediairs. Zij spideren 10000-den sites; data wordt getagged en in een database opgeslagen en verkocht via abonnementen op " opmaat-pakketten" ....Anderen verdienen dus geld met onze content, en ik krijg er niks (geen links) voor terug.

 

Mijn vraag is nu: helpt een " blank gifje " tegen ongewenste spidering/scraping? ik heb niet zoveel bezwaar tegen deeplinking omdat ik daar traffic voor terug krijg (maar eigenlijk heb ik dit liever ook niet).

 

Kan ik voorkomen dat onze vacatures gespiderd/gekopieerd worden en elders worden opgeslagen door voor deze pagina's een zgn " blank gifje" te schuiven??? is het zo simpel???

 

Vraag 2: om het spidering/opslaan in database moeilijk te maken is het dan raadzaam dat op de vacaturepagina geen bedrijfsgegevens vermeld worden? Is het dan beter om bedrijfsgegevens onder een button te plaatsen??/

 

 

 

Nog een vraag: En kan iemand vertellen of deze software spidering/deeplinking etc kan voorkomen? Heeft iemand zowieso een algemeen kort oordeel over deze software? http://www.antssoft.com/htmlprotector/index.htm

 

Onze programmeurs vertelden mij destijds dat deeplinking wel geblokkeerd kan worden ,maar dan wordt de site niet meer door Google geindexeerd; dus dat was ook geen oplossing.

 

Ik ben benieuwd of iemand hier een antwoord op heeft!

Pff...ga dat alstjeblieft niet kopen. Ze doen alles met javascript, dus Google zal je niet meer vinden. Los daarvan, bekijk de demopagina, toets Ctrl-A en Crtl-C (selecteer alles, kopieer), en plak alles weer in Word - presto. Complete rip-off.

 

Wat ej oorspronkelijke vraag betreft - nee, dat kan niet. De tekst, en dat is waar het om gaat, zit verpakt in HTML code. Een browser kan over bepaalde onderdelen een transparant GIFje plakken, maar voor de rauwe HTML-code gaat die grap niet op. Dat is gewoon te lezen.

 

De enige manier om andere sites tegen te houden is om verkeerd vanaf bepaalde IP-nummers te blokkeren.

[renep]

Er zijn geen simpele en effecieve oplossingen tegen het spideren van webcontent, die geen nadelen hebben. Een transparant gifje maakt hooguit copy-paste in een browser moeilijker, maar is geen hindernis voor spiders.

 

Een paar opties:

[*]Een toevalsgenerator opnemen in de code die je contentpagina's construeert, en per onderdeeltje telkens een andere html-structuur gebruiken. Dat maakt het moeilijker om een parser te schrijven die de gegevens gestructureerd uit een webpagina haalt.

[*]Je content in code-genererende Javascript verpakken. Startpagina doet of deed dat veel. Maar daarmee schaad je ook je eigen Google-ranking.

[*]Spiders herkennen op basis van het grote aantal opvragingen in korte tijd, en deze dan throttlen of blokkeren.

[*]Unieke gegevens opnemen die aantoonbaar maken dat de gegevens uit jouw database komen, zodat je het misbruik juridisch kunt aanpakken (aangenomen dat het doorverkopen je databankrecht zou schenden).

[*]Een deel van de gegevens (zoals de adresgegevens die je noemt) verstoppen achter een CAPTCHA. Een button is op zich geen hindernis voor een spider, er moet een uitdaging in zitten die voor een mens makkelijk en voor een spider moeilijk is.

[Tonino]

Waarom niet gewoon hetzelfde doen als die andere sites?

Gewoon alle namen/adresgegevens en dergelijke achter een login. Zoveel werkgevers hebben er misschien ook geen behoefte aan dat je al hun informatie open en bloot online zet...

 

Gr

Mark

[MWormgoor]

Of redelijk eenvoudig, een deel van de gegevens weergeven als (gegenereerd) plaatje. Dat heeft echter hetzelfde gevolg als het opnemen in Javascript, nl. dat e.e.a. niet in Google terecht komt. Wat je dus wil is dat een cruciaal deel van de informatie, die je niet gespiderd wilt hebben, afschermt d.m.v. Javascript of een plaatje, maar dat je de cruciale informatie (bijv. de titel en omschrijving van de vacature) gewoon open laat. Je kunt zelfs deze informatie als tekst weergeven als bepaalde zoekmachines (Google, Live) langskomen, zodat ze wel geindexeerd worden.