Informatie uit verschillende websites halen en weergeven op eigen site

[R van Putten]

Goedemorgen,

 

ik ben een applicatie aan het bouwen/aanpassen welke op relatief korte termijn online kan. Hier kan men terecht voor o.a. het aanbieden van woningen. Belangrijk is uiteraard wel dat mijn database dan gevuld gaat worden. Ik heb toegang tot een bestand van ca 600 woningen en wil er uiteraard meer op hebben.

 

Om, beginnend met die 600 woningen, alles met de hand te uploaden en up to date te houden is haast geen doen en wil dus in navolging van b.v. Jaap.nl gegevens 'lenen' van andere sites.

 

Jaap heeft destijds de rechtzaak gewonnen en dit gebruik maken van die gegevens is toegestaan. Ik wil klanten natuurlijk zo'n goed en breed mogelijk aanbod kunnen geven anders blijven ze naar Funda gaan. Ook is het niet handig dat een woning al lang verkocht is en bij mij nog actief staat.

 

Heeft iemand suggesties hoe dit het beste is aan te pakken of hoe Jaap (en evt de rest) dit heeft gedaan. Een API bouwen is een mogelijkheid maar die moet weer net aansluiten op de verschillende systemen en zij moeten dan meewerken.

 

Lastige vraag maar daarom stel ik hem hier :)

 

Alvast bedankt.

Ruben

 

 

[Patrick Gerrits]

Volgens niet met een api.

 

Je hebt diverse methoden maar het is gewoon gescript. M.a.w. een script bouwen wat sites langsgaat en daar info uithaalt en in jou eigen DB stopt.

 

Je moet je wel afvragen of dit legaal is of niet...

 

[R van Putten]

Bedankt voor je snelle reactie. Jaap.nl heeft enkele jaren geleden hetzelfde gedaan, nadat Funda en een aantal makelaars overstuur was en een rechtzaak aanspanden is uiteindelijk toch overal toestemming voor gegeven.

 

Zal dus meer de vraag zijn hoe de informatie verkregen wordt, de info op zich is blijkbaar vrij te verkrijgen. Nadeel is wel je voor een goede verwerking van de data echt in de DB moet zijn denk ik.

 

[Patrick Gerrits]

Bedankt voor je snelle reactie. Jaap.nl heeft enkele jaren geleden hetzelfde gedaan, nadat Funda en een aantal makelaars overstuur was en een rechtzaak aanspanden is uiteindelijk toch overal toestemming voor gegeven.

 

Zal dus meer de vraag zijn hoe de informatie verkregen wordt, de info op zich is blijkbaar vrij te verkrijgen. Nadeel is wel je voor een goede verwerking van de data echt in de DB moet zijn denk ik.

 

 

Want? Jij wil toch teksten e.d. weergeven van funda op jou site? Dus wat funda laat zien wil jij ook laten zien. Daar hoef je de DB niet voor in hoor.

[R van Putten]

Ok, als de gegevens maar op de juiste plaats komen.

 

Bouwjaar, oppervlakte, kamers etc dienen allemaal goed weggezet te worden om hier op mijn site weer op te kunnen zoeken.

[marceln]

Ha Ruben,

 

Ik heb laatst met een soortgelijk vraagstuk geworsteld.

Je zit nog altijd met het intelectueel eigendom van de content.

Als je de data wilt scrapen en je wilt "realtime" informatie vergaren, dan loop je de kans dat jouw applicatie wordt geweerd van de betreffende site(s). Een simpele rate limiter volstaat bij dit soort websites al om scraping te voorkomen.

Als een site echter een API beschikbaar stelt, dan mag je bepaalde content onder voorwaarden gebruiken.

 

Laat in ieder geval (om in de toekomst problemen te voorkomen) weten waar je content vandaan komt door onderaan de content "bron:funda.nl" te zetten.

 

ps. Kijk uit met opslag in de database. Als er privacy gevoelige gegevens op Funda geplaatst zijn en er is daan Funda toestemming gegeven om deze gegevens te publiceren, dan betekend dit per definitie dat jij geen toestemming hebt!

Opslaan van deze gegevens zonder toestemming is strafbaar.....

 

Succes,

 

Marcel

[Patrick Gerrits]

@ hierboven..

 

Als funda toch iets op de site zet. Jij scraped dat in publicieerd het via je eigen DB weer op je eigen site.. Dan gaat die privacy discussie nergens over.

 

Het lijkt me dan dus ook sterk dat funda privacy gevoelige gegevens op de site zet. Je kan namelijk alleen scrapen wat hun openbaar tonen.

[kakafoon]

Op deze site is de casus van jaap/nl/funda voorzien van commentaar van een bloggende jurist (erg interessant)

 

klik

 

Er staan ook een aantal andere berichten in zijn archief over aanverwante artikelen omtrent het harvesten van data.

[R van Putten]

Leuk stukje inderdaad, vooral dat Jaap uiteindelijk aan het langste eind trekt geeft hoop.

 

Het is dan ook vooral de technische kant van het verhaal die me nu nog dwars zit...