Ga naar inhoud

Informatie uit verschillende websites halen en weergeven op eigen site

Geplaatst:

R van Putten

Goedemorgen,

 

ik ben een applicatie aan het bouwen/aanpassen welke op relatief korte termijn online kan. Hier kan men terecht voor o.a. het aanbieden van woningen. Belangrijk is uiteraard wel dat mijn database dan gevuld gaat worden. Ik heb toegang tot een bestand van ca 600 woningen en wil er uiteraard meer op hebben.

 

Om, beginnend met die 600 woningen, alles met de hand te uploaden en up to date te houden is haast geen doen en wil dus in navolging van b.v. Jaap.nl gegevens 'lenen' van andere sites.

 

Jaap heeft destijds de rechtzaak gewonnen en dit gebruik maken van die gegevens is toegestaan. Ik wil klanten natuurlijk zo'n goed en breed mogelijk aanbod kunnen geven anders blijven ze naar Funda gaan. Ook is het niet handig dat een woning al lang verkocht is en bij mij nog actief staat.

 

Heeft iemand suggesties hoe dit het beste is aan te pakken of hoe Jaap (en evt de rest) dit heeft gedaan. Een API bouwen is een mogelijkheid maar die moet weer net aansluiten op de verschillende systemen en zij moeten dan meewerken.

 

Lastige vraag maar daarom stel ik hem hier :)

 

Alvast bedankt.

Ruben

 

 

Featured Replies

Geplaatst:

Patrick Gerrits

Volgens niet met een api.

 

Je hebt diverse methoden maar het is gewoon gescript. M.a.w. een script bouwen wat sites langsgaat en daar info uithaalt en in jou eigen DB stopt.

 

Je moet je wel afvragen of dit legaal is of niet...

 

Geplaatst:

R van Putten

  • Auteur

Bedankt voor je snelle reactie. Jaap.nl heeft enkele jaren geleden hetzelfde gedaan, nadat Funda en een aantal makelaars overstuur was en een rechtzaak aanspanden is uiteindelijk toch overal toestemming voor gegeven.

 

Zal dus meer de vraag zijn hoe de informatie verkregen wordt, de info op zich is blijkbaar vrij te verkrijgen. Nadeel is wel je voor een goede verwerking van de data echt in de DB moet zijn denk ik.

 

Geplaatst:

Patrick Gerrits

Bedankt voor je snelle reactie. Jaap.nl heeft enkele jaren geleden hetzelfde gedaan, nadat Funda en een aantal makelaars overstuur was en een rechtzaak aanspanden is uiteindelijk toch overal toestemming voor gegeven.

 

Zal dus meer de vraag zijn hoe de informatie verkregen wordt, de info op zich is blijkbaar vrij te verkrijgen. Nadeel is wel je voor een goede verwerking van de data echt in de DB moet zijn denk ik.

 

 

Want? Jij wil toch teksten e.d. weergeven van funda op jou site? Dus wat funda laat zien wil jij ook laten zien. Daar hoef je de DB niet voor in hoor.

Geplaatst:

R van Putten

  • Auteur

Ok, als de gegevens maar op de juiste plaats komen.

 

Bouwjaar, oppervlakte, kamers etc dienen allemaal goed weggezet te worden om hier op mijn site weer op te kunnen zoeken.

Geplaatst:

marceln

Ha Ruben,

 

Ik heb laatst met een soortgelijk vraagstuk geworsteld.

Je zit nog altijd met het intelectueel eigendom van de content.

Als je de data wilt scrapen en je wilt "realtime" informatie vergaren, dan loop je de kans dat jouw applicatie wordt geweerd van de betreffende site(s). Een simpele rate limiter volstaat bij dit soort websites al om scraping te voorkomen.

Als een site echter een API beschikbaar stelt, dan mag je bepaalde content onder voorwaarden gebruiken.

 

Laat in ieder geval (om in de toekomst problemen te voorkomen) weten waar je content vandaan komt door onderaan de content "bron:funda.nl" te zetten.

 

ps. Kijk uit met opslag in de database. Als er privacy gevoelige gegevens op Funda geplaatst zijn en er is daan Funda toestemming gegeven om deze gegevens te publiceren, dan betekend dit per definitie dat jij geen toestemming hebt!

Opslaan van deze gegevens zonder toestemming is strafbaar.....

 

Succes,

 

Marcel

Software Development | Software Design

Geplaatst:

Patrick Gerrits

@ hierboven..

 

Als funda toch iets op de site zet. Jij scraped dat in publicieerd het via je eigen DB weer op je eigen site.. Dan gaat die privacy discussie nergens over.

 

Het lijkt me dan dus ook sterk dat funda privacy gevoelige gegevens op de site zet. Je kan namelijk alleen scrapen wat hun openbaar tonen.

Geplaatst:

kakafoon

Op deze site is de casus van jaap/nl/funda voorzien van commentaar van een bloggende jurist (erg interessant)

 

klik

 

Er staan ook een aantal andere berichten in zijn archief over aanverwante artikelen omtrent het harvesten van data.

Geplaatst:

R van Putten

  • Auteur

Leuk stukje inderdaad, vooral dat Jaap uiteindelijk aan het langste eind trekt geeft hoop.

 

Het is dan ook vooral de technische kant van het verhaal die me nu nog dwars zit...

Gast
Dit topic is nu gesloten voor nieuwe reacties.

Maak een account aan of log in om te reageren

Je moet een lid zijn om een reactie te kunnen achterlaten

Account aanmaken

Registreer voor een nieuwe account in onze community. Het is erg gemakkelijk!

Registreer een nieuw account

Inloggen

Heb je reeds een account? Log hier in.

Nu inloggen

Cookies op HigherLevel.nl

We hebben cookies geplaatst op je toestel om deze website voor jou beter te kunnen maken. Je kunt de cookie instellingen aanpassen, anders gaan we er van uit dat het goed is om verder te gaan.