Layout logfiles van websites

[perry]

De infowinner is klaar om nieuwe features toe te voegen. We zitten te overwegen om iets met logfiles van websites te gaan doen.

 

Idee is om die informatie te integreren met gegevens in je crm database.

 

We denken hier de volgende dienst mee te bewijzen:

- In je database kunnen zien wie voor het laatst je website heeft bezocht.

(dat kunnen we doen door naar ip adressen op de websites in de headers van e-mails te kijken die men al in de crm database heeft)

- Nieuwe adressen aan kunnen maken aan de hand van een ipadres. We kijken dan een adres en telefoonnummer uit een bedrijventabel halen aan de hand van een ipadres, die vervolgens bijvoorbeeld namen en telefoonmnummers er bij haalt.

 

Vraag 1 is uiteraard, is hier behoefte aan? Wil men in de database kunnen zien wie er wanneer op je website is geweest? En wil men de adressen van de bezoekers? Het zal uiteraard niet altijd kunnen opgaan, maar we kunnen vrij ver gaan.

 

Vraag 2. Ik heb nu drie logfiles bekeken die door een apache server worden gegeneeerd. Hebben die logfiles altijd een zelfde format, of kan dat per site verschillen?

 

Perry

 

 

[willemj]

Ik zit er niet op te wachten dat bedrijf X mijn gegevens ineens in hun database heeft zitten alleen omdat ik op hun site geweest ben. Je overtreedt waarschijnlijk ook gelijk de privacy wetgeving als ik als prive persoon die site bezoek.

 

Vraag 2. Ik heb nu drie logfiles bekeken die door een apache server worden gegeneeerd. Hebben die logfiles altijd een zelfde format, of kan dat per site verschillen?

Kan verschillen per site/server. Is nl. zelf te configureren in het configuratiebestand. Maar de default instellingen zijn veel gebruikt en een afwijkend formaat is niet veel moeilijker te parsen.

 

[perry]

Ik zit er niet op te wachten dat bedrijf X mijn gegevens ineens in hun database heeft zitten alleen omdat ik op hun site geweest ben. Je overtreedt waarschijnlijk ook gelijk de privacy wetgeving als ik als prive persoon die site bezoek.

 

Ik denk ook meer aan bedrijven dan aan particulieren ,dat laatste zal ook niet echt kunnen. Zal alleen opgaan voor bedrijven die met een vast ipadres een website van een bedrijf bezoeken. Of dat mag laat ik in het midden. Het is namelijk mogelijk. Of daar echt behoefte aan is vraag ik me even af, lijkt me van wel? Toch?

 

 

Vraag 2. Ik heb nu drie logfiles bekeken die door een apache server worden gegeneeerd. Hebben die logfiles altijd een zelfde format, of kan dat per site verschillen?

Kan verschillen per site/server. Is nl. zelf te configureren in het configuratiebestand. Maar de default instellingen zijn veel gebruikt en een afwijkend formaat is niet veel moeilijker te parsen.

 

Ja daar zijn we nu ook achter.

 

Bedankt,

 

Perry

 

[TwaBla]

De infowinner is klaar om nieuwe features toe te voegen.

 

Suggestie is om alle vragen mbt tot jouw product tot één draad te beperken. Dit is niet te volgen.

[Edo van Santen]

Perry,

ik vind het een geniaal idee!

 

ik bekijk regelmatig mijn logfiles, en soms kan ik daar een bekend ip-nummer of alias in vinden. Commercieel is het best interessant te zien dat één van je klanten of contacts een bezoek heeft gebracht.

 

Als je nog een logfile nodig hebt, ik kan je er zo eentje sturen.

 

Succes!

[perry]

De infowinner is klaar om nieuwe features toe te voegen.

 

Suggestie is om alle vragen mbt tot jouw product tot één draad te beperken. Dit is niet te volgen.

 

Kan ik me voorstellen ;D Maar, dit draadje aanhouden dan?

 

Misschien een kleine update van wat gaande is. De InfoWinner is momenteel klaar en wordt momenteel afgenomen door bedrijven die voornamelijk het CRM programma Act en of GoldMine hebben. Vreemd genoeg zijn het momenteel alleen Amerikaanse en Belgische bedrijven die ik daar blij mee heb gemaakt (in concreto nog maar 10). Momenteel kan het dus eenvoudig internationale adressen completeren en controleren op failliet of niet

 

Idee is nu om extra functies te gaan toevoegen. De eerste volgende zal zijn om bedrijfsinformatie toe te voegen. Waarschijnlijk alleen Amerikaanse bedrijfsinformatie. Aan die implementatie wordt momenteel gewerkt.

 

Gelijktijdig ben ik aan het uitzoeken wat we als volgende stap kunnen toevoegen. Toevoegen van nieuwe features kan nu redelijk eenvoudig.

 

In Nederland wordt ik momenteel flink achtervolgd door Cendris en Microsoft. Ze zijn zelfs zo vrij geweest om soort gelijke videoclips te maken. Geeft trouwens ook weer een bijdrage aan mijn focus. Leuke opmerking van VCC was, "Als Microsoft dit concept aandacht wil geven dan is hier een enorme markt voor. Als jij nou 1% pakt, ben je toch ook binnen":-)

 

 

Perry

 

 

 

 

 

 

 

 

[Edo van Santen]

... alleen Amerikaanse en Belgische bedrijven die ik daar blij mee heb gemaakt (in concreto nog maar 10).

 

...

 

In Nederland wordt ik momenteel flink achtervolgd door Cendris en Microsoft. Ze zijn zelfs zo vrij geweest om soort gelijke videoclips te maken. Geeft trouwens ook weer een bijdrage aan mijn focus. Leuke opmerking van VCC was, "Als Microsoft dit concept aandacht wil geven dan is hier een enorme markt voor. Als jij nou 1% pakt, ben je toch ook binnen":-)

 

Perry

 

 

Pas 10? Al 10! in twee weken, niet slecht! gaat zo door.

[TwaBla]

De infowinner is klaar om nieuwe features toe te voegen.

Suggestie is om alle vragen mbt tot jouw product tot één draad te beperken. Dit is niet te volgen.

 

Kan ik me voorstellen ;D Maar, dit draadje aanhouden dan?

 

 

Prima. Noem het dan bv 'ontwikkeling Infowinner: abc' waarbij je onder abc steeds weerd nieuwe vragen aan de orde kan stellen. ;)

 

Het is natuurlijk ook best interessant om te volgen hoe een nieuwe applicatie (hoe zou jij dit product / deze service plaatsen als categorie?) zich zowel technisch als commercieel ontwikkelt.

 

Wat maakt jouw product het doelwit van Microsoft's interesse? Is dat omdat zij ook in toenemende mate in CRM actief zijn?

[perry]

De infowinner is klaar om nieuwe features toe te voegen.

Suggestie is om alle vragen mbt tot jouw product tot één draad te beperken. Dit is niet te volgen.

 

Kan ik me voorstellen ;D Maar, dit draadje aanhouden dan?

 

 

Prima. Noem het dan bv 'ontwikkeling Infowinner: abc' waarbij je onder abc steeds weerd nieuwe vragen aan de orde kan stellen. ;)

 

Het is natuurlijk ook best interessant om te volgen hoe een nieuwe applicatie (hoe zou jij dit product / deze service plaatsen als categorie?) zich zowel technisch als commercieel ontwikkelt.

 

Wat maakt jouw product het doelwit van Microsoft's interesse? Is dat omdat zij ook in toenemende mate in CRM actief zijn?

 

Ja, en ze willen uiteraard leuke features aan hun produkt hebben. De feature is aangeboden door cendris, had ik natuurlijk eigenlijk moeten zijn, maar dat komt nog wel. Overigens krijg ik die app van MS niet geinstalleerd. Moet je DotNet voor geinstalleerd hebben iets van 75 MB.

Truuk voor mij is om nu zo snel als het maar kan nieuwe features toe te voegen.

 

Perry

[Edo van Santen]

[Truuk voor mij is om nu zo snel als het maar kan nieuwe features toe te voegen.

 

Perry

 

De truuk voor jou is zo snel mogelijk zo veel mogelijk verkopen, voordat ze van je concullega kopen.!

[Wilbert Philippo]

Ik vind het een heel sterk idee Perry. Vraag is alleen of je niet je tijd een beetje te ver vooruit bent, maar voor een actief CRM is het natuurlijk geweldig als je in een combinatie van factoren ook de activiteit op je website van een klant of prospect bij de gevens van de partij kunt vermelden. Vooral voor organisaties met heel grote bestanden en enorm veel prospects kan dit een indicator voor de temperatuur (hoe hot is tie) van prospect.

 

Ben het met Edo eens dat verkoop prio één moet zijn, maar in deze snel ontwikkelende markt met actieve grote partijen is snelle productontwikkeling ook wel relevant. Jouw probleem is natuurlijk dat je daar niet de middelen voor hebt, en die kun je alleen weer uit de verkoop realiseren... Mmm, herkenbaar probleem...

[perry]

Ben het met Edo eens dat verkoop prio één moet zijn, maar in deze

 

Klopt alleen het blijkt dat de functionaliteiten die ik momenteel heb nou ook weer niet zo heel killend zijn. Prettige is wel dat de basis nu goed in de steigers staat en ik nu redelijk snel kan schakelen om nieuwe functies toe te voegen, moet dan wel nuttig zijn en de informatie bron moet consistent zijn.

 

Ik zit nu naar wat van die logfiles te kijken en die zijn op zich niet moeilijk te extracten. Vraag is alleen zijn die logfiles voor een ieder bereikbaar? Ik heb hier een paar accounts waar ik heb kunnen kijken.

 

Bij de één zie je files als web.daily, web.stats, web.log en bij de ander zijn die waarschijnlijk verborgen en worden ze dieper in de root bewaard. De site heeft dan wel weer een report generator, maar daar zijn er ook al zo veel van. Truuk is dus om een manier te vinden waardoor je altijd wel bij die logfiles kan komen.

 

Ik zou het zo kunnen automatiseren dat bij wijze van spreken elk moment die logfiles worden opgehaald en aan de data van het crm programma wordt toegevoegd. Ook hier weer de vraag waar wil men het hebben?

Ik denk inderdaad aan het contact, ergens als user defined veld of zo. Kan men later wijzigen overigens ook geen punt. Gaat me nu even om de bron. Hoe kun je die consistent van de verschillende websites afplukken?

 

Iemand een idee?

 

Perry

 

 

 

 

[Edo van Santen]

snap je dillemma.

 

je hoeft voor versie 1 echter niet alles 100% te automatiseren!

 

stel je het volgende voor: de logfiles moeten op een 'vaste' directory op de pc komen te staan. die vaste directory zet je in je ini file, of hoe dat tegenwoordig ook heet.

 

je laat dus aan de gebruiker over de logfiles van de webserver naar de pc te kopieren. scheelt een vracht aan programeerwerk en security-issues.

 

als het aanslaat kan je voor versie 2 dit proces, mede op basis van user-feedback, altijd nog automatiseren.

 

Succes!

[perry]

 

Zou heel graag wat verschillende extracten van een web.log willen zien, puur om te zien of daar niet al te veel verschillen in zitten. Heeft iedereen ook een web.daily en een web.stats?

 

Wil een beetje weten hoe ik dit zo consistent mogelijk kan aanpakken.

 

Enorm bedankt, wat toch een hulp hier:-)

 

Perry

 

 

 

 

[Edo van Santen]

kweenie wat ik heb, maar pm je mijn logfile.

 

 

graag wel de content van de log vertrouwelijk behandelen ;D

 

[willemj]

Perry ik heb een aantal keer met dit bijltje gehakt en de handigste optie is een filter bouwen voor de verschillende inputs. Dat filter heeft een gestandardiseerde output voor jouw programma. Je code ziet er dan ongeveer zo uit:

 

1: bestand = haalBestand();

2: log = filter(naamvanklant, naamvansite, bestand)

3: proces(log)

 

Stap 3 is dan gewoon gestandaardiseerd. Om te beginnen maak je een filter voor het 'common' format van Apache (stelt weinig voor) en is stap 1 zoals VCC voorstelt een dialoogje met de tekst 'kopieer uw log bestanden naar de import directory'.

 

Kun je later die functies weer aanpassen voor meer geautomatiseerde versies.

 

Ik gok trouwens dat >90% het 'common' formaat gebruikt omdat dat de defacto standaard voor rapport generatoren is. Apache biedt voor extra log informatie aparte CustomLog regels (extra log bestand dus) aan waar je eigen informatie in kwijt kan.

 

Toegang tot logbestanden varieert per provider, ook hoe lang logbestanden beschikbaar blijven. De meeste providers roteren de log dagelijks of bij het overschrijden van een x-aantal kilobytes. Met de hand log bestanden kopieren is dus wel een leuk idee maar niet erg praktisch, zeker als ze ook nog eens gecomprimeerd zijn.

[perry]

Bedankt weer mannen,

 

Ziet er naar uit dat dit gaat lukken:-)

 

Perry

[R.I.P. - Benm]

Toegang tot logbestanden varieert per provider, ook hoe lang logbestanden beschikbaar blijven.

 

Dat verschilt inderdaad, het komt ook voor dat er helemaal niet gelogged wordt.

 

je laat dus aan de gebruiker over de logfiles van de webserver naar de pc te kopieren. scheelt een vracht aan programeerwerk en security-issues.

 

Op zich is dat wel het gemakkelijkste, maar of de gemiddelde gebruiker ertoe in staat is vraag ik me toch wel af. Normaalgesproken kun je die logs niet zomaar even met een browser downloaden en ergens saven, soms zijn ze wel per ftp te downloaden. Zo niet moet een gebruiker aan de gang met een shell account, ik denk niet dat veel mensen daarmee overweg kunnen.

 

Overigens zou je het (wellicht in een later stadium) ook kunnen ondervangen door een stukje php te maken wat men in de website kan bouwen. Dan kun je meteen gegevens naar keuze opslaan in een bijv een database, zodat je ook geen last meer hebt van de verschillen in logformats.

[perry]

Iets waar ik eigenlijk meer tegen aanloop is het feit dat in die logfiles nogal vreemde benamingen van domeinen zijn. Die kun je niet zomaar 123 matchen met een contact of firmanaam in je database.

 

Ik zou die informatie weliswaar met Whois en domein registratie gegevens aan kunnen vullen met de naam van de organisatie, waardoor ik de match beter kan maken, maar denk niet dat ze daar bij Whois blij van worden. Aan de andere kant heb ik ook cgi scripts gevonden die ze al op de website installeren die de logfiles met firmagegevens aanvult (zie: http://grove.ufl.edu/~bro/cgi-bin/wp.cgi) . Ik zou dat script op mijn server kunnen laten draaien, maar voor hoe lang gaat dat goed?

Iemand ervaring met dit soort scripts?

 

Ik zou een gebruiker wel kunnen helpen om het handmatig eenvoudiger aan te vullen, wellicht door een snelkoppeling te klikken en de informatie in een browser zichtbaar te maken. Vervolgens een handige manier om de zaak in de CRM database te extracten. Maar er komt een moment dat ik de aangeleverde informatie wil gaan extracten en terug ga schrijven in de crm database. In hoeverre kun je dat zonder problemen bijven doen? Ik wil het geen hack tool maken, moet allemaal officieel en degelijk blijven.

 

Iemand andere suggesties misschien?

 

Perry

 

 

[willemj]

Iets waar ik eigenlijk meer tegen aanloop is het feit dat in die logfiles nogal vreemde benamingen van domeinen zijn. Die kun je niet zomaar 123 matchen met een contact of firmanaam in je database.

 

Kun je een voorbeeld van zo'n vreemde naam geven?

 

Zowiezo is de whois database niet heel interessant. Als ik op jouw site kom dan staat daar 'stukjekaas.xs4all.nl' in de logbestanden als hostname. Iemand bij een middengroot bedrijf heeft misschien 'adsl210-x5.uunet.nl' staan. Alleen als je die namen / ip adressen al een keer gematched hebt is het (echt) zinnig. Er nl. zijn maar weinig bedrijven die hun domeinnaam gekoppeld hebben aan de proxyserver die gebruikt wordt om te surfen.

 

Verder zijn de whois/registratie databases gelimiteerd op een x-aantal queries per dag als anti-spam maatregel.

[djluc]

In principe zijn die hostnames, dat zijn de namen bij de ip-adressen, vaak wisselend e.d. en daardoor niet echt bruikbaar. Wat je wel kan doen is de ip-adressen en hostnames opslaan in de database en hieraan login-data gaan koppelen. Dat is redelijk betrouwbaar, alleen moet je dan niet de pech hebben dat iemand anders de hostname toegekend krijgt. Je zou dit met behulp van cookies en bijvoorbeeld browser/scherm informatie kunnen gaan controleren.

[R.I.P. | Peter Bonjernoor]

Whois informatie is inderdaad vaak gelimiteerd tot een x aantal queries per dag.

 

Er zijn diverse scripts en componenten die je op je server kunt zetten om die info op te halen - heb zelf ook een gratis ActiveX ergens opgeduikeld, en die werkt prima.

 

Nadeel is dat de instantie die het domein geregistreerd heeft niet per definitie ook de firma is waarvan je de informatie zoekt. Als ik bijvoorbeeld namens een klant een domein registreer staat deze op naam van Zaph, en niet dat andere bedrijf.

[Gast arrowman]

Iets waar ik eigenlijk meer tegen aanloop is het feit dat in die logfiles nogal vreemde benamingen van domeinen zijn. Die kun je niet zomaar 123 matchen met een contact of firmanaam in je database.

 

Ik zou die informatie weliswaar met Whois en domein registratie gegevens aan kunnen vullen met de naam van de organisatie, waardoor ik de match beter kan maken,

 

Nee, dat is nauwelijks zinnig. Die hostnames zijn de technische hostnames die horen bij de ip-nummers waarmee mensen surfen. Dat zijn vaak hostnames van ISP's e.d. Alleen sommige grote bedrijven hebben de IP-nummers op eigen naam staan.

 

De gebruikelijke manier om gedrag van individuen op je website te volgen is gebruik te maken van cookies. Daarbij zul je het individu met de een of andere slinkse truc zijn identiteit moeten ontfutselen. Via de logfiles van de webserver kom je daar niet achter.

[perry]

Oké thanks,

 

geplaatst door: willemj

Kun je een voorbeeld van zo'n vreemde naam geven?

Deze bijvoorbeeld:

 

209-234-187-2.gen.twtelecom.net

office.belam.lt

p54a7f1da.dip.t-dialin.net

 

geplaatst door: willemj

Zowiezo is de whois database niet heel interessant. Als ik op jouw site kom dan staat daar 'stukjekaas.xs4all.nl' in de logbestanden als hostname. Iemand bij een middengroot bedrijf heeft misschien 'adsl210-x5.uunet.nl' staan. Alleen als je die namen / ip adressen al een keer gematched hebt is het (echt) zinnig. Er nl. zijn maar weinig bedrijven die hun domeinnaam gekoppeld hebben aan de proxyserver die gebruikt wordt om te surfen.

 

Ja precies, of je moet de jusite een organisatienaam bij het ip adres zien te krijgen, dat zou je naar voren kunnen halen met whois, maar zoals hieronder al vermeld wordt, kan het een registrant zijn, doch die informatie staat apart vermeld in een gevonden resultaat, dus ik zou dat kunnen gebruiken.

 

geplaatst door: willemj

Verder zijn de whois/registratie databases gelimiteerd op een x-aantal queries per dag als anti-spam maatregel.

Logisch gevolg uiteraard van dit soort acties, maar waar een wil is is en weg, ik zou de infowinner kunnen instellen dat het x aanvragen per dag doet, moet men even geduld hebben en het regelmatig laten draaien,, maar komt die info er uiteindelijk wel.

 

In principe zijn die hostnames, dat zijn de namen bij de ip-adressen, vaak wisselend e.d. en daardoor niet echt bruikbaar. Wat je wel kan doen is de ip-adressen en hostnames opslaan in de database en hieraan login-data gaan koppelen. Dat is redelijk betrouwbaar, alleen moet je dan niet de pech hebben dat iemand anders de hostname toegekend krijgt. Je zou dit met behulp van cookies en bijvoorbeeld browser/scherm informatie kunnen gaan controleren.

 

Dat is wel het meest ideale, maar zal dan per klant maatwerk gaan vragen, ook niets mis mee, maar zou mooi zijn als ik hier een standaard oplossing voor kon bedenken. De middelen, de scripts en de tools zijn er, het is alleen de vraag hoe je het aan elkaar gaat knopen waarbij een goed resultaat en ethisch verantwoord bezig bent.

 

geplaatst door: Zaph - Peter

Whois informatie is inderdaad vaak gelimiteerd tot een x aantal queries per dag.

Enig idee hoeveel queries dat dan zouden zijn?

 

geplaatst door: djluc

Er zijn diverse scripts en componenten die je op je server kunt zetten om die info op te halen - heb zelf ook een gratis ActiveX ergens opgeduikeld, en die werkt prima.

 

Nadeel is dat de instantie die het domein geregistreerd heeft niet per definitie ook de firma is waarvan je de informatie zoekt. Als ik bijvoorbeeld namens een klant een domein registreer staat deze op naam van Zaph, en niet dat andere bedrijf.

 

Geef je jezelf dan als eigenaar en als registrant op?

 

Perry

 

[perry]

 

geplaatst door arrowhead

Alleen sommige grote bedrijven hebben de IP-nummers op eigen naam staan.

Dat is in ieder geval iets.

 

De gebruikelijke manier om gedrag van individuen op je website te volgen is gebruik te maken van cookies. Daarbij zul je het individu met de een of andere slinkse truc zijn identiteit moeten ontfutselen. Via de logfiles van de webserver kom je daar niet achter

 

Waarschijnlijk ziet het rapport met die cookie informatie er wel weer heel varierënd uit neem ik aan?

 

mmm gelukkig nog niet zo eenvoudig:-)

 

Perry

[Gast arrowman]

Waarschijnlijk ziet het rapport met die cookie informatie er wel weer heel varierënd uit neem ik aan?

 

Que? Dat hangt helemaal af van de software die je gebruikt om het rapport te maken, hoe die geconfigureerd is etc. Zie de handleiding van de betreffende software.