Dynamische pagina´s en Google

[WelleKe]

Gisteren zag ik een bericht verschijnen op een discussielijst waarop ik ben geabonneerd waarin melding werd gemaakt van problemen die dynamische websites zouden hebben bij de registratie bij Google.

 

Doordat er voor deze pagina´s (vaak) vraagtekens worden gebruikt in de code (php?CID=6) kan Google niet met die pagina´s overweg en ziet hij ze niet als content pagina´s.

 

Dat is natuurlijk heel vervelend. De indexpagina wordt dan wel geregistreerd door Google maar alle interessante vervolgpagina´s worden niet meegenomen en dat is een gemiste kans.

 

Wisten jullie dit en belangrijker, wat hebben jullie eraan gedaan?

 

[zrski]

Het is inderdaad al een tijd zo. Oudere search engines werden soms helemaal volgespammed door fora. Deze fora kwamen bijna bij ieder onderwerp naar boven en dat kwam de resultaten niet ten goede.

 

Er zijn allerlij verschillende trucjes die je toe kan passen, ik zelf denk dat je de statische pagina's gewoon goed moet optimaliseren.

[H.]

Je kan daarvoor je serverinstellingen aanpassen, zodat niet met vraagtekens gewerkt wordt, maar met virtuele paden.

Je krijgt dan niet meer http://www.domain.tld/viewthread.php?id=36&page=5

maar bijvoorbeeld http://www.domain.tld/viewthread/36/5/index.php

 

Die worden door zoekmachines gewoon geindexeerd, omdat ze "denken" dat dat aparte pagina's zijn.

Je kan hiermee nog een truukje uithalen, namelijk een keywords in je urls verwerken:

 

http://www.domain.tld/viewthread/36/5/ondernemen/starters/index.php

 

Die variabelen doe je dan verder niets mee, maar de searchbots geeft er wel een extra waardering voor.

 

Een andere mogelijkheid is je site "bot-aware" te maken. Als er van een browser een request voor

een pagina komt, wordt (meestal) de browsernaam en versie meegegeven.

Als dat dan niet Mozilla/Opera/Lynx/whatever is, maar GoogleBot kan je een andere pagina tonen.

Dit laatste is alleen niet 100% legaal geloof ik of in ieder geval kan Google je volledig

verwijderen als ze erachter komen.

[zrski]

Werkt dat op alle php programma's?

[WelleKe]

Als dat dan niet Mozilla/Opera/Lynx/whatever is, maar GoogleBot kan je een andere pagina tonen.

Dit laatste is alleen niet 100% legaal geloof ik of in ieder geval kan Google je volledig

verwijderen als ze erachter komen.

It´s a thin line......

 

Ik ben alleen benieuwd of het verwijderen van het vraagteken uit de url voor de makers problemen oplevert. Veel CMS gebruiken dit gewoon en nu zouden ze dit moeten omzetten. Hoe kijken zij er tegenaan. Ben?

 

Het is inderdaad al een tijd zo. Oudere search engines werden soms helemaal volgespammed door fora. Deze fora kwamen bijna bij ieder onderwerp naar boven en dat kwam de resultaten niet ten goede.

Ik vond het wel handig om fora als resultaten te krijgen. Inmiddels gebeurt dat steeds minder en zo kom ik niet veel verder. Fora zijn mooi omdat je daar meteen met mensen van doen hebt. Maar goed ik kan me ook wel voorstellen dat het irritant is als je bij elke zoekoptie eerst door 3 pagina´s met resultaten van een forum moet bladeren...

[H.]

Werkt dat op alle php programma's?

Niet zondermeer. Zoals ik al zei moet je dat bij je server instellen.

 

Die methode heet overigens multiviews.

[R.I.P. - Benm]

Doordat er voor deze pagina´s (vaak) vraagtekens worden gebruikt in de code (php?CID=6) kan Google niet met die pagina´s overweg en ziet hij ze niet als content pagina´s.

 

Kan naar het rijk der fabelen, de meeste engines, waaronder google, alltheweb, altvavista, ilse, etc. indexeren urls gewoon incl het ?.

 

Check bijvoorbeeld:

http://www.google.com/search?hl=en&lr=&ie=UTF-8&oe=UTF-8&safe=off&q=webchemistry+offerte

 

Je ziet hier 2 url's inclusief de request geindexeerd staan.

 

Een andere mogelijkheid is je site "bot-aware" te maken. Als er van een browser een request voor een pagina komt, wordt (meestal) de browsernaam en versie meegegeven.

Als dat dan niet Mozilla/Opera/Lynx/whatever is, maar GoogleBot kan je een andere pagina tonen. Dit laatste is alleen niet 100% legaal geloof ik of in ieder geval kan Google je volledig verwijderen als ze erachter komen.

 

Dat kan inderdaad. Overigens zonder de browser-signature te checken, google's spiders staan keurig geregistreerd als .google. domeinnamen, ik zie ze in mn cms-statistieken regelmatig langskomen. Ik zou niet weten wat er 'illegaal' is aan het specifiek tonen van content aan specifieke domeinen, landen of browsers, maar search engines hebben evengoed altijd het recht je te verwijderen.

 

[zrski]

Nou het is toch al jaren een issue, je kan volgens mij niet met zekerheid zeggen dat alles na het ? geindexeerd wordt, anders zou higherlevel al veel meer geindexeerd zijn volgens mij.

 

De werking van de zoekmachines is trouwens hun grote geheim dus preciese info is bijna niet te vinden.

 

Wat vinden de SEM specialisten hiervan?

[paulmatthijs]

die maskeeroptie in de url (niet iets van php, maar van apache) is zeker een oplossing, en nog een mooie ook mijns inziens. tweakers.net werkt ook op deze manier.

[R.I.P. - Benm]

Nou het is toch al jaren een issue, je kan volgens mij niet met zekerheid zeggen dat alles na het ? geindexeerd wordt, anders zou higherlevel al veel meer geindexeerd zijn volgens mij.

 

Dat kun je inderdaad niet met zekerheid zeggen. Je kunt ook niet met zekerheid zeggen dat iedere pagina die in plain html online staat geindexeerd wordt. Wat ik wel met zekerheid kan zeggen is dat de aanwezigheid van de querystring met ? en & tekens geen technische belemmering vorm bij het indexeren - ik weet uit ervaring dat dit soort pagina's worden opgenomen, en heb al een voorbeeld laten zien.

 

Nu zie ik dat bij HL de querystring gescheiden wordt met ; in de url - misschien dat dat problematischer is?

 

die maskeeroptie in de url (niet iets van php, maar van apache) is zeker een oplossing, en nog een mooie ook mijns inziens. tweakers.net werkt ook op deze manier.

 

Het is wel een aardige optie inderdaad, maar eigenlijk volstrekt onnodig. Ik zou werkelijkwaar niet inzien waarom zoekmachines pagina's met ?-urls niet zouden indexeren: Veel sites werken ermee, het is zeker geen gereedschap dat vnl. door search-engine-spammers wordt ingezet...

[Alef Arendsen]

Mijn robots.txt geeft alleen maar disallows aan, bouw alleen maar bedrijfsapplicaties, die mensen niet graag ge-indexed zien ;D

 

Overigens gebruik ik die virtuele paden (al noem ik ze niet zo, en laat het ook niet door apache regelen) wel heel erg veel, omdat je iets gemakkelijker op paden kunt beveiligen, dan op query strings...

[Gast Verwijderd account]

Aleph, als je paden virtueel zijn, dan zijn ze toch ook een query string?

 

Naast de vraag of zoekmachines pagina's met ?id=blaat wel of niet indexeren, vind ik het ook gewoon mooi als een website werkt met paden. Je krijgt dan tenminste leesbare url's die logisch en zelfs te onthouden zijn.

 

Ik heb een keer een website met virtuele paden gemaakt door met de mod_rewrite module van Apache simpelweg alles naar index.php te sturen, die vervolgens uit een XML bestand waar de structuur van de site in staat het pad probeert te zoeken. Het zou ook goed kunnen met een boomstructuur in MySQL, als is de code daarvoor wel iets ingewikkelder dan voor het parsen van een XML bestand, en lastiger 'met de hand' aan te passen.

[WelleKe]

Ik merk alweer dat het hele verhaal mij te technisch wordt, maar wat ik uit de verhalen kan opmaken is dat het wel te omzeilen is. Dan laat ik dit topic maar eens lezen aan mijn collega die verantwoordelijk is voor technische zaken. Die zal het neem ik aan wel kunnen volgen :P

[Wilbert Philippo]

Of je neemt gewoon een goed SEM bureau in de arm. Heb er zelf uitstekende ervaringen mee. Je kunt nooit zelf op tegen jongens die de hele dag niets anders doen....

[Hans S]

SEM bedrijven maken vaak gebruik van niet zo'n nette middelen (google spam b.v.), dit is niet erg handig: zoekmachines kunnen je adres dan bijvoorbeeld blokken. Ook zijn ze meen ik niet echt goedkoop, als klein bedrijfje kun je jezelf dit niet zo vaak veroorloven. Een werknemer inschakelen die je website optimaliseert kan vaak tot hele goede resultaten leiden en relatief weinig kosten.

[R.I.P. - Benm]

Een werknemer inschakelen die je website optimaliseert kan vaak tot hele goede resultaten leiden en relatief weinig kosten.

 

Als die anders toch maar zit te duimendraaien natuurlijk wel. Maar een specialist zal vast betere resultaten boeken dat een newbie, er zijn gewoon een aantal tips & tricks die je niet zo 123 doorhebt. Ik betwijfel overigens of de serieuze SEM bedrijven aan het spammen slaan, het lijkt me van niet. Het gaat er vaak om dat je relevante bezoekers wilt, niet alle mogelijke bezoekers, of ze nou geinteresseerd zijn of niet.

 

[Persoon]

Na vele maanden tobben komt mijn site wel naar boven in Google, maar dat betreft alleen de index en de rsi-scan (die een aparte plaats op de server heeft). Gewone pagina's vind ie niet en worden ook (nog) niet geindexeerd.

 

Ik ben al lange tijd op zoek naar een goede oplossing, misschien dat bij mij toch de vraagtekens een probleem vormen?

[WelleKe]

Buiten dat er heel vervelende spelers in de SEM markt zitten is het natuurlijk voor ons een beetje onzinnig om eerst een website te ontwerpen waarbij we gebruik maken van dynamische content aangeroepen door een string met een vraagteken om het vervolgens door een SEM bedrijf te laten wijzigen.....

 

Als we weten hoe we het tegen kunnen gaan dan moeten we dat doen. Alleen ik begrijp van Ben dat hij er geen problemen mee heeft.

Voor een Gallery houder waarvoor wij een website hebben gebouwd is het van belang dat zijn website te vinden is op de verschillende kunstenaars die in zijn database staan. Vandaar dat ik me aan het verdiepen was in de werking van o.a. Google bij dynamische pagina´s.

[Gast Verwijderd account]

Of je neemt gewoon een goed SEM bureau in de arm.

 

Hmm, meestal worden er niet zulke nette middelen gebruikt door dergelijke bureautjes. Google spam zoals Hans S noemde is veelgebruikte methode, maar eigenlijk weinig anders dan ordinaire oplichting (je lokt mensen onder (min of meer) valse voorwendselen naar je site). Als je je content op een (voor mensen) duidelijke en logische manier op je website plaatst, zullen de meeste zoekmachines dat ook waarderen.

 

Ik weet verder niet zo heel veel van SEM, maar ik weet wel dat de website van een open source project waar ik aan meewerk het 2e resultaat is van de circa 58 miljoen, als je zoekt op de naam van het project (een generiek Engels woord).

[Gast Verwijderd account]

Ik ben al lange tijd op zoek naar een goede oplossing, misschien dat bij mij toch de vraagtekens een probleem vormen?

 

Ik heb even naar je site gekeken en volgens mij zijn de vraagtekens het probleem niet. Er zijn wel een aantal andere zaken waarvan ik vermoed dat ze een negatieve invloed hebben op de indexering van de site.

• Het gebruik van (i)frames (Zelfs al worden je pagina's goed geindexeerd, een gebruiker die er via een zoekmachine terecht komt krijgt een enkele pagina, en mist de rest van de website. Frames zijn nooit nodig)
  
• Het gebruik van afbeeldingen voor links, zelfs zonder 'alt' attribuut. (Volgens mij kijken zoekmachines ook naar hoe de links naar bepaalde pagina's genoemd worden. Denk vanuit de zoekmachine: wat staat er op een pagina waarnaar gelinkt wordt met een plaatje, zonder alt, en waarvan de url op 'content.php?cid=11' eindigt? Kijkend naar de content komt de zoekmachine dan een tegen die op elke pagina het zelfde is. Dan heb je dus al minstens 3 kansen gemist, en blijft voor de zoekmachine echt alleen wat content over om te analyseren.)
  
• Incorrecte HTML (Ongecodeerde quotes, lege GET variabelen, & ipv & in links, etc.)
  

 

Verder lijkt content.php soms te crashen. Als ik het content frame maximaliseer (in Opera: rechter muisknop, frame, maximize), zie ik alleen maar "

[Wilbert Philippo]

Over het algemeen zullen de betere SEM clubs zeker niet aan spamming doen. Toen ik mij aan het orienteren was hebben alle bureau's waar ik mee gesproken heb nadrukkelijk aangegeven dit niet te willen doen. De bureau's communiceren zelfs direct met met de diverse zoekmachines over de hanteren methoden.

 

Als je een dynamische site hebt gebouwd en allerlei ingewikkelde truc's moet uithalen om deze goed geindexeerd te krijgen kan het juist interessant zijn om een SEM club in te schakelen. Zij kunnen b.v. z.g.n. 'cloaking' pagina's maken op eigen servers op een gelijkend domein en die doorlinken naar je eige site. Zo blijf je dus helemaal van je eigen site en domein af. Mocht er dan toch nog iets fout gaan kun je met een ander domein gewoon opnieuw beginnen.

 

Belangrijkste reden om met een SEM in zee te gaan is wel de 'linkingpopularity' die m.n. voor Google zwaar meetelt. Deze bureau's beheren natuurlijk meerdere site's en meerdere pagina's. Wat zij zullen doen is de url van jouw site op al deze andere site's plaatsen. Hiermee vergroot je de kans dat je hoog scoort enorm. Omgekeerd zullen zij ook de links van hun andere klanten op jouw pagina's plaatsen, maar dit gebeurd allemaal onzichtbaar.

 

Het is vooral belangrijk te weten of je veel concurrentie hebt op de woorden waarop je gevonden wilt worden. Voor hele specifieke woorden in heel kleine niche markten zal het veel minder moeilijk zijn om hoog te scoren dan in grotere markten waar grote en slimme jongens actief zijn.

 

Ook over de kosten valt wel wat te zeggen: sommige bureau's werken op basis van CPC (cost per click) voor kleinere bedrijven is de inverstering dan zeer beperkt. Aangezien de ROI van SEM enorm is zal dit bijna altijd positief uitwerken.... ;D

[Hans S]

OkiDoki, waar je het over hebt is wel degelijk spamming. Door die trucjes komen sites bovenaan bij de zoekresultaten te staan waardoor de zoekresultaten niet meer betrouwbaar zijn. Je kunt eraan mee doen, maar het is niet echt ethisch verantwoord.

[WelleKe]

Volgens mij wordt Cloaking nou net niet gewaardeerd door Google....

[Wilbert Philippo]

OkiDoki, waar je het over hebt is wel degelijk spamming. Door die trucjes komen sites bovenaan bij de zoekresultaten te staan waardoor de zoekresultaten niet meer betrouwbaar zijn. Je kunt eraan mee doen, maar het is niet echt ethisch verantwoord.

 

Dit is dus absoluut niet spamming :-\. Spamming is als je hoog probeert te scoren met zoekwoorden die geen relatie hebben met het product dat je levert. Ik scoor alleen hoog met zoekwoorden die een heel duidelijke relatie hebben met product dat ik lever. Dat is een duidelijk verschil. Anders zou niemand ook maar iets aan optimalisatie van je site kunnen doen omdat het al meteen spamming zou zijn......

 

Cloaking op zich is wel discutabel Welleke, dat ben ik met je eens. Maarja als je site zodanig (dynamisch) is opgebouwd dat hij niet te indexeren is door zoekmachines moet je wat. Iets wat ze overigens inmiddels ook al wel doorhebben bij Google CS.

[Hans S]

Als je door middel van cloaking en linkfarms je ranking wilt verhogen, dan noem ik het toch spam. Je kunt er natuurlijk over twisten, omdat de keywords ontopic zijn. Toch vind ik het spam, want ik vind die zoekresultaten op een ongewenste plaats staan.

 

Nu nemen we als voorbeeld het keyword "lening", naar het schijnt een vrij populaire zoekterm en een markt waar hevige concurrentie in is. Dan vind ik op plaats 2 de volgende url: http://www.lege.nl/ Als ik dan naar de site ga dan tref ik de site aan van DSB direct. De url lijkt me dus al niet echt logisch. Als ik dan in de broncode van het html bestand kijk zie ik een verwijzing naar een javascript tellertje (SEO bureau vraagt waarschijnlijk geld per klik) naar de url: http://www.online-data.nl/ Via sidn kom ik erachter dat het op naam staat van een SEO onderneming.

 

Overigens kan ik het me wel gedeeltelijk voorstellen dat bedrijven aan spamming doen, want het levert veel op. En als je concurrenten het doen, tsja waarom zou jij het dan niet doen? Maar toch vind ik dat je met optimalisatie alleen al ver kunt komen, je bereikt EN een hoge positie EN je vernaggelt de zoekresultaten niet.

 

[Gast Verwijderd account]

Ik sluit me helemaal bij Hans S aan. Cloaking en linkfarms zijn min of meer 'onethische' manieren om hoge notaties bij zoekmachines te scoren, en zodanig 'spam'.

 

Overigens gebruikt Higherlevel ook deze techniek. Ongeveer 1/6 van de bezoekers komt binnen via ondernemingsplan_bedrijfsplan.html, een pagina die alleen te bekijken is als je JavaScript uitzet. Zoals gezegd levert het dus wel wat op, in termen van bezoekers dan.

 

Hoeveel het werkelijk oplevert in termen van vaste bezoekers en actieve leden is niet eenvoudig te meten, maar natuurlijk wel waar het uiteindelijk om gaat.

 

Als ik in een Google resultaat mijn zoekwoorden in een aannemelijk context dik terug zie, maar op het moment dat ik de pagina open geredirect word, of gewoon op een totaal andere pagina kom, dan kijk ik niet eens verder, en maakt de website op mij een onbetrouwbare indruk.

 

Wil je toch graag duidelijk genoteerd worden bij bepaalde zoekwoorden, dan zou ik gewoon ad-words bij Google kopen, in plaats van aan een dubieus SEM bedrijf doneren.