Vraag voor specialisten (over “Google en zo”…)

[4711]

Volgens mij is dit een hele moeilijke, nogal specialistische, vraag:

 

 

In principe wil ik (wie niet, zou je bijna zeggen!) dat Google zo veel mogelijk van de (dynamische) pagina’s van een website indexeert.

 

Er zijn een kleine 40 duizend (courante) records in de database. Op dit moment worden er ’slechts’ zo’n 6 duizend via de website getoond, want de andere 34 duizend bevatten niet alle benodigde (zoek)gegevens die gebruikt kunnen worden op de site. Die worden dus ‘overgeslagen’ bij het selecteren van de output.

 

Maar toch zijn dat (de 'andere 34 duizend' dus) op zich ook prima gegevens, die dan ook wel “een indexering” niet zouden 'misstaan' eigenlijk.

 

 

Dan is de vraag wat handig is om te doen met:

 

A.) De sitemap.

 

- Ik kan kiezen om alleen de 6 duizend die via de website (de interface dus) gevonden kunnen worden te 'submitten' richting het 'crawl-gebeuren' in Google.

 

- Of de 40 duizend te 'submitten'.

 

(Dat gebeurt door een query in de sitemap.php overigens: alles, of een bepaald gedeelte, dus).

 

B.) De website zelf.

 

Daarnaast is de vraag of het misschien toch handig is om via een soort ‘overzicht’ (dus niet via de zoekcriteria op de website!) alle 40 duizend records ‘crawlable’ te laten worden door via een link alles te tonen (wanneer daar op geklikt wordt).

 

 

Op dit moment zijn er een kleine 5 duizend pagina’s geïndexeerd. In potentie zou er een veelvoud hiervan mogelijk moeten zijn (door de verschillende zoekcriteria die resulteren in verschillende dynamische pagina’s) mits Google dat ‘zou willen’.

 

 

Iemand met een (verstandige) mening hierover?

 

Zelf heb ik niet (dat was toch wel intussen ook duidelijk…!) heel veel verstand van het crawlen en indexeren door Google, hoewel ik wel gemerkt heb dat het nogal cruciaal is.

 

[R.I.P. | Peter Bonjernoor]

Kun je wat meer vertellen over die records die nu niet online staan? Waarom niet, en in hoeverre ze relevant zijn, bijvoorbeeld? En hoe relateren ze tot pagina's - is 1 record 1 pagina?

[dArgent]

Zijn de 34.000 niet geindexeerde pagina's voldoende verschillend van de reeds geindexeerde?

Hebben ze wel "content"?

 

Indien ja, dan lijkt me dat je ze via de website ook bereikbaar, ‘crawlable’, moet maken, en in de sitemap kunt zetten.

 

Disclaimer: Er kan altijd onverwacht iets fout gaan.

 

Stel je vraag anders eens hier: https://www.webmasterworld.com/google/

 

[Hoofdgebruiker]

Hebben ze wel "content"?

Hebben déze wel content?

 

https://support.google.com/webmasters/answer/66361?hl=en

 

[Rik ·]

Het is altijd belangrijk om de crawl-fouten zelf (als site-beheerder) bij te houden voor je site:

via https://www.google.com/webmasters/tools/

 

Daar kun je ook de crawl-statistieken voor je site vinden.

 

Dan is de volgende vraag... loopt het aantal pagina's wel op?

 

Indien Google nog steeds nieuwe pagina's toevoegt aan de index voor je site heeft het opnieuw indienen van een eventuele sitemap geen zin. Het crawlen van deze hoeveelheid pagina's van één site is geen kwestie van een paar uur, dagen of zelfs weken. Ik denk dat dit een hele tijd kan duren.

 

Verder kan het inderdaad zijn dat Google de pagina's wel bezocht heeft maar niet index-waardig acht. Te weinig content of op elkaar lijken zijn inderdaad één van die redenen.

 

[4711]

Het is altijd belangrijk om de crawl-fouten zelf (als site-beheerder) bij te houden voor je site:

 

Er zijn geen 'crawl-fouten'.

 

Bedankt voor je reactie.

[R.I.P. | Peter Bonjernoor]

Ze denken dat de pagina's al online staan... ;)

[4711]

Zijn de 34.000 niet geindexeerde pagina's voldoende verschillend van de reeds geindexeerde?

Hebben ze wel "content"?

 

Zijn allemaal verschillende producten door diverse aanbieders.

 

Bedankt voor je reactie.

 

[4711]

Ze denken dat de pagina's al online staan... ;)

 

Ha PeterB,

 

Ik kom morgen terug met een reactie op jouw eerste bericht.

Ik moet er goed over nadenken, hoe ik het moet verwoorden (anders wordt het té vaag, te veel detail, enz...).

 

Het betreft inderdaad dynamische pagina's die gegenereerd worden op basis van de records in de database. Ik zou schatten (uit mijn duim) dat 1 record rond de 10 HTML-pagina's zou kunnen 'opleveren'.

 

Maar die "bestaan" natuurlijk niet als een xxx.html pagina op de site! Die worden gemaakt.

 

PeterE

 

[Rik ·]

Hoe zijn de huidige 6.000 pagina's overigens "gevonden" door Google? Zijn dit allemaal direct links geweest?

 

Ik neem even aan dat alle pagina's een "nette" url hebben. En niet site.php?artikel=123&modus=1&nogietsdergelijks

Google kan dat soort URL's wel indexeren maar ze hebben volgens mij niet de voorkeur.

 

Verder kun je inderdaad een sitemap file laten genereren. Let op, dit is iets anders dan een sitemap pagina waarop je alle URL's zet. De resulterende XML (of compressed XML) kun je dan submitten en dan maar afwachten.

A sitemap file can't contain more than 50,000 URLs and must be no larger than 50 MB uncompressed.

Je kunt echter ook meerdere sitemaps aanmaken.

 

(Op https://www.google.com/webmasters/tools kun je ook die sitemap file alvast aanmelden)

 

Een sitemap is wel de gewezen methode om (op normale wijze) "onbereikbare" pagina's te laten indexeren.

 

[4711]

Hoe zijn de huidige 6.000 pagina's overigens "gevonden" door Google? Zijn dit allemaal direct links geweest?

 

Ik neem even aan dat alle pagina's een "nette" url hebben. En niet site.php?artikel=123&modus=1&nogietsdergelijks

 

Het zijn inderdaad hele "nette URL's".

 

En die heeft G. helemaal zelf (nadat de site aangemeld werd) geïndexeerd.

 

[Hoofdgebruiker]

Zijn allemaal verschillende producten door diverse aanbieders.

Bedankt voor je reactie.

 

Let wel, de huidige pagina's zijn te dun, je kan deze beter eerst wat verbeteren, dan pas nieuwe toevoegen. Het gaat niet om de aanbieders. Dit soort pagina's worden haast niet meer vertoond. Google heeft hier een hele rits aan "softwareupdates" voor in werking gesteld om dit uit te bannen. Voeg nog meer van dit soort simpele pagina's toe en je maakt het probleem onoplosbaar. Ik denk dat je beter helemaal opnieuw kan beginnen ;D.

 

Meer info toevoegen, ik zie nu haast niets staan. Lijkt mij een beter plan, dan op de oude voet verder, tegen de stroom in te zwemmen. Ooit had ik een site'je waarop ik teksten massaal verborgen hield (verstopte) voor Bing, ben daarna gewoon uit de zoekmachine geknikkerd en bericht gekregen dat het ik de tekstjes zichtbaarder moest maken. Ik ben er een heel jaar mee beziggeweest, op een gegeven moment was de lol er vanaf.

 

Snel geld bestaat nog altijd niet. Ik zag toentertijd ook dollartekens in mijn ogen, logisch als student zijnde. Maar die werden helaas vervangen door tranen. (van verdriet) Nooit meer!

 

Het betreft inderdaad dynamische pagina's die gegenereerd worden op basis van de records in de database. Ik zou schatten (uit mijn duim) dat 1 record rond de 10 HTML-pagina's zou kunnen 'opleveren'. Maar die "bestaan" natuurlijk niet als een xxx.html pagina op de site! Die worden gemaakt.

 

Handmatig maken: prima, automatisch maken, niet: https://support.google.com/webmasters/answer/2721306

 

[4711]

Snel geld bestaat nog altijd niet. Ik zag toentertijd ook dollartekens in mijn ogen, logisch als student zijnde. Maar die werden helaas vervangen door tranen. (van verdriet) Nooit meer!

 

Volgens mij zitten wij niet helemaal op dezelfde golflengte.

("student" "dollertekens" ...?)

 

Maar toch bedankt voor je reactie.

[R.I.P. | Peter Bonjernoor]

Handmatig maken: prima, automatisch maken, niet...

Dat gaat over content - P heeft het over pagina's.

 

Daarnaast weten we niet over welke website hij het heeft (en dat maakt ook niet veel uit), dus de site in zijn handtekening analyseren is misschien wat prematuur.

[Hoofdgebruiker]

Volgens mij zitten wij niet helemaal op dezelfde golflengte.

("student" "dollertekens" ...?) Maar toch bedankt voor je reactie.

 

Ik begrijp wel wat je bedoelt (skip mijn verhaal maar), maar zoekmachines zijn niet dol op dit soort pagina's omdat ze te weinig waarde bevatten. Helemaal als er geen handmatig werk meer wordt verricht. Het zou wat zijn als je op een rode knop kon drukken: "spuug nu 1000 pagina's uit" en daar een boek op leggen, zodat hij pagina's blijft genereren. Zo werkt het niet, dat probeer ik aan te geven. Als het zo makkelijk geweest zou zijn, was iedereen rijk gewoon.

 

Daarnaast weten we niet over welke website hij het heeft (en dat maakt ook niet veel uit), dus de site in zijn handtekening analyseren is misschien wat prematuur.

Klopt.

 

[R.I.P. | Peter Bonjernoor]

Het zou wat zijn als je op een rode knop kon drukken: "spuug nu 1000 pagina's uit" en daar een boek op leggen, zodat hij pagina's blijft genereren.

Er wordt een 'specialistische' vraag gesteld, dus we kunnen er van uitgaan dat P de basics wel begrijpt...

 

[Rik ·]

Het gaat denk ik ook wel om de site uit de handtekening. Ik zie daar inderdaad 6.480 pagina's (op de site zelf via overzicht). Dus Google kan de overige 34.000 niet vinden.

 

Dit los je dan inderdaad via een sitemap op (omdat je zelf al aangeeft ze niet op te willen nemen in je overzicht). Zorg er wel voor dat de content van die pagina's goed is (want je gaf ook zelf al aan dat de benodigde (zoek)gegevens ontbreken).

 

(Tevens kwam ik een rare lege pagina tegen toen ik op een link in Google klikte, dus ook niet alle pagina's zijn in orde)

[R.I.P. | Peter Bonjernoor]

Dus Google kan de overige 34.000 niet vinden.

Die staan ook niet online - staat best duidelijk in de eerste post.

 

Sterker nog: da's zelfs de vraag - of hij ze wel of niet online zal zetten, en wat het effect daarvan zal zijn...

[TwaBla]

Er wordt een 'specialistische' vraag gesteld....

 

zijn er geen specialistische fora vol Google-deskundigen?

 

 

 

 

^{[Mod edit: offtopic term uit andere discussie aangepast]}