Geautomatiseerd modereren ?

[malamut]

N.a.v. de vraag van Karen Romme over de vertraging m.b.t. het plaatsen van reacties en een project waarmee ik bezig ben, komt bij mij de volgende gedachte bovendrijven:

 

Waarom is er nog geen geautomatiseerd moderatiesysteem uitgevonden ?

 

In de USA heeft 1 op 3 grote bedrijven reeds een bedrijfsblog met reactiemogelijkheid. Het moet een godsvermogen kosten om de reacties op deze blogs te modereren dus een systeem dat automatisch modereert, zou goudgeld kunnen opbrengen. Met automatsche taalanalyse moet het inmiddels toch wel mogelijk zijn om spam en "onverzorgd taalgebruik" automatisch uit de reacties te filteren?

 

 

 

 

[nonex.nl]

Maar dan krijg je weer trucjes zoals Geenstijl toepast om filters op bedrijfsnetwerken te ondervangen. 'Neuqen' , 'p0rn0' , en 'heaumeau' wordt niet alleen zo geschreven omdat het mooie proza oplevert, maar ook om woordfilters te ondervangen.

 

Uit wikipedia:

 

In de loop der jaren is er een eigen taaltje ontstaan op GeenStijl. Veel woorden zijn overgenomen uit dialecten, straattaal of ander jargon. Enkele van deze woorden worden als algemeen geaccepteerd onderkend, en opgenomen in het Van Dale Jaarboek Taal 2007[5].

 

Een van de kenmerken van het GeenStijltaaltje is het gebruik van alternatieve spellingswijzen, zo wordt o gespeld als eau (heaumeau, feauteau, zeau), k soms als q (neuqen) en i soms als y (geyl). Ook worden netnummers gebruikt als plaatsaanduiding, bijvoorbeeld 010 voor Rotterdam, 0031 voor Nederland (Regeltjes hebben we in 0031 genoeg). Op grammaticaal gebied wordt de gebiedende wijs vaak vervangen door een constructie met doen als hulpwerkwoord (vgl. doe eens ophouden en houd eens op!). Enkele bekende op GeenStijl gebezigde termen en woorden zijn:

 

Ga eens dood! - veelgebruikte verwensing

Hakbar - extremistische moslim

Hakbar-boem - aanslag door een extremistische moslim

Kaalkopje - extreemrechtse jongere

Pliesie - politie

Reaguurder - bezoeker van GeenStijl of ander weblog die reageert op een post op het weblog

Stoppen met roken/gestopt zijn met roken - overleden zijn

[djluc]

Maargoed, stel dat je hiermee alvast een groot gedeelte weghaalt (zeker als je een lerend filter gebruikt) kan het toch op de grote aantallen een hoop tijd schelen.

[Nico Schouten]

Ik ben een aanbieder van ....

Ik ken een aanbieder van.....

Ik weet een aanbieder van.....

 

Hoe ga je bovenstaande zinnen automatisch modereren ?

[malamut]

Maar dan krijg je weer trucjes zoals Geenstijl toepast

 

Zou dit niet via statistische analyse af te vangen zijn ? Ik stel mij zo voor dat bij meer dan x% taalfouten het bericht alsnog door een mens wordt bekeken (inclusief vertraagde plaatsing).

 

[willemj]

Waarom is er nog geen geautomatiseerd moderatiesysteem uitgevonden ?

 

Die zijn er al en werken niet (goed).

 

Het NRC heeft een blog over koken. Ik, als kookgek, ben gaan reageren toen ik dit blog ontdekte. Leuk, en kreeg ook reacties van de blogger haarzelf. Geen spam ofzo dus. Mijn reacties moesten ook eerst door een mens beoordeeld worden voor publicatie. Na deze controle kwam er echter ineens een geautomatiseerd filter dat vond dat ik te snel reageerde (alsdus de reactie van de blogger) en al mijn reacties verwijderde.

 

Automatisch moderen kan en werkt zolang je een (klein) percentage foute positieven (reacties die geen rommel zijn maar wel zo gezien worden door je 'modereersysteem') voor lief neemt. En neem van mij aan dat ik als plaatser van die verwijderde berichten niet blij ben en al her en der m'n negatieve gevoelens geuit heb. Niet goed voor je site.

 

Automatisch moderen kan dus zeker al moet je je afvragen of je het wilt toepassen. Een regel bedenken (als te vaak reageren) die rommel ('lees mijn recepten') onderscheidt van informatieve reacties ('je kunt in dit recept beter venkel gebruiken, lees mijn recept hier') is verdomd lastig.

[Karen]

Malamut,

 

Misschien moet je eens contact opnemen met Marco Derksen van www.marketingfacts.nl. Dat is een nogal drukbezochte weblog op het gebied van (interactieve) marketing. Ik spreek Marco wel eens en weet dat hij samen met de technische mensen regelmatig bezig is om 'foute' berichten er zoveel mogelijk automatisch uit te filteren. Want drukbezocht betekent tegenwoordig automatisch veel zooi...

[willemj]

Ik spreek Marco wel eens en weet dat hij samen met de technische mensen regelmatig bezig is om 'foute' berichten er zoveel mogelijk automatisch uit te filteren. Want drukbezocht betekent tegenwoordig automatisch veel zooi...

 

En waar leg je dan de grens tussen 'foute zooi er uit filteren' en 'zinvolle bijdragen verwijderen'?

 

Ben techneut en ken het gebruik van zulk soort filters om spam te filteren. Met succes. Maar houd in je achterhoofd dat zo'n filter te streng kan zijn met het gevolg dat de plaatser van een bericht niet blij is/blijft.

[renep]

Waarom is er nog geen geautomatiseerd moderatiesysteem uitgevonden ?

 

Ik denk om dezelfde reden als waarom er nog geen zoekmachine is die je vraag begrijpt, geen vertaalcomputer etc.: het algoritme voor intelligentie is nog niet ontdekt.

 

Met automatsche taalanalyse moet het inmiddels toch wel mogelijk zijn om spam en "onverzorgd taalgebruik" automatisch uit de reacties te filteren?

 

Tsja, er bestaan inderdaad redelijke e-mailspamfilters. Zouden die ook op forumberichten werken? Ja, misschien wel. Al is mijn spamfilter 'lerend' (Bayesiaans) en ik zie niet 1-2-3 hoe je dat betrouwbaar collectief kunt doen op een forum.

 

Misschien op de Slashdot-manier, met ranking, moderatie en meta-moderatie.

[malamut]

@technico

 

Het duidelijk dat klassieke tekstvergelijking en en op regels gebaseerde systemen hier falen. Er zou dus een slimmer systeem ontwikkeld moeten worden die de context begrijpt en "omgevingsbewust" is.

 

Hoe gaat een HL-moderator nu te werk bij een ongewenst bericht ?

Je ziet bijvoorbeeld dat de verzender zich 5 minuten voor dat het bericht werd verzonden heeft aangemeld. En een whois-check vertelt je dat de website waarna in het bericht verwezen wordt het zelfde is als het ip-adres waar vanwaar de verzender zich heeft aangemeld. De conclusie die dan kan volgen is een aanpassing/verwijdering van het bericht.

 

Dit soort checks kun je ook automatisch laten uitvoeren. Vervolgens kun je de verzender automatisch een bericht sturen dat het bericht niet conform de regels van het forum is opgesteld en een verzoek om het bericht aan te passen. Is de verzender het hier niet mee eens dan kan het bericht worden doorgestuurd naar een moderator . Dit laatste is belanrijk omat je nooit voor 100% op een systeem moet vertrouwen omdat er altijd uitzonderingen mogelijk zijn.

 

@willemj

Het systeem van de NRC faalt omdat er geen mogelijkheid wordt geboden voor een second opinion.

 

@Karen

Ik ben bekend met Marketingfacts. Ik "dreig" door mijn huidige project steeds dieper in de wereld van de marketing verzeild te raken. Erg fascinerend voor iemand met een ict-management achtergrond. Een oplossing voor het automatisch modereren verwacht ik echter niet uit die hoek. Maar je bevestigd wel mijn stelling dat er grote behoefte aan een dergelijk systeem is.

 

@Rene

Omdat de vraag naar een geautomatiseerd moderatiesysteem explosief stijgt en de automatische taalanalyse systemen tot steeds meer in staat zijn, is mijn verwachting dat het niet lang meer zal duren voordat de eerste "contextbewuste" systemen op de markt zullen komen.

Al zouden ze maar 50% van de ongewenste berichten afvangen, dan zou dit al een enorme besparing opleveren.

 

 

[Nico Schouten]

Om te beginnen is het denk ik goed om even onderscheid te maken tussen een blog en een forum.

Op een blog zullen meestal mensen reageren aan de hand van één artikel. Een reactie is vaak kort en kan bij veel blogs min of meer anoniem gepost worden. Het lijkt mij dat je daardoor twee soorten reacties krijgt.

1 To the point reacties over het besproken onderwerp.

2 Onzin reacties die je met een klik zou kunnen deleten.

Lijkt mij een taak voor de auteur, op die manier kun je de load verdelen.

Onzin reacties kun je inperken door hogere of meer eisen te stellen bij het plaatsen van een reactie. bijvoorbeeld verplichte registratie met een emailcheck. Hoe hoger de drempel hoe minder reacties, het is dan natuurlijk een afweging hoe hoog je de lat legt voor spammers en voor serieuze posters.

 

Op een forum speelt een ander soort dynamiek.

Fora zijn veel meer vraagbaken, anders dan een blog waar meestal een mening wordt verkondigd.

Het forum is mede door zijn functionaliteit meer geschikt voor discussie dan een blog omdat mensen nu eenmaal verschillende meningen kunnen hebben en die ook graag verkondigen.

Je krijgt dan dus uiteen liggende meningen, een dergelijke discussie loopt soms uit in een flame. Meestal is het de forumcommunity die voor een soort van sociale druk zorgt dat dit soort dingen redelijk binnen de perken blijven, al is en blijft moderatie noodzakelijk.

 

Daarnaast heb je nu natuurlijk de onzin berichten, maar hoe meet/weet je of een bericht in de context van de discussie nu weinig zeggend is of niet. Daarvoor is het vaak wel noodzakelijk om de discussie in het juiste perspectief te zien.

 

En dan de spam/bijna spam/ zinvolle spam berichten.

Het is op Higherlevel niet altijd even makkelijk.

In het geval dat mensen puur hun product posten/dienst posten en vervolgens direct naar hun website doorverwijzen dan is het in 98% van de gevallen pure spam die dus verwijdert wordt.

Daar zit grijs gebied in, iemand met een hoge postcount en veel inhoudelijke reacties zal in dat geval anders benadert worden dan iemand die zoiets als eerste post plaatst.

De volgende stap, maar waar ligt de grens, zijn de verhaaltjes die iets toevoegen aan de draad en eindigen met een verwijzing naar een website. In sommige gevallen heel terecht omdat het onderwerp veel te specifiek is voor HL en het dus min of meer acceptabel is dat zoiets gebeurt.

En dan heb je de "spam" van iemand die een adres plaatst van een instantie of wat dan ook die de topicstarter verder kan helpen omdat het buiten de fuctionaliteit valt. Ik bedoel bijvoorbeeld een verwijzing naar een branche vereniging omdat de persoon daar lid van wil/kan worden.

 

Zou trouwens leuk zijn, een aanmeldingsportal voor ondernemers.

Btw/KvK/AIVD/ enz enz waar je alles in een webformulier vind.

 

 

Het duidelijk dat klassieke tekstvergelijking en en op regels gebaseerde systemen hier falen. Er zou dus een slimmer systeem ontwikkeld moeten worden die de context begrijpt en "omgevingsbewust" is.

 

Hoe gaat een HL-moderator nu te werk bij een ongewenst bericht ?

Je ziet bijvoorbeeld dat de verzender zich 5 minuten voor dat het bericht werd verzonden heeft aangemeld. En een whois-check vertelt je dat de website waarna in het bericht verwezen wordt het zelfde is als het ip-adres waar vanwaar de verzender zich heeft aangemeld. De conclusie die dan kan volgen is een aanpassing/verwijdering van het bericht.

 

Een mooi voorbeeld is meteen het onderstaande bericht.

Nu duidt het tijdstip er niet op dat Peggy vanaf een werkadres mailt, maar dit had een voorbeeld kunnen zijn van een spammelding.

Ze promoot immers een activiteit van haar eigen organsatie.

 

:) Hoi Allemaal,

Wij controleren oa sieraden, horloges ed. voordat het in de verkoop gaat.

En ik heb even een tip voor mensen die zilveren en gouden sieraden willen verkopen, zowel op internet als in een winkel of op een markt.

 

In Nederland moet goud en zilver aan wettelijke eisen voldoen. Er moet een keurmerk of stempel instaan. .......knip .......

 

Kijk anders ook een kijkje op:http://www.waarborg.nl/index.html

 

Groetjes Peggy

 

 

 

Dit soort checks kun je ook automatisch laten uitvoeren. Vervolgens kun je de verzender automatisch een bericht sturen dat het bericht niet conform de regels van het forum is opgesteld en een verzoek om het bericht aan te passen. Is de verzender het hier niet mee eens dan kan het bericht worden doorgestuurd naar een moderator . Dit laatste is belanrijk omat je nooit voor 100% op een systeem moet vertrouwen omdat er altijd uitzonderingen mogelijk zijn.

 

 

In bovenstaand voorbeeld zou de auteur er denk ik al niet meer uitkomen, en het bericht misschien wel laten voor wat het is, jammer, want daardoor gaat er toch informatie verloren.

 

Wat ik mij verder afvraag, door actief door mensen te laten modereren heb je toch als mod feeling met het forum. Je weet wat er speelt, weet wat er aan vragen voorbij komt en grofweg wat voor soort bezoekers er zijn. Dat bij elkaar creeert een forumcultuur/sfeer, de toonstelling van reacties kunnen een forum echter maken of breken.

Dus naast goed en fout heb je dus eigenlijk ook een sfeerfilter nodig, een sfeerfilter dat ook nog een sarcasmeproof zou moeten zijn.

 

Ik hoop dat we zover niet hoeven te gaan, het lijkt mij volstrekt onwenselijk als elke dynamiek uit de wereld van internetcommunicatie gehaald gaat worden.

 

EDIT

Een wat moet je met dit soort totaal off topic berichten ?

He mannen,

 

Ik ben afgelopen zaterdag wezen vissen op de waal,drie avonde gevoerd met mais en boilies,nu is het probleem ik heb 4 winde's gevangen en geen karper beet gehad.iemand ideeën of tips want ik word er gek van ??? ??? >:(

 

vissende groet michiel

 

Ik leef want, ik vis!

 

Hoe vis je dit soort off topic berichten eruit ?

 

[R.I.P. - Benm]

Eerlijkgezegd denk ik dat het nut voor higherlevel (en dergelijke fora) van zo'n systeem beperkt is.

 

Scheldkannonades kun je wellicht best blocken met filters, maar ongewenste content heeft hier vaak een heel andere aard. Bijvoorbeeld mensen die schaamteloos hun dienst, product of bedrijf proberen te pluggen. Of mensen die tegen de regels in hier openlijk financiering zoeken.

 

Ziets is veel moeilijker automatisch te detecteren, maar vormt feitelijk het meerendeel van de ongewenste bijdrages. Automatisch modereren is denk ik meer geschikt voor chats en dergelijke waarbij je vooral ongewenste woorden of zinsdelen wilt weren.

[TwaBla]

 

Professionele moderation agencies zoals Tempero, Chatmoderators, eModeration en Knexus in Londen werken met systemen die nieuwe bijdragen aan games, blogs en fora voortdurend scannen op bepaalde woordcombinaties. Er is de nodige ervaring opgedaan, ondermeer om pederasten weg te houden van kindercommunities.