Onderzoek naar juridische zoekmachines: hoe vind je snel en efficiënt de meest relevante documenten?
Voor jou als juridisch professional is het zaak om snel tot de kern van een juridisch vraagstuk te komen. Daarnaast moet je er zeker van zijn dat de informatie die je vindt juist is, want jij bent verantwoordelijk als je je beroept op onjuiste informatie. Hoe zorg je ervoor dat je als juridische professional de juiste zoekresultaten te zien krijgt? Hierover spraken wij met Gineke Wiggers. Gineke is Business Analyst bij Legal Intelligence en promovendus aan de Universiteit Leiden, waar ze onderzoek doet naar zoektechnologie voor juridische professionals.
Je bent promovendus aan de Universiteit Leiden. Waar doe je precies onderzoek naar?
“In mijn onderzoek wil ik achterhalen hoe de ranking (volgorde) van zoekresultaten kan worden verbeterd als er gebruik wordt gemaakt van de wisdom of de crowd. Ik kijk hierbij met name naar citaties van- en clicks op documenten. Dat wil zeggen: hoe vaak een document in andere documenten wordt geciteerd en hoe vaak er in Legal Intelligence op een bepaald document wordt geklikt.
Deze twee factoren zijn beide belangrijk voor het bepalen van de relevantie van een document, maar moeten in balans zijn met andere rankingfactoren. Als ze elkaar versterken, komen de gewenste bronnen niet naar boven. De vraag is dan: hoe houd je deze factoren in balans ten opzichte van elkaar en de andere factoren van het ranking algoritme? Daarnaast wil ik weten vanaf wanneer die data betrouwbaar is.
Om tot een antwoord te komen, heb ik onder andere onderzocht waar gebruikers op letten als ze besluiten om op een zoekresultaat te klikken en wat de correlatie is tussen clicks en citaties. De data en informatie die ik vanuit Legal Intelligence heb verzameld, kan ik gebruiken in mijn onderzoek. Ik evalueer de data en mijn bevindingen kan ik vervolgens via Legal Intelligence toepassen in de praktijk.”
Je hebt een nieuw ranking algoritme ontwikkelt voor Legal Intelligence. Op welke manier heb je dat aangepakt?
“Samen met Roel van der Burg, toen een stagiaire en inmiddels Data Scientist bij Wolters Kluwer, heb ik een nieuw ranking algoritme ontwikkeld voor juridische zoekmachines. We zijn eerst op zoek gegaan naar een passende methode waarmee we ons onderzoek konden verifiëren. Na een jaar van onderzoek en een proces van eliminatie van onderzoeksmethodes, zijn we tot een model gekomen waarmee we kijken naar de moeite die het de gebruiker van een juridische zoekmachine kost om tot een zoekresultaat, oftewel antwoord, te komen dat voor hem/haar afdoende is.
Er zitten bepaalde aannames onder ons model. Bijvoorbeeld dat efficiëntie een voordeel is en dat gebruikers stoppen met zoeken als ze een bepaald punt van voldoening bereiken. We vinden dat we die aanname mogen maken, onder andere omdat juridische professionals per tijdsblok factureren en cliënten het waarschijnlijk waarderen als het werk in minder tijd gedaan wordt. Ons nieuwe model is veelbelovend, we worden er heel enthousiast van. Het lijkt een goede weergave van de tevredenheid van gebruikers.”
“Er zitten bepaalde aannames onder ons model. Bijvoorbeeld dat efficiëntie een voordeel is en dat gebruikers stoppen met zoeken als ze een bepaald punt van voldoening bereiken.”
Heb je grote wijzigingen doorgevoerd in het ranking algoritme van Legal Intelligence?
“Als je in Legal Intelligence zoekt naar een onderwerp dan kan dat al snel duizenden zoekresultaten opleveren. Daarom hebben wij ervoor gekozen om de Impactrelevantie toe te voegen aan het ranking algoritme. Hierdoor verschijnen de nuttigste documenten bovenaan en vinden de gebruikers snel de juiste informatie.
Een recente publicatiedatum woog soms wel erg zwaar mee bij de zoekresultaten en dat hebben we aangepast. Bij zoekopdrachten waarbij gezocht wordt naar de uitleg van leerstukken, willen gebruikers de klassieke arresten en documenten vinden. Omdat de datum zwaar meewoog kwamen die resultaten niet direct naar boven. Dit was een spannende wijziging, maar het leverde gelukkig vooral positieve reacties op.”
Hebben jullie het nieuwe rankingalgoritme ook getest?
“Een aantal actieve gebruikers, vaak werkzaam als Legal Information Specialist, hebben de ranking vooraf getest en er feedback op gegeven. Een van de overwegingen was dat gebruikers bang waren dat het gebruik van click data ertoe zou leiden dat de rankingen een vicieuze cirkel zou worden; op het bovenste resultaat wordt traditioneel het meest geklikt, als je alleen naar clickdata kijkt, dan blijft die altijd bovenaan staan.
We konden die zorgen wegnemen, doordat wij een aantal balanceerfactoren laten meewegen. Bijvoorbeeld door de clickdata te normaliseren op basis van vergelijkbare documenten, en door recent gepubliceerde documenten meer gewicht te geven. Daarmee wordt een vicieuze cirkel zo goed mogelijk voorkomen.”
In hoeverre wegen citaties mee in het ranking algoritme?
“Voor de citaties is er gekeken naar een techniek die is ontwikkeld voor de harde wetenschappen, waarbij het aantal citaties wordt gebruikt om te meten wat de impact van een publicatie is. Echter is het verschil tussen de exacte wetenschappen en juridische wetenschappen dat juridische publicaties veel gelezen worden door advocaten en juristen die zelf niet publiceren, dus ook niet citeren.
Als je niet publiceert dan kun je niet citeren naar de wetenschappelijke artikelen die jij relevant vindt. Daarom moesten we hiervoor een oplossing vinden. Daarom hebben we deze data gecombineerd met de clickdata. Daar hebben we een rekenmodel van gemaakt dat we toepassen bij juridische zoekmachines.”
Deel je het ranking algoritme in je proefschrift of is dit geheim?
“Uiteindelijk komt er een formule met letters in mijn proefschrift te staan die aangeeft wat we precies gedaan hebben. Hiermee geven we openheid over de factoren die meewegen bij het tonen van de zoekresultaten. De factoren zijn afhankelijk van de dataset: de clickdata die we gebruiken hebben alleen wij geregistreerd. Iemand anders kan die formule overnemen voor zijn juridische zoekmachine, maar moet dan zelf gaan uitzoeken wat voor zijn systeem de juiste balans is. Wij kunnen hier transparant over zijn. Ook naar de klanten toe trouwens, want die vinden dat interessant.”
___________________
Benieuwd wat Legal Intelligence voor jouw kantoor kan betekenen? Vraag een gratis proefabonnement aan en ontdek het zelf.
