Documentbeoordeling: De volgorde van gebundelde materialen is van belang
Door Nicholas Cole
De volgorde waarin documenten worden beoordeeld, speelt een belangrijke rol bij het bepalen van de snelheid waarmee een beoordelaar documenten kan beoordelen en de totale kosten voor klanten. Het is zelfs misschien wel de belangrijkste factor waarmee rekening moet worden gehouden bij het begin van een contractbeoordeling. Wanneer documenten worden gegroepeerd op onderwerp, neemt de snelheid waarmee documenten worden beoordeeld doorgaans toe, waardoor de kosten voor de klant dalen. Hieronder volgt een anekdote uit mijn ervaring die deze theorie ondersteunt.
Bij een recente documentbeoordeling, met extreem krappe deadlines, werd een team van contractbeoordelaars ingehuurd om de eerste beoordeling uit te voeren en een eerste selectie te maken op basis van de relevantie van de documenten. De Litigation Support Project Manager ("PM") kreeg de taak om de documenten in batches te verdelen voor beoordeling door de contractadvocaten. Het juridische team besloot de documenten in chronologische volgorde in batches aan de beoordelaars te verstrekken. Dit is de meest gebruikelijke manier om documenten in batches te verdelen voor documentbeoordeling. Juridische teams geven de voorkeur aan deze volgorde omdat deze gemakkelijk te begrijpen is en juridische teams denken dat dit de beoordelaars een tijdlijn en context biedt om de feiten van een zaak beter te begrijpen. Terwijl de beoordeling aan de gang was, begon de PM enkele alarmerende statistieken over de beoordelaars aan het juridische team te rapporteren. De beoordelingssnelheid van elke beoordelaar lag onder de 30 documenten per uur, in plaats van de verhoopte industriestandaard van 50-60 documenten per uur. Bij het oorspronkelijke tempo zou de voltooiingsdatum voor de eerste beoordelingsfase ver voorbij onze deadline liggen en zou het budget voor de contractbeoordeling alleen al het budget voor de hele zaak opslokken. De beoordelaars moesten sneller werken. Dit leidde tot een gedetailleerd onderzoek naar de kwaliteit van de beoordelaars, de soorten documenten die werden beoordeeld en de ontwikkeling van mogelijke oplossingen om het tempo van de beoordeling te versnellen.
Eerst analyseerde de PM de soorten documenten die voor beoordeling waren gebundeld om te bepalen of grote, complexe documenten de oorzaak waren van de tragere beoordelingssnelheid. De documentenverzameling bevatte inderdaad een ongewoon groot aantal complexe, omvangrijke documenten en helaas is er geen oplossing om de soorten documenten te wijzigen die mogelijk relevant zijn voor opsporingsverzoeken. Door inzicht te krijgen in de samenstelling van onze documentenverzameling konden we echter de voortgang van onze beoordelaars effectief analyseren. De PM vergeleek de kwaliteit van de beoordelaars om te bepalen of er verschillen waren in hun beoordelingssnelheid. Uit de eerste resultaten bleek dat sommige beoordelaars veel sneller werkten dan andere. Wanneer echter rekening werd gehouden met de soorten en omvang van de documenten, verdwenen de verschillen in beoordelingssnelheid vrijwel volledig. Er waren beoordelaars die als 'traag' waren beoordeeld, terwijl ze in feite gewoon complexere documenten in hun batches te beoordelen hadden. Het werven van nieuwe beoordelaars en/of het geven van nieuwe trainingen zou ons beoordelingstempo niet verbeteren, wat de eerste neiging van het team was om de deadlines te halen.
In feite vertraagden nieuwe beoordelaars ons werk eerder. Nieuwe beoordelaars hadden tijd nodig om zich vertrouwd te maken met de soorten documenten en de kwesties in de zaken. Aangezien we de samenstelling van onze documenten niet konden wijzigen en we geen 'slechte' beoordelaars hadden om te vervangen, probeerden we belangrijke termen in onze documentenverzameling te markeren om de beoordelaars te laten focussen op de belangrijkste delen van onze documenten, waardoor de beoordelingssnelheid zou verbeteren. Helaas leidde het markeren van belangrijke termen ook niet tot een snellere beoordeling. De beoordeling was iets meer dan twee weken bezig, de deadlines naderden en het team had dringend een oplossing nodig.
Ten tweede wist de PM na een langdurige vergadering met het juridische team hen te overtuigen om te experimenteren en een opgelegde conceptuele 'sorteervolgorde' toe te passen op de documenten om te bepalen hoe dat de beoordelingspercentages zou beïnvloeden. De PM creëerde herziene documentbeoordelingsbatches die waren gesorteerd op e-mailthread/keten, waarna de ketens conceptueel werden gegroepeerd. De helft van de beoordelaars kreeg de opdracht om de opnieuw geordende batches te voltooien en de overige beoordelaars bleven de oorspronkelijke batches met chronologisch geordende documenten beoordelen. Na twee dagen werd een vergelijking gemaakt tussen de beoordelingspercentages van de twee groepen. De contractbeoordelaars die de chronologisch geordende batches doorzochten, hadden nog steeds een beoordelingspercentage van ongeveer 30 documenten per uur. De beoordelaars die de conceptueel geordende batches afwerkten, hadden beoordelingssnelheden van meer dan 60 documenten per uur. Door de conceptuele sorteervolgorde toe te passen op de beoordelingsbatches werd de efficiëntie van de beoordelaars verdubbeld. De beoordelaars lazen in feite sneller en namen sneller coderingsbeslissingen omdat ze documenten met betrekking tot één enkel onderwerp beoordeelden. Ze hoefden niet te pauzeren en na te denken over hoe elk onderwerp verband hield met de kwesties in de zaak en hoefden niet heen en weer te springen in het coderingsformulier.
De beoordelaars zelf bevestigden ook dat conceptueel geordende batches de vaardigheid verhoogden. Toen de beoordelaars van de conceptueel geordende batches werden geïnterviewd, zeiden ze dat ze sneller konden beoordelen omdat ze slechts over één onderwerp tegelijk hoefden na te denken in plaats van over alle onderwerpen die met de kwestie te maken hadden. Ze hoefden niet terug te grijpen naar de coderings-/achtergrondhandleiding om hun geheugen op te frissen over een bepaald onderwerp of een bepaalde coderingsnuance. Dankzij de herziene sorteervolgorde kon het team weer op schema komen om onze deadlines en budgettaire beperkingen te halen. De klant betaalde per uur voor de contractbeoordelaars, en door de volgorde waarin de documenten werden beoordeeld te wijzigen, werden de kosten per document effectief gehalveerd. Bovendien was het aantal afgekeurde beoordelingen op het tweede niveau niet toegenomen, wat erop wees dat de herziene sorteervolgorde geen negatieve invloed had gehad op het foutenpercentage van de beoordelaars op het eerste niveau. Concluderend kunnen we stellen dat het toezichthoudende team bij het begin van een contractbeoordeling rekening moet houden met verschillende factoren. Ten eerste heeft markeren weinig effect op de beoordelingspercentages. Of er nu wordt besloten om af te zien van het markeren van sleuteltermen of om talrijke termen te markeren, geen van de wijzigingen had een meetbaar effect op de beoordelingspercentages voor de bovenstaande zaak. Ten tweede is het belangrijk om inzicht te hebben in de soorten documenten waaruit uw documentenverzameling bestaat, zodat u de kwaliteit van uw beoordelaars nauwkeurig kunt inschatten en realistische verwachtingen kunt hebben over de documentbeoordelingspercentages. Als de documenten in uw verzameling bestaan uit e-mails in plaats van op zichzelf staande documenten, biedt het beoordelen van e-mailreeksen de context die chronologische beoordeling beoogt te bereiken, maar versnelt het de beoordelingssnelheid aanzienlijk. Werk ten slotte samen met personeel dat ondersteuning biedt bij rechtszaken om te bepalen welke soorten documenten er in uw verzameling voorkomen en welke hulpmiddelen voor rechtszaken beschikbaar zijn om het beoordelingsproces te versnellen, of in sommige gevallen zelfs om te bepalen of een traditionele, lineaire beoordeling überhaupt nodig is.