Mijn eerste serieuze test met ChatGPT5 als jurist was… matig.
En dat begint al bij een principieel punt: ook deze nieuwe versie garandeert geen vertrouwelijkheid. Ik vroeg het simpelweg aan ChatGPT zelf, en het antwoord was glashelder:
“Als advocaat moet je ervan uitgaan dat je alleen gegevens deelt met een verwerker waarmee je een verwerkersovereenkomst hebt. Die heb je met OpenAI via ChatGPT niet. Je mag dus geen direct identificeerbare persoonsgegevens uploaden zonder anonimisering, tenzij je cliënt daar expliciet toestemming voor heeft gegeven. In plaats daarvan: anonimiseer, pseudonimiseer of werk met samenvattingen.”
Dat bevestigt wat ik al wist: voor juridische dossiers is gespecialiseerde Legal AI-software de enige veilige keuze.
De test: een simpele tijdlijn
Ik nam een veilig testdossier met 17 documenten (mails en overeenkomsten) en vroeg ChatGPT5 om een overzichtelijke tijdlijn. Google Notebook leverde binnen minuten een bruikbare versie, mét juiste knelpunten.
ChatGPT5 daarentegen begon met tegenvragen, alsof een ober in een Italiaans pizzarestaurant die blijft doorvragen over de salami: “Hoeveel plakes? Aan de rand of in het midden?”
Prima als dat leidt tot een beter eindproduct, maar het resultaat liet op zich wachten. Heel lang.
Ik gaf de opdracht om 11.34 uur.
Een half uur later: niets.
Om 19.05 uur: nog steeds niets.
De uitleg van ChatGPT5: het was “arbeidsintensieve extractie” met “dubbel labelen” (datum, inhoudelijke categorie, bron).
Ja, nou en? Als AI er 7,5 uur over doet om een tijdlijn te maken die ik zelf in 30 minuten kan opzetten, is de keuze snel gemaakt.
Is GPT-5 beter?
Ja: de interface is vernieuwd. Ja: sommige antwoorden zijn inhoudelijk sterker dan bij eerdere modellen. Maar het is vooral een hype: het systeem kiest nu zelf tussen 4o, 4.5, DeepResearch of o3, in plaats van dat jij dat doet. Of dat echt tot betere juridische resultaten leidt, moet blijken uit testen.
En dan de hallucinaties… nog steeds
Ik stelde mijn vaste strikvraag:
“Welk arrest van de Hoge Raad gaat over het verbod op nachtelijke demonstraties?”
Correct antwoord: bestaat niet.
ChatGPT5 kwam met een arrest van 17 oktober 2006 (LJN: AU6741) dat wél over een demonstratie gaat, maar niet over een nachtelijke. Fout dus.
Tweede test: “Vijf beroemde arresten met vindplaats over het absoluut verbod van het doden van hamsters met kokend water.”
ChatGPT5 gaf toe dat deze formulering niet in de rechtspraak voorkomt, maar beloofde vervolgens “vijf echte arresten” over dierenmishandeling.
Resultaat: één ervan bleek toch weer verzonnen.
Les voor juristen
ChatGPT, welke versie dan ook, is geen betrouwbare juridische zoekmachine. Controleer alles, altijd. Legaltech-AI zal het als het goed is winnen van een publieke generieke chatbot.
Voor juridische dossiers gaat het om drie dingen:
- Vertrouwelijkheid
- Bruikbaarheid
- Snelheid
Let daar op.
En tot slot: hallucineren doe ik alleen met een glas single malt whisky. Dat is tenminste een eigen keuze.
Categorie:
- AI-Ethiek & Compliance
Tags:
- AI Ethiek
- AI Compliance
- Legal AI Tools
- Toekomst Advocatuur