Partager

16 mai 2025

Harvey: Validation du raisonnement juridique avancé de Gemini 2.5 Pro Preview avec BigLaw Bench

Niko Grupen

Responsable de l'IA appliquée

Vishal Dharmadhikari

Relations avec les développeurs pour l'IA

Hero de la vitrine Toonsutra

Le secteur juridique exige des solutions d'IA capables de naviguer dans un immense volume d'informations complexes avec précision et nuance. Les benchmarks d'IA traditionnels ne parviennent souvent pas à capturer les exigences réelles de la pratique juridique, ce qui rend difficile l'identification de modèles réellement capables de réaliser des travaux juridiques à forte valeur ajoutée. Harvey, une start-up dynamique dédiée à la transformation des workflows juridiques grâce à l'IA, a fait face à ce problème en développant BigLaw Bench, son framework complet permettant d'évaluer les performances des grands modèles de langage (LLM) sur des tâches reflétant le travail juridique réel. Lors de leurs évaluations rigoureuses récentes, Gemini 2.5 Pro Preview s'est révélé être un outil performant, démontrant un potentiel exceptionnel pour améliorer l'efficacité dans des domaines juridiques clés.

Gemini 2.5 Pro Preview Leads on BigLaw Bench

Les évaluations récentes de Harvey utilisant le framework BigLaw Bench ont clairement indiqué que la version Preview de Gemini 2.5 Pro démontre une maîtrise remarquable des tâches de raisonnement juridique de base, en particulier celles qui nécessitent de raisonner sur des entrées ou des sorties juridiques longues. Comme le montrent les résultats publiquement partagés par Harvey, obtenus en testant des modèles, dont Gemini 2.5 Pro Preview, via leurs API respectives, Gemini 2.5 Pro Preview a obtenu le score de 85,02% sur BigLaw Bench, surpassant les autres modèles évalués dans cette évaluation complète.

Alt text: Graphique à barres intitulé

Cette fonctionnalité de pointe est essentielle pour un large éventail d'activités juridiques à forte valeur ajoutée. Les principales tâches d'évaluation de BigLaw Bench ont mis en avant les points forts de la version Preview de Gemini 2.5 Pro :

  • Diligence raisonnable transactionnelle: Gemini 2.5 Pro Preview a montré une forte capacité à extraire et à résumer les dispositions essentielles (par exemple, clauses de cession, d'indemnisation et de résiliation) de plusieurs contrats de service longs. Cela suggère un potentiel important d'alléger le processus long et fastidieux de l'examen manuel des documents.
  • Structure de transaction: le modèle a généré de manière efficace des analyses comparatives complètes et bien structurées d'options financières complexes (par exemple, PIPE, offres d'actions souscrites, offres d'obligations). Le modèle s'est révélé prometteur pour présenter ces informations de manière claire et accessible, même pour les personnes qui ne disposent pas d'une expertise financière approfondie, et pour suggérer des actions immédiates potentielles.
  • Rédaction de documents juridiques: lors de l'évaluation des tâches liées aux litiges, Gemini 2.5 Pro Preview a démontré une capacité remarquable à générer des contours détaillés pour des notes juridiques à partir de volumes importants de documents de briefing. Cette capacité laisse entrevoir un avenir où l'IA pourra considérablement aider aux étapes initiales du développement et de l'organisation des arguments juridiques.
  • Examen et analyse de documents: les évaluations impliquant l'examen de documents d'essai disparates (journaux d'appels, e-mails, notes) ont révélé la capacité de Gemini 2.5 Pro Preview à créer des résumés chronologiques cohérents des événements. De plus, le modèle a montré un potentiel pour identifier les incohérences et les ambiguïtés critiques dans l'enregistrement, un aspect crucial d'une analyse juridique approfondie.


Au cours de ces évaluations, Gemini 2.5 Pro Preview a démontré un raisonnement solide sur des entrées constituées de centaines de pages de documents, un scénario courant dans le travail juridique. De plus, il a pu utiliser ces éléments pour générer des résultats plus longs et plus complets, ce qui a permis d'obtenir des insights et des analyses plus approfondis. Ces fonctionnalités de base soulignent le potentiel d'exploitation de Gemini 2.5 Pro Preview pour les travaux juridiques complexes qui nécessitent de raisonner sur de grands ensembles de documents afin de faciliter la diligence, l'examen et la rédaction de cas d'utilisation.

"Chez Harvey, nous nous engageons à fournir aux professionnels du droit les outils les plus avancés", déclare Niko Grupen, responsable de l'IA appliquée chez Harvey. "Notre évaluation de Gemini 2.5 Pro Preview via BigLaw Bench a révélé sa capacité remarquable à synthétiser des informations juridiques complexes. Ces insights alimentent notre vision pour le développement futur de nos produits, dans laquelle nous visons à exploiter ces points forts pour accroître l'efficacité de manière inédite et permettre aux avocats de se concentrer sur des tâches stratégiques de plus haut niveau."

L'engagement d'Harvey à effectuer des évaluations rigoureuses et son analyse perspicace des modèles d'IA de pointe tels que Gemini 2.5 Pro Preview démontrent le potentiel transformateur de l'IA dans le domaine juridique. Leurs résultats ouvrent la voie à de futures innovations qui promettent de redéfinir la façon dont les professionnels du droit abordent leurs tâches les plus exigeantes.

Pour découvrir comment les fonctionnalités avancées de raisonnement et de synthèse de Gemini 2.5 Pro Preview peuvent alimenter vos propres applications, consultez la documentation de l'API Gemini ou commencez à utiliser Google AI Studio.

Harvey participe au Fonds d'avenir de l'IA de Google, qui investit dans des start-up ambitieuses et collabore avec elles pour développer l'IA de demain.