Bagikan

16 Mei 2025

Harvey: Memvalidasi Penalaran Hukum Lanjutan Pratinjau Gemini 2.5 Pro dengan BigLaw Bench

Niko Grupen

Head of Applied AI

Vishal Dharmadhikari

DevRel AI

Banner besar showcase Toonsutra

Industri hukum menuntut solusi AI yang dapat menavigasi informasi kompleks dalam jumlah besar dengan presisi dan nuansa. Tolok ukur AI tradisional sering kali tidak memenuhi tuntutan praktik hukum di dunia nyata, sehingga sulit untuk mengidentifikasi model yang benar-benar mampu melakukan pekerjaan hukum bernilai tinggi. Harvey, startup dinamis yang didedikasikan untuk mengubah alur kerja hukum melalui AI, mengatasi hal ini dengan mengembangkan BigLaw Bench, framework komprehensif mereka untuk menilai performa Model Bahasa Besar (LLM) pada tugas yang mencerminkan pekerjaan hukum yang sebenarnya. Dalam evaluasi ketat terbaru mereka, Pratinjau Gemini 2.5 Pro muncul sebagai performa yang luar biasa, menunjukkan potensi luar biasa untuk meningkatkan efisiensi di domain hukum utama.

Pratinjau Gemini 2.5 Pro Memimpin di BigLaw Bench

Evaluasi terbaru Harvey yang memanfaatkan framework BigLaw Bench telah menunjukkan dengan jelas bahwa Pratinjau Gemini 2.5 Pro menunjukkan kecakapan yang luar biasa di seluruh tugas penalaran hukum inti dan, khususnya, tugas yang memerlukan penalaran atas input atau output hukum dalam bentuk panjang. Seperti yang ditunjukkan dalam hasil yang dibagikan secara publik oleh Harvey, yang diperoleh dengan menguji model termasuk Pratinjau Gemini 2.5 Pro melalui API masing-masing, Pratinjau Gemini 2.5 Pro mencapai skor 85,02% yang unggul di BigLaw Bench, yang mengungguli model lain yang dievaluasi dalam penilaian komprehensif ini.

Teks alternatif: Diagram batang berjudul

Kemampuan terkemuka ini sangat penting untuk berbagai aktivitas hukum bernilai tinggi. Tugas evaluasi utama dalam BigLaw Bench menunjukkan kekuatan Pratinjau Gemini 2.5 Pro:

  • Diligence transaksional: Pratinjau Gemini 2.5 Pro menunjukkan kapasitas yang kuat untuk mengekstrak dan meringkas ketentuan penting (misalnya, pengalihan, ganti rugi, klausul penghentian) dari beberapa perjanjian layanan yang panjang. Hal ini menunjukkan potensi yang signifikan untuk menyederhanakan proses peninjauan dokumen manual yang memakan waktu.
  • Struktur transaksi: Model ini dengan mahir menghasilkan analisis komparatif yang komprehensif dan terstruktur dengan baik tentang opsi keuangan yang rumit (misalnya, PIPE, penawaran ekuitas yang dijamin, penawaran obligasi). Model ini menunjukkan potensi dalam menyajikan informasi ini dengan cara yang jelas dan mudah diakses, bahkan bagi mereka yang tidak memiliki keahlian keuangan yang mendalam, dan dalam menyarankan potensi item tindakan langsung.
  • Pembuatan draf litigasi: Saat dinilai pada tugas yang terkait dengan litigasi, Gemini 2.5 Pro Preview menunjukkan kemampuan yang luar biasa untuk membuat garis besar yang mendetail untuk dokumen argumen hukum berdasarkan volume dokumen briefing yang substansial. Kemampuan ini menunjukkan masa depan ketika AI dapat membantu secara signifikan pada tahap awal pengembangan dan pengaturan argumen hukum.
  • Peninjauan & analisis dokumen: Evaluasi yang melibatkan peninjauan dokumen uji coba yang berbeda (log panggilan, email, memo) mengungkapkan kekuatan Pratinjau Gemini 2.5 Pro dalam membuat ringkasan kronologis peristiwa yang koheren. Selain itu, model ini menunjukkan potensi dalam mengidentifikasi inkonsistensi dan ambiguitas penting dalam catatan, yang merupakan aspek penting dari analisis hukum yang menyeluruh.


Dalam evaluasi ini, Pratinjau Gemini 2.5 Pro menunjukkan penalaran yang kuat di seluruh input yang terdiri dari ratusan halaman materi, yang merupakan skenario umum dalam pekerjaan hukum. Selain itu, model ini dapat menggunakan materi ini untuk menghasilkan output yang lebih panjang dan komprehensif, sehingga memungkinkan insight dan analisis yang lebih mendalam. Kemampuan inti ini menyoroti potensi untuk memanfaatkan Pratinjau Gemini 2.5 Pro di seluruh pekerjaan hukum yang kompleks yang memerlukan penalaran atas kumpulan dokumen yang besar untuk mendukung kasus penggunaan ketelitian, peninjauan, dan penyusunan draf.

"Di Harvey, kami berkomitmen untuk melengkapi profesional hukum dengan alat paling canggih", kata Niko Grupen, Head of Applied AI di Harvey. "Evaluasi kami terhadap Pratinjau Gemini 2.5 Pro melalui BigLaw Bench telah mengungkapkan kemampuannya yang luar biasa untuk menyintesis informasi hukum yang kompleks. Insight ini mendorong visi kami untuk pengembangan produk di masa mendatang, dengan tujuan memanfaatkan kekuatan ini untuk membuka efisiensi yang belum pernah ada sebelumnya dan memungkinkan pengacara berfokus pada pekerjaan strategis tingkat tinggi."

Komitmen Harvey terhadap evaluasi yang ketat dan analisis mendalamnya tentang model AI canggih seperti Gemini 2.5 Pro Preview menunjukkan potensi transformatif AI di bidang hukum. Temuan mereka membuka jalan bagi inovasi di masa mendatang yang menjanjikan untuk membentuk kembali cara profesional hukum menangani tugas mereka yang paling berat.

Untuk mempelajari cara kemampuan sintesis dan penalaran lanjutan Pratinjau Gemini 2.5 Pro dapat mendukung aplikasi Anda sendiri, buka dokumentasi Gemini API atau mulai di Google AI Studio.

Harvey adalah peserta dalam AI Futures Fund Google yang berinvestasi dan berkolaborasi dengan startup ambisius yang mengembangkan teknologi AI masa depan.