Ledakan penggunaan kecerdasan buatan (AI) generatif menyebabkan ramai risau kerjaya mereka terancam. Kerap dilihat iklan AI boleh melakukan ringkasan dokumen ratusan muka surat dalam masa beberapa minit sahaja berbanding manusia yang memerlukan masa beberapa jam. Bagi melihat kemampuan AI digunakan oleh agensi kerajaan, Suruhanjaya Sekuriti dan Pelaburan Australia (ASIC) melakukan kajian yang membandingkan kemampuannya meringkaskan dokumen berbanding manusia.
Beberapa AI digunakan dalam ujian awal menerusi Amazon AWS. Di peringkat akhir model Llama2-70B dipilih kerana mempunyai kemampuan yang terbaik. Sebanyak lima dokumen yang dihantar kepada ASIC kemudian perlu diproses oleh AI dengan ia perlu melakukan meringkaskan dengan memfokuskan kepada saranan, rujukan kepada undang-undang, nombor muka surat ringkasan diambil dan akhir sekali memberikan konteks.
Arahan yang sama juga diberikan kepada 10 kakitangan ASIC. Ringkasan-ringkasan yang dihasilkan kemudiannya diadili oleh sekumpulan pengulas. Mereka tidak diberitahu terdapat ringkasan yang dihasilkan oleh AI. Selepas itu markah diberikan kepada setiap ulasan yang dihasilkan. Secara purata ringkasan dihasilkan manusia diberikan markah 81% sementara yang dihasilkan oleh AI menerima markah 47%.
Ringkasan AI didapati tidak selalunya dapat membaca konteks dan nuansa penting dalam laporan. Kerap kali penekanan diberikan kepada topik yang tidak begitu penting. Arahan untuk meletakkan nombor muka surat maklumat diambil juga kadang kala diabaikan walaupun ia adalah antara arahan yang diberikan. Sebanyak 3 daripada 5 pengulas kemudian mengatakan mereka dapat mengesan ringkasan mana dihasilkan oleh AI.
Walaupun kajian menunjukkan AI masih belum mampu menandingi manusia dalam menghasilkan ringkasan dokumen, penyelidik menekankan Llama2-70B bukanlah model AI yang terkini. Penambahbaikan pada model dan arahan yang lebih terperinci pada prom mungkin dapat meningkatkan kemampuan ringkasan AI di masa hadapan.
