Apakah masalah dengan model bahasa raya semasa? Parameter semakin besar memerlukan memori yang tinggi yang seterusnya menyebabkan berlaku kekurangan cip memori serta storan di peringkat global. Kesannya sekarang peranti menjadi semakin mahal.
Google baru sahaja mengumumkan TurboQuant yang merupakan algoritma mampatan baharu yang mengurangkan penggunaan memori LLM sehingga 6 kali ganda dan menjanjikan kelajuan 8 kali ganda lebih pantas dalam pengiraan tanpa menjejaskan kualiti output.
Apabila diuji pada model Gemma dan Mistral tiada kehilangan kualiti. TurboQuant akan membolehkan latihan model dilakukan dengan lebih murah dan efisien. Ia membuka pintu kepada model AI berkualiti tinggi dijalankan peranti mudah alih yang selama ini mempunyai kekangan memori.
