Meta melancarkan model bahasa raya (LLM) terkini mereka Llama 3.1 405B yang dikatakan mempunyai prestasi lebih tinggi berbanding GPT-4o oleh OpenAi dan Claude 3.5 Sonnet oleh Anthropic. Ia juga adalah LLM sumber terbuka paling besar dengan ia mempunyai saiz sehingga 405 billion yang dilatih menggunakan 16,000 GPU NVIDIA H100.
Serentak dengan pelancaran Llama 3.1, Mark Zuckerberg meramalkan pembantu maya keluaran Meta AI akan menjadi yang paling banyak digunakan menjelang penghujung 20254. Bagi mencapai impian ini Meta bekerjasama dengan Microsoft, Amazon, Google, Nvidia, dan Databricks bagi membolehkan pembangun menggunakan Llama 3.1 sebagai asas kepada kecerdasan buatan (AI) yang ingin dibangunkan oleh mereka. Sesiapa sahaja boleh menggunakan Llama 3.1 tetapi bagi mereka yang mempunyai lebih 700 juta pengguna bulanan lesen perlu diminta daripada Meta bagi mendapatkan kebenaran.
LLama 3.1 mempunyai tingkap konteks sehingga 128,000 token yang bersamaan dengan buku setebal 50 muka surat. Lebih banyak data diproses serentak untuk tugasan analisa misalnya. Ia juga boleh memahami bahasa Jerman, Perancis, Itali, Portugis, Hindi, Sepanyol dan Thai selain Inggeris
Latihan pula dilakukan dengan set data sebesar 15 trilion token atau bersamaan 750 bilion patah perkataan. Dari mana data diambil untuk melatih Llama 3.1 tidak didedahkan oleh Meta. Kerana ia juga sebuah LLM multi mod, ia turut boleh menjawab soalan matematik, mengenalpasti imej serta video dan menghasilkan audio. Namun begitu kemampuan ini masih belum diberikan kepada umum.
Selain Llama 3.1 405B, Meta turut menghasilkan Llama 3.1 8B dan Llama 3.170B yang lebih kecil tetapi juga dengan tingkap konteks 128,000 token.