FX.co ★ Meta Mengembangkan Model Bahasa Efisien untuk Smartphone

Meta (META) telah memperkenalkan model kecerdasan buatan baru yang ringkas bernama MobileLLM, yang dirancang khusus untuk ponsel pintar dan perangkat dengan kemampuan komputasi terbatas.

Dikembangkan secara kolaboratif oleh Meta Reality Labs, Meta AI Research (FAIR), dan PyTorch, MobileLLM memiliki kurang dari satu miliar parameter.

Yann LeCun, Kepala Ilmuwan AI Meta, menyoroti aspek-aspek penting dari penelitian tersebut dalam sebuah postingan di X/Twitter, mengatakan, "Temuan kami menunjukkan bahwa, untuk model yang lebih kecil, memprioritaskan kedalaman dibandingkan lebar meningkatkan kinerja model. Selain itu, dengan memanfaatkan teknik berbagi bobot canggih, termasuk berbagi embedding, perhatian grup query, dan pembagian bobot blok, kami mencapai peningkatan yang signifikan dalam pemanfaatan bobot dalam skenario yang dibatasi ruang penyimpanan."

Inovasi desain ini telah memungkinkan MobileLLM untuk mengungguli model sebelumnya dengan ukuran serupa sebesar 2,7 hingga 4,3 persen, seperti yang dibuktikan oleh tes benchmark.

Postingan LeCun juga mencatat bahwa MobileLLM menunjukkan "peningkatan yang substansial dalam penalaran akal sehat zero-shot, menjawab pertanyaan, dan tugas pemahaman bacaan dibandingkan dengan metode state-of-the-art (SoTA)."

Selain itu, para peneliti menampilkan efektivitas MobileLLM dalam aplikasi obrolan dan panggilan API, lebih lanjut menekankan keahliannya dalam area tersebut.