Apakah Anda ingin menggunakan model bahasa AI (sering disebut LLM atau “model bahasa besar”) seperti ChatGPT sebagai asisten digital, namun memiliki kekhawatiran tentang cara penanganan data Anda? Suka dengan fitur-fitur CoPilot Microsoft, tetapi membuat Anda takut akan potensi mimpi buruk privasi? Mungkin Anda hanya tidak ingin membayar biaya berlangganan, atau tetap terjebak dalam ekosistem pihak ketiga. Mungkin Anda lebih suka menggunakan perangkat lunak sumber terbuka. Apa pun alasan Anda, solusinya mungkin dengan menjalankan model AI secara lokal.

Ketika saya pertama kali mempelajari cara menjalankan program LLM secara lokal di Linux, saya pikir saya harus mengandalkan alat baris perintah seperti Olama. Sedangkan Ulama Dia adalah Meskipun ia sangat mumpuni, dan menjalankan apa pun di Terminal mungkin membuat Anda merasa seperti seorang jagoan, antarmukanya tidak ramah bagi pemula:

Belakangan, saya mengetahuinya studio LM, solusi lintas platform yang berjalan secara native di Windows, macOS, dan Linux. Ini kuat dan fleksibel, dengan GUI tradisional. Namun sejujurnya, terkadang terlalu banyak kekuatan dan fleksibilitas dapat mengganggu atau menyebabkan kerusakan. Selain itu, satu-satunya aspek LM Studio yang bersifat open source adalah alat baris perintah. Saya pada dasarnya tidak menentang perangkat lunak berpemilik sumber tertutup, namun saya menghargai jika pengembang memutuskan untuk berhenti mengerjakan proyek sumber terbuka, mereka dapat membaginya dan terus bekerja.

Jadi perjalanan saya membawa saya ke sana alpaka, yang bertindak sebagai antarmuka grafis untuk Ollama. Dan jika kita menggali lebih dalam apa yang sebenarnya penting, hasilnya adalah ini: mudah digunakan.

Alpaca ramping dan mudah digunakan. Mudah untuk diinstal pada distribusi Linux apa pun Melalui FlathubMuncul dengan backend Ollama. Tidak diperlukan konfigurasi yang rumit; Cukup pilih model AI untuk mengunduh dan mulai mengobrol.

Saya mulai menggunakan Llama 3.1 Meta yang baru dirilis, yang merupakan open source dan hadir dalam ukuran parameter 8B, 70B, dan 405B. (Pikirkan parameter sebagai cara untuk mengukur kompleksitas model bahasa. Semakin tinggi angkanya, semakin kuat kekuatannya.) Maklum, versi 405 miliar itu sangat besar sehingga membutuhkan unduhan 231GB. Sebagai perbandingan, ukuran parameter ChatGPT 3 adalah 175 miliar. Menjalankan model lengkap ini mungkin akan membebani PC konsumen yang paling kuat, namun menurut pengalaman saya, model parameter yang lebih kecil cukup mampu menjadi asisten digital dan chatbot yang layak.

Sisi positifnya, Alpaca terintegrasi secara alami ke dalam notifikasi sistem Anda, sehingga Anda dapat meminimalkan aplikasi saat sedang mengerjakan respons, dan mendapatkan notifikasi saat jawabannya sudah siap.

Namun jika Anda memutuskan bahwa model tertentu bukan untuk Anda, menghapusnya dan mengosongkan sebagian ruang disk sangatlah mudah. Cukup buka menu Kelola Model, tempat Anda dapat mencari, menyeret, dan menghapus lusinan model.

Proyek Alpaca diluncurkan pada Juni 2024, tetapi rilis stabil pertama baru dirilis beberapa minggu yang lalu. Peningkatan tampaknya terus berlanjut, namun ada satu masalah yang mungkin mempengaruhi beberapa pengguna GPU AMD: Alpaca memanfaatkan sumber daya CPU dibandingkan GPU, sehingga membuat pemrosesan menjadi lebih lambat. Tampaknya ini adalah bug yang terkait dengan ROCm, namun pengembang mengetahui hal ini dan sedang mencari perbaikan.