Sembang Local AI

Lokasi: Kedai Mamak, Seksyen 13, Shah Alam (bersebelahan AEON).

Suasana: Bunyi bising cawan berlaga, bau roti canai garing, dan skrin TV tengah tayang siaran ulangan perlawanan bola sepak. Tengah lepak lepas maghrib, pekena teh tarik dengan roti telor.

"Mat, amboi... khusyuk benar tengok skrin laptop tu. ThinkPad lama kau tu macam dah nyawa-nyawa ikan, tapi laju pulak kau menaip. Tengah buat projek akhir (FYP) ke?"

(Sambil hirup teh tarik)."Eh, abang! Eh taklah, mana ada nyawa-nyawa ikan bang. Laptop Lenovo 10th Gen lama saya ni ha. RAM pun ada 8GB je, GPU integrated pulak tu. Dulu simpan dalam laci je buat pekasam. Tapi ni ha, saya tengah layan Local AI kat dalam ni."

"Biar betul kau? Bukan ke kalau nak run AI sendiri kena pakai kad grafik padu? Macam RTX 4090, RAM kena 64GB? Budak-budak IT selalu sembang macam tu."

"Itu kalau abang nak training model AI sendiri atau nak run model gergasi bang, memanglah botak kepala modalnya! Tapi kalau setakat nak buat stesen kerja AI ringkas buat bantu-bantu tugasan harian, laptop cabuk macam ni pun lepas. Saya dah test, menjadi bang! Tak payah ada GPU mahal pun."

"Macam mana kau buat? Tak meletup ke laptop tu?"

"Tak adalah sampai meletup bang, suam-suam kuku adalah. Kuncinya kena pakai software yang betul dengan pilih model AI yang padan dengan poket... eh, padan dengan spec komputer.

Mula-mula, saya pakai tool nama LLMFit. Alat ni dia scan spec laptop kita, lepas tu dia bagitahu model AI apa yang 'ngam' dengan RAM kita. Jadi tak adalah kita main agak-agak sampai laptop crash'.

"Ooo... habis tu, AI apa yang kau sumbat dalam laptop 8GB kau ni?"

"Saya guna LM Studio bang. Benda ni percuma, ada paparan grafik (GUI) macam ChatGPT, tak payah pening kepala main kod kat terminal hitam tu. Kat dalam tu, saya download model Qwen3 4B Instruct. Saiz dia kecil tapi bijak. Untuk RAM 8GB, model 4 bilion parameter macam ni memang sweet spot orang kata. Ringan!"

"Faham. Tapi kalau model kecil macam tu, dia tak cepat lupa ke kalau kita borak panjang-panjang?"

"Ha, itu satu lagi trik saya! Saya install satu lagi perisian open-source nama dia AnythingLLM. Benda ni kita sambung dengan LM Studio tadi. Dia bertindak macam 'otak tambahan' yang simpan memori perbualan lama kita. Yang bestnya, dia langsung tak makan resource laptop ciput ni. Jadi, AI saya ni tetap ada memori jangka panjang walaupun laptop cap ayam."

"Hebat jugak budak zaman sekarang eh. Tapi kalau fikir balik, kenapa kau susah-susah run sendiri? Kan ada ChatGPT free, ada Claude... pakai internet je."

(Sambil potong roti telor) "Betul bang, memang yang cloud tu lagi pandai. Tapi abang tahu kan, yang free tier ni kadang-kadang ada had limit. Tengah sedap buat kerja, tiba-tiba kena tunggu sejam. Lagi satu, masalah privasi.

Kalau saya ada data sensitif, kod rahsia, atau dokumen assignment yang belum hantar, saya segan nak kongsi kat server orang luar. Kalau run local macam ni, tutup wifi pun boleh jalan. Data tak keluar dari laptop langsung, tak ada limit, dan tak payah bayar komitmen bulanan. Untuk setakat nak suruh dia tolong ringkaskan artikel panjang atau draf e-mel, memang dah lebih daripada cukup."

"Menarik, menarik... Balik ni aku nak selongkar stor sat, rasanya ada laptop lama aku tersimpan. Boleh aku cuba."

"Ha, cubalah bang! Daripada biar laptop tu berhabuk, baik buat jadi stesen AI. Eh abang, jom makan... roti pun dah sampai tu!