Pertanyaan “LLM terbaik untuk customer service” sering dijawab dengan daftar model yang terdengar canggih, tanpa data nyata soal performanya di tugas customer service yang sebenarnya. Riset tim AI Qiscus yang dipublikasikan di ICADEIS 2026 (IEEE) justru menguji langsung dua model populer, GPT-4.1 dan Gemini 2.5 Flash. Pengujiannya khusus untuk tugas paling krusial dalam customer service berbasis AI, yaitu keputusan kapan bot harus menyerahkan percakapan ke manusia.
Artikel ini membahas lima LLM yang relevan untuk customer service, dengan porsi terbesar pada dua model yang benar-benar diuji datanya. Jawaban soal LLM mana yang terbaik ternyata lebih rumit dari sekadar “model A lebih pintar dari model B”. Hasilnya sangat bergantung pada arsitektur AI Agent yang digunakan, bukan hanya kemampuan mentah model itu sendiri.
Apa Itu LLM untuk Customer Service
LLM untuk customer service adalah model bahasa besar yang menjadi otak di balik AI Agent. Model ini bertugas memahami pertanyaan pelanggan, mencari jawaban, dan memutuskan kapan sebuah percakapan harus diserahkan ke manusia. Kualitas LLM ini menentukan seberapa akurat AI Agent memahami maksud pelanggan dan seberapa tepat keputusan handovernya.
Tidak semua LLM dirancang dengan penekanan yang sama. Beberapa model dioptimalkan untuk kecepatan dan biaya rendah, sementara yang lain dioptimalkan untuk penalaran kompleks. Ada juga model yang dioptimalkan khusus untuk konsistensi mengikuti instruksi bisnis yang panjang dan detail. Perbedaan penekanan ini yang membuat “LLM terbaik” bukan jawaban tunggal. Jawabannya tergantung pada arsitektur AI Agent yang dipakai dan jenis pertanyaan yang paling sering dihadapi tim CS.
Bagaimana Data di Balik Perbandingan Ini Dikumpulkan
Kredibilitas perbandingan LLM di atas bergantung pada seberapa representatif data yang dipakai untuk mengujinya. Bagian ini menjelaskan bagaimana riset ICADEIS 2026 membangun data pengujiannya.
1. Dataset QiscusCS Dibangun dari Percakapan Nyata, Bukan Simulasi
Riset ini membangun dataset bernama QiscusCS, terdiri dari 100 dialog customer service nyata dengan total 4.265 utterance. Dari jumlah itu, 3.612 utterance diberi label “transferable”, artinya butuh diserahkan ke manusia, sementara 653 sisanya diberi label “normal”. Rata-rata setiap dialog berisi sekitar 44 utterance, cukup panjang untuk mencerminkan percakapan customer service yang sebenarnya, bukan pertanyaan tunggal yang terlalu sederhana.
2. Anotasi Dilakukan Manual oleh Tim Customer Service Sungguhan
Setiap utterance dalam dataset ini dilabeli secara manual oleh tiga domain expert dari tim customer service Qiscus, bukan otomatis oleh sistem lain. Pendekatan ini membuat label “transferable” atau “normal” mencerminkan penilaian manusia yang sesungguhnya menangani eskalasi, bukan aturan buatan yang mungkin tidak sesuai kondisi lapangan. Seluruh data pribadi pelanggan juga sudah diganti dengan data dummy sebelum digunakan untuk penelitian.
Mengapa Bisnis Indonesia Membutuhkan LLM yang Tepat untuk Customer Service
Pemilihan LLM yang salah bisa berakibat langsung ke pengalaman pelanggan, bukan cuma masalah teknis di belakang layar.
1. Pilihan LLM Menentukan Akurasi Keputusan Handover
LLM yang lemah dalam memahami konteks bisa menahan pelanggan terlalu lama sebelum menyerahkannya ke manusia. Sebaliknya, LLM ini juga bisa menyerahkan percakapan sederhana yang sebenarnya bisa ia selesaikan sendiri. Riset ICADEIS 2026 menunjukkan bahwa gap performa antar LLM ini nyata dan terukur, bukan asumsi. Perbedaan Macro F1-Score antar model dalam riset tersebut cukup besar untuk memengaruhi pengalaman pelanggan secara langsung, bukan hanya angka teknis di laporan internal.
2. Biaya Operasional Berbeda Signifikan Antar Model
Model dengan kapasitas penalaran lebih besar biasanya lebih mahal per panggilan API. Bisnis yang memilih model tanpa mempertimbangkan volume percakapan bisa membayar jauh lebih mahal dari yang seharusnya, tanpa peningkatan hasil yang sepadan.
3. Arsitektur AI Agent Bisa Mengubah Pentingnya Pilihan LLM
Ini temuan yang paling sering diabaikan. Riset yang sama menunjukkan bahwa pilihan LLM sangat menentukan hasil pada arsitektur single agent, tapi pengaruhnya mengecil drastis begitu arsitektur multi agent digunakan. Bisnis yang memahami ini bisa menghemat biaya tanpa mengorbankan performa.
4. Data Pengujian yang Representatif Membuat Keputusan Lebih Bisa Dipercaya
Keputusan memilih LLM sering didasarkan pada demo vendor yang menggunakan skenario ideal, bukan data percakapan asli yang berantakan. Riset di atas menghindari jebakan ini dengan membangun dataset dari percakapan customer service nyata yang dilabeli manual oleh tim CS sungguhan. Bisnis yang mengikuti pendekatan serupa saat mengevaluasi LLM untuk kebutuhannya sendiri akan mendapat gambaran performa yang jauh lebih realistis dibanding sekadar mempercayai klaim marketing.
5 LLM Terbaik untuk Customer Service
Lima model berikut diurutkan berdasarkan kedalaman data yang tersedia. Dua model pertama diuji langsung untuk tugas handover customer service. Tiga model berikutnya belum diuji secara spesifik untuk tugas ini, sehingga dibahas berdasarkan karakteristik umum yang sudah diketahui publik.
1. GPT-4.1 (OpenAI), Performa Kuat di Arsitektur Single Agent
GPT-4.1 mencatat Macro F1-Score 0.5356 saat digunakan dalam arsitektur single agent untuk tugas handover, jauh di atas Gemini 2.5 Flash pada arsitektur yang sama. Precision-nya untuk kelas mayoritas mencapai 0.9608, dan AUC-nya 0.7017, yang tertinggi di antara keempat kombinasi model dan arsitektur yang diuji dalam riset ini. Saat digunakan dalam arsitektur multi agent, GPT-4.1 mencatat Macro F1-Score 0.6159, hampir setara dengan Gemini 2.5 Flash pada arsitektur yang sama. GPT-4.1 adalah pilihan yang solid baik untuk single agent maupun multi agent, dengan performa yang lebih konsisten di kedua arsitektur dibanding Gemini.
2. Gemini 2.5 Flash (Google), Performa Terbaik Hanya di Arsitektur Multi Agent
Gemini 2.5 Flash mencatat hasil yang sangat kontras antar arsitektur. Pada single agent, Macro F1-Score-nya hanya 0.3333, jauh di bawah GPT-4.1. Recall untuk kelas minoritas justru tinggi di 0.9219, tapi precision-nya sangat rendah di 0.1259. Ini tanda model ini terlalu sering menahan percakapan yang sebenarnya perlu diserahkan ke manusia. Situasinya berbalik total di arsitektur multi agent, Gemini 2.5 Flash justru mencatat Macro F1-Score tertinggi di seluruh eksperimen, 0.6260, sedikit di atas GPT-4.1. Gemini 2.5 Flash adalah pilihan yang kuat, tapi hanya jika digabung dengan arsitektur multi agent, bukan dipasang sendirian.
3. Claude (Anthropic), Dikenal Kuat dalam Mengikuti Instruksi Kompleks
Claude belum diuji secara spesifik untuk tugas handover dalam riset ini, jadi data performanya untuk skenario ini belum tersedia. Model ini secara umum dikenal luas karena kemampuannya mengikuti instruksi panjang dan kompleks dengan konsisten. Karakteristik ini relevan untuk skenario customer service dengan aturan bisnis yang rumit, misalnya kebijakan retur bertingkat atau eskalasi yang punya banyak pengecualian. Bisnis yang mempertimbangkan Claude untuk customer service sebaiknya menjalankan pengujian internal terlebih dahulu. Metodologi yang sama seperti riset di atas, dengan data percakapan nyata, bisa jadi titik awal yang baik sebelum menerapkannya secara penuh.
4. Llama (Meta), Pilihan Open-Weight untuk Kontrol Penuh
Llama menawarkan keunggulan berbeda dari model closed-source seperti GPT dan Gemini, yaitu kemampuan untuk di-hosting sendiri. Ini relevan untuk bisnis dengan kebutuhan kepatuhan data yang ketat, seperti perbankan atau kesehatan, yang mungkin tidak ingin data percakapan pelanggan melewati server pihak ketiga. Belum ada data performa spesifik untuk tugas handover customer service dalam riset ini. Klaim performanya untuk skenario spesifik ini masih perlu diverifikasi lewat pengujian internal. Performa model open-weight bisa bervariasi cukup besar tergantung cara fine-tuning yang dilakukan.
5. Mistral, Pilihan Efisien untuk Volume Tinggi dengan Biaya Terkendali
Mistral dikenal sebagai model yang relatif ringan dan efisien secara biaya dibanding model besar lainnya. Karakteristik ini bisa menarik untuk bisnis dengan volume percakapan tinggi tapi kompleksitas pertanyaan yang relatif rendah, seperti toko online dengan pertanyaan seputar status pesanan. Sama seperti Claude dan Llama, belum ada data pengujian khusus untuk tugas handover customer service dari riset ini. Klaim performanya masih bersifat umum, bukan hasil pengujian langsung, sehingga tetap perlu divalidasi dengan data percakapan bisnis Anda sendiri sebelum diadopsi secara luas.
Tabel Perbandingan LLM untuk Customer Service
Tabel berikut merangkum data yang tersedia dari riset ICADEIS 2026 untuk dua model yang diuji langsung.
| Model dan Arsitektur | Macro F1-Score | AUC | Precision Mayoritas | Recall Minoritas |
|---|---|---|---|---|
| GPT-4.1, Single Agent | 0.5356 | 0.7017 | 0.9608 | 0.7656 |
| GPT-4.1, Multi Agent | 0.6159 | 0.6881 | 0.9430 | 0.5521 |
| Gemini 2.5 Flash, Single Agent | 0.3333 | 0.6053 | 0.9708 | 0.9219 |
| Gemini 2.5 Flash, Multi Agent | 0.6260 | 0.6646 | 0.9354 | 0.4583 |
Satu insight yang menonjol dari tabel ini, GPT-4.1 tetap kompetitif di kedua arsitektur, sementara Gemini 2.5 Flash hanya unggul begitu dipasangkan dengan arsitektur multi agent. Riset tim AI Qiscus yang dipublikasikan di IEEE menyimpulkan bahwa kapabilitas LLM sangat dominan di sistem single agent, tapi pengaruhnya tidak signifikan lagi begitu sistemnya multi agent.
Kriteria Memilih LLM yang Tepat untuk Customer Service
Tiga kriteria berikut membantu menentukan LLM mana yang paling sesuai untuk kebutuhan bisnis Anda.
1. Tentukan Dulu Arsitektur AI Agent Anda
Keputusan arsitektur, single agent atau multi agent, sebaiknya diambil sebelum memilih LLM, bukan setelahnya. Data di atas menunjukkan bahwa pilihan LLM yang tepat untuk single agent bisa jadi kurang optimal untuk multi agent, dan sebaliknya.
2. Pertimbangkan Volume dan Kompleksitas Pertanyaan
Bisnis dengan volume tinggi dan pertanyaan yang relatif sederhana bisa mempertimbangkan model yang lebih efisien biaya. Bisnis dengan pertanyaan kompleks dan risiko tinggi sebaiknya memprioritaskan akurasi di atas efisiensi biaya.
3. Uji dengan Data Percakapan Nyata Sebelum Memutuskan
Metodologi riset ICADEIS 2026 menggunakan dataset percakapan nyata, bukan skenario buatan, untuk menghasilkan angka yang bisa diandalkan. Bisnis yang ingin membandingkan LLM untuk kebutuhannya sendiri sebaiknya mengikuti pendekatan serupa, menggunakan data percakapan asli, bukan hanya demo vendor.
4. Perhatikan Trade Off antara Precision dan Recall
Data pada tabel di atas menunjukkan bahwa model dengan recall tinggi untuk kasus sulit tidak selalu punya precision yang baik, dan sebaliknya. Bisnis perlu menentukan lebih dulu mana yang lebih penting bagi mereka. Pilihannya antara menangkap semua kasus yang butuh eskalasi meski berisiko salah alarm, atau menjaga precision tinggi meski berarti beberapa kasus sulit terlewat. Keputusan ini sebaiknya diambil berdasarkan biaya nyata dari masing-masing jenis kesalahan bagi bisnis Anda, bukan sekadar memilih angka yang terlihat paling tinggi di tabel perbandingan.
Mengapa Arsitektur AI Agent Lebih Penting daripada Sekadar Memilih LLM
Fokus berlebihan pada “LLM mana yang terbaik” bisa mengalihkan perhatian dari keputusan yang sebenarnya lebih berdampak, yaitu arsitektur AI Agent itu sendiri.
1. Arsitektur Multi Agent Mengurangi Risiko Salah Pilih LLM
Data di atas menunjukkan bahwa gap performa antar LLM jauh lebih kecil pada arsitektur multi agent. Bisnis yang menggunakan arsitektur ini punya ruang lebih besar untuk berganti LLM di kemudian hari tanpa harus membangun ulang sistemnya dari nol.
2. Arsitektur Single Agent Menuntut Ketelitian Lebih Tinggi dalam Memilih LLM
Sebaliknya, bisnis yang memakai arsitektur single agent harus lebih hati-hati memilih LLM. Kesalahan pilihan model bisa langsung terlihat di kualitas keputusan handovernya, seperti yang terjadi pada Gemini 2.5 Flash dalam pengujian di atas.
Bagaimana Qiscus AgentLabs Membantu Bisnis Tidak Terjebak pada Satu LLM
Platform AI Agent untuk customer service dari Qiscus dirancang mendukung arsitektur multi agent AI. Ini sejalan dengan temuan riset di atas bahwa arsitektur ini mengurangi ketergantungan hasil pada satu LLM tertentu. Bisnis tidak perlu terpaku pada satu model dan bisa menyesuaikan pilihan LLM sesuai kebutuhan. Ini menghindarkan bisnis dari harus membangun ulang arsitektur AI Agent dari nol setiap kali ingin bereksperimen dengan model baru.
Pendekatan ini juga relevan untuk tim yang baru mulai implementasi AI Agent bisnis, karena keputusan LLM tidak harus final di awal. Arsitektur yang fleksibel memberi ruang untuk menyesuaikan pilihan model saat kebutuhan bisnis berkembang. Diskusikan kebutuhan AI Agent bisnis Anda dengan Qiscus untuk melihat konfigurasi LLM dan arsitektur yang paling sesuai.
LLM Terbaik vs Arsitektur Terbaik, Apa Bedanya
Banyak bisnis mengira pertanyaan “LLM mana yang terbaik” dan “arsitektur mana yang terbaik” adalah pertanyaan yang sama. Padahal keduanya saling memengaruhi, tapi tidak identik.
| Aspek | LLM Terbaik | Arsitektur Terbaik |
|---|---|---|
| Yang diukur | Kapabilitas model itu sendiri | Cara model itu digunakan dan dibagi perannya |
| Dampak jika salah pilih | Bervariasi, kecil di multi agent, besar di single agent | Konsisten memengaruhi semua kualitas keputusan handover |
| Contoh dari riset | Gemini 2.5 Flash lemah di single agent, kuat di multi agent | Multi agent lebih konsisten menangani kasus sulit |
Kesimpulannya, perbedaan AI Agent dan chatbot konvensional juga berlaku di sini. Sama seperti AI Agent yang bukan sekadar chatbot dengan skrip lebih pintar, LLM terbaik juga bukan sekadar model dengan parameter lebih besar. LLM terbaik adalah model yang cocok dengan arsitektur dan use case yang dipilih.
Bagaimana Cara Memulai Memilih LLM untuk Customer Service
Lima langkah berikut membantu tim Anda memulai proses pemilihan LLM secara terstruktur.
1. Petakan Volume dan Jenis Pertanyaan Pelanggan Anda
Kumpulkan data historis percakapan CS Anda untuk memahami proporsi pertanyaan sederhana versus kompleks, sebelum mempertimbangkan model mana yang cocok.
2. Tentukan Arsitektur AI Agent Lebih Dulu
Putuskan apakah bisnis Anda lebih cocok dengan single agent atau multi agent AI. Keputusan ini memengaruhi seberapa besar pilihan LLM akan berpengaruh ke hasil akhir.
3. Uji Minimal Dua Model pada Data Percakapan Nyata
Jalankan pengujian kecil dengan dua model atau lebih pada sampel percakapan asli. Ukur metrik seperti precision dan recall untuk kasus yang paling sering ditemui tim CS Anda, bukan hanya kasus mudah yang jarang gagal.
4. Bandingkan Biaya per Percakapan, Bukan Hanya Biaya per Token
Hitung total biaya berdasarkan volume percakapan aktual. Model yang terlihat murah per token bisa jadi lebih mahal jika butuh lebih banyak percakapan bolak-balik untuk menyelesaikan satu kasus.
5. Siapkan Jalur untuk Berganti Model di Masa Depan
Pastikan arsitektur AI Agent Anda tidak terlalu terikat pada satu LLM tertentu. Fleksibilitas ini penting supaya bisnis punya ruang untuk beradaptasi begitu model baru yang lebih baik muncul di pasar.
Pilihan LLM Terbaik Selalu Bergantung pada Arsitektur di Sekitarnya
Tidak ada satu LLM yang otomatis menjadi yang terbaik untuk semua skenario customer service. GPT-4.1 tampil konsisten di kedua arsitektur yang diuji, sementara Gemini 2.5 Flash hanya unggul saat dipasangkan dengan arsitektur multi agent. Model lain seperti Claude, Llama, dan Mistral tetap layak dipertimbangkan, tapi butuh pengujian internal karena belum ada data spesifik untuk tugas handover customer service.
Pertanyaan yang lebih penting daripada sekadar “LLM mana yang terbaik” adalah bagaimana LLM itu akan digunakan dalam arsitektur AI Agent Anda. Jelajahi solusi customer engagement dari Qiscus untuk melihat bagaimana arsitektur yang tepat bisa membantu bisnis Anda memilih LLM dengan lebih percaya diri.
Pertanyaan yang Sering Ditanyakan tentang LLM Terbaik untuk Customer Service
Berdasarkan riset ICADEIS 2026, GPT-4.1 tampil paling konsisten di kedua arsitektur yang diuji. Gemini 2.5 Flash hanya unggul signifikan saat digunakan dalam arsitektur multi agent.
Tidak selalu. Riset menunjukkan bahwa arsitektur AI Agent, single agent atau multi agent, bisa lebih memengaruhi hasil akhir. Pengaruhnya kadang lebih besar daripada kapabilitas mentah dari LLM itu sendiri.
Tergantung arsitekturnya. Pada single agent, pilihan LLM sangat berpengaruh ke hasil akhir. Pada multi agent, pengaruh pilihan LLM jauh lebih kecil karena peran-peran spesifik sudah membantu menyeimbangkan kelemahan model.
Kumpulkan sampel percakapan nyata dari tim CS Anda, lalu uji beberapa LLM pada data yang sama. Ukur metrik seperti precision dan recall untuk kasus yang paling sering muncul.
Bisa, terutama jika arsitekturnya dirancang fleksibel seperti multi agent AI. Bisnis dengan arsitektur single agent yang kaku biasanya butuh usaha lebih besar untuk berganti model di kemudian hari.
