Hampir semua vendor AI Agent mengklaim sistemnya “human in the loop”, tapi klaim itu sering berhenti di level konsep, ada mekanisme untuk melibatkan manusia, tanpa pernah diuji apakah mekanisme itu benar-benar memicu di momen yang tepat. Artikel ini mengambil sudut pandang berbeda, bukan menjelaskan apa itu human in the loop secara umum, tapi membedah bagaimana mengukur efektivitas loop tersebut memakai data nyata dari riset akurasi handover AI Agent.
Kalau Anda mencari penjelasan soal human in the loop dalam konteks melatih dan memperbaiki model chatbot dari waktu ke waktu, itu sudah dibahas dari sudut yang berbeda di Human-in-the-Loop, Pilar Penting dalam Training Bot. Artikel ini fokus ke loop operasional, mekanisme yang memutuskan kapan AI Agent menyerahkan sebuah kasus ke manusia saat sistem sedang berjalan, bukan loop pelatihan datanya.
Apa Itu Human in the Loop untuk AI Agent
Human in the loop untuk AI Agent adalah desain sistem di mana keputusan AI, khususnya keputusan berisiko tinggi atau di luar kepastian model, diarahkan ke manusia untuk ditinjau atau diambil alih sebelum berdampak ke pelanggan. Berbeda dari human in the loop dalam konteks pelatihan model, yang fokusnya memperbaiki model dari waktu ke waktu, loop operasional ini bekerja secara real time, di tengah percakapan yang sedang berlangsung. Memahami cara kerja AI Agent secara umum membantu melihat di mana persisnya loop ini duduk dalam keseluruhan alur keputusan sistem.
1. Kenapa “Ada Loop” dan “Loop yang Efektif” adalah Dua Hal Berbeda
Sebuah sistem bisa punya mekanisme eskalasi ke manusia secara teknis, tombolnya ada, alurnya terpasang, tapi tetap gagal sebagai human in the loop yang efektif kalau mekanisme itu jarang terpicu di momen yang seharusnya, atau terlalu sering terpicu di momen yang tidak perlu. Riset tim AI Qiscus yang dipublikasikan di IEEE Xplore mengukur persis celah ini lewat metrik precision dan recall per kategori, bukan hanya lewat ada tidaknya fitur eskalasi.
2. Loop Ini Beroperasi di Titik Keputusan, Bukan di Seluruh Percakapan
Human in the loop yang baik tidak berarti manusia terlibat di setiap pesan, tapi manusia terlibat tepat di titik keputusan yang penting, saat AI tidak yakin, saat kasusnya sensitif, atau saat pola percakapan menunjukkan risiko tinggi. Efektivitas loop diukur dari seberapa akurat sistem mengenali titik keputusan itu, bukan dari seberapa sering manusia dilibatkan secara keseluruhan.
Kenapa Banyak Sistem Human in the Loop Gagal Berfungsi Efektif
Kegagalan ini jarang terlihat dari luar, karena sistem tetap berjalan dan sesekali mengeskalasi kasus ke manusia. Masalahnya baru terlihat ketika data dibedah lebih dalam.
1. Skor Akurasi Keseluruhan Menyembunyikan Kegagalan di Kelas yang Jarang Muncul
Salah satu model yang diuji dalam riset akurasi handover AI ke agen manusia mencatat precision hanya 0,1259 khusus pada kelas kasus normal, kasus yang seharusnya bisa ditangani AI sendiri tanpa eskalasi, meski skor akurasi keseluruhannya masih terlihat kompetitif di angka lain. Artinya, sistem ini secara sistematis salah menilai kapan sebuah kasus benar-benar tidak butuh manusia, sebuah kegagalan human in the loop yang tidak akan pernah terlihat kalau Anda hanya melihat satu angka akurasi rata-rata.
2. Loop Dirancang untuk Menghindari Eskalasi, Bukan untuk Mengenali Momen yang Tepat
Banyak tim menganggap keberhasilan AI Agent diukur dari seberapa sedikit ia melibatkan manusia. Anggapan ini keliru kalau dilihat dari data, dalam dataset yang dipakai riset ini, sekitar 85 persen dari seluruh pesan ternyata membutuhkan keterlibatan manusia. Sistem yang dioptimalkan untuk menghindari eskalasi justru dioptimalkan melawan bentuk asli trafik yang dihadapinya, sebuah kesalahan kerangka berpikir yang sering muncul saat tim menyamakan AI Agent dengan chatbot berbasis aturan yang memang dirancang untuk menutup percakapan secepat mungkin.
3. Loop yang Sama Diterapkan ke Semua Jenis Kasus Tanpa Pembedaan
Sebagian sistem menerapkan satu ambang keputusan yang sama untuk semua jenis pertanyaan, padahal kasus yang sensitif atau berisiko tinggi butuh ambang yang lebih ketat dibanding pertanyaan umum. Tanpa pembedaan ini, loop yang sama bisa terlalu longgar untuk kasus berisiko tinggi sekaligus terlalu ketat untuk kasus sederhana.
Elemen Kunci Human in the Loop yang Efektif untuk AI Agent
Human in the loop yang benar-benar berfungsi selalu bisa diukur lewat lima elemen, arsitektur yang mendukung pengenalan titik keputusan secara akurat, metrik granular per kategori kasus, ambang eskalasi yang disesuaikan dengan tingkat risiko, transfer konteks penuh saat loop terpicu, dan proses audit berkelanjutan.
1. Arsitektur yang Mendukung Pengenalan Titik Keputusan Secara Akurat
Riset yang sama membandingkan arsitektur single-agent, satu model menangani seluruh keputusan, dengan arsitektur multi-agent, beberapa model khusus menangani deteksi dan routing secara terpisah.
| Metrik | Single-Agent (GPT-4.1) | Single-Agent (Gemini 2.5 Flash) | Multi-Agent (GPT-4.1) | Multi-Agent (Gemini 2.5 Flash) |
|---|---|---|---|---|
| Macro F1-Score | 0,5356 | 0,3333 | 0,6159 | 0,6260 |
| AUC | 0,7017 | 0,6053 | 0,6881 | 0,6646 |
Arsitektur multi-agent konsisten unggul dalam mengenali titik keputusan yang tepat, karena komponen deteksi dan komponen routing tidak saling membebani satu sama lain seperti pada single-agent yang harus menangani semuanya sekaligus. Ini menunjukkan bahwa human in the loop yang efektif bukan cuma soal ada tidaknya jalur eskalasi, tapi soal arsitektur di baliknya yang menentukan seberapa akurat jalur itu terpicu. Memahami berbagai tipe AI Agent yang beredar di pasar membantu menilai arsitektur mana yang sebenarnya dipakai sebuah vendor, bukan sekadar istilah pemasaran yang digunakan.
2. Metrik Granular per Kategori Kasus, Bukan Hanya Skor Rata-Rata
Precision dan recall perlu diukur terpisah untuk kasus yang butuh eskalasi dan kasus yang tidak, karena performa di satu kategori bisa menutupi kegagalan di kategori lain. Model dengan recall tinggi pada kasus yang butuh eskalasi belum tentu punya precision yang sama baiknya pada kasus yang tidak butuh eskalasi, dan sebaliknya, sehingga kedua sisi ini perlu dipantau sebagai pasangan, bukan angka tunggal.
3. Ambang Eskalasi yang Disesuaikan dengan Tingkat Risiko
Kasus yang menyangkut transaksi keuangan atau keluhan yang menyebutkan kata-kata bernada frustrasi tinggi sebaiknya punya ambang eskalasi yang lebih longgar, lebih mudah dialihkan ke manusia, dibanding pertanyaan umum seperti jam operasional. Loop yang efektif menyesuaikan sensitivitasnya berdasarkan konteks kasus, bukan menerapkan satu ambang yang sama untuk semua situasi. Menetapkan KPI AI Agent yang berbeda per segmen risiko membantu memastikan penyesuaian ini terukur, bukan hanya berdasarkan intuisi tim.
4. Transfer Konteks Penuh Saat Loop Terpicu
Begitu loop terpicu dan kasus diserahkan ke manusia, seluruh riwayat dan konteks percakapan harus ikut berpindah, supaya keterlibatan manusia benar-benar produktif, bukan dimulai dari nol. Loop yang efektif tapi kehilangan konteks saat transfer tetap menghasilkan pengalaman yang buruk, meski keputusan untuk melibatkan manusia sendiri sudah tepat.
5. Proses Audit Berkelanjutan terhadap Performa Loop
Performa loop perlu diaudit secara berkala menggunakan sampel percakapan nyata, bukan diasumsikan tetap baik setelah pengujian awal. Pola trafik dan jenis pertanyaan pelanggan berubah seiring waktu, dan ambang yang tepat di awal implementasi bisa jadi tidak lagi relevan beberapa bulan kemudian.
Cara Merancang dan Menguji Arsitektur Human in the Loop Anda
Kelima elemen di atas bisa diterjemahkan menjadi proses konkret untuk merancang dan memvalidasi loop pada sistem AI Agent Anda sendiri.
1. Ambil Sampel Percakapan dan Beri Label Ground Truth
Kumpulkan sampel percakapan nyata dan minta manusia melabeli setiap kasus, seharusnya dieskalasi atau tidak, secara independen dari keputusan yang diambil sistem saat itu. Label ini menjadi ground truth untuk mengukur seberapa akurat loop Anda saat ini.
2. Hitung Precision dan Recall Secara Terpisah untuk Kedua Kelas
Bandingkan keputusan sistem dengan ground truth, lalu hitung precision dan recall secara terpisah untuk kasus yang seharusnya dieskalasi dan kasus yang seharusnya tidak. Perbedaan mencolok antara keduanya menunjukkan di sisi mana loop Anda lemah.
3. Uji Ambang Eskalasi pada Beberapa Segmen Kasus Berbeda
Jangan menguji ambang eskalasi hanya pada satu jenis pertanyaan. Bagi sampel Anda berdasarkan tingkat sensitivitas atau risiko, lalu lihat apakah ambang yang sama memberikan hasil yang wajar di semua segmen atau perlu disesuaikan per segmen.
4. Verifikasi Konteks yang Ikut Berpindah Saat Eskalasi
Untuk setiap kasus yang berhasil dieskalasi dengan benar, periksa apakah agen manusia menerima konteks yang cukup untuk melanjutkan tanpa bertanya ulang ke pelanggan. Loop yang akurat secara keputusan tapi buruk secara transfer konteks tetap menghasilkan pengalaman yang buruk.
5. Jadwalkan Pengujian Ulang Secara Berkala
Ulangi keempat langkah di atas setiap beberapa bulan, atau setiap kali ada perubahan signifikan pada jenis pertanyaan yang masuk. Loop yang akurat hari ini tidak otomatis tetap akurat setelah pola trafik pelanggan berubah.
Strategi Menjaga Human in the Loop Tetap Efektif dari Waktu ke Waktu
Merancang loop yang akurat di awal implementasi tidak cukup tanpa strategi menjaganya tetap relevan seiring bisnis berkembang.
1. Libatkan Tim CS dalam Menentukan Ambang Risiko, Bukan Hanya Tim Teknis
Tim CS yang berhadapan langsung dengan pelanggan biasanya punya intuisi lebih tajam soal kasus mana yang sebenarnya berisiko tinggi dibanding tim teknis yang hanya melihat data. Libatkan mereka sejak tahap menentukan ambang eskalasi, bukan hanya diminta pendapat setelah sistem berjalan.
2. Pantau Rasio Eskalasi sebagai Sinyal, Bukan Target
Jangan menjadikan “mengurangi rasio eskalasi” sebagai target keberhasilan, karena itu bisa mendorong tim menyetel sistem untuk menghindari eskalasi, bukan untuk mengenalinya dengan akurat. Pantau rasio ini sebagai sinyal untuk diselidiki kalau berubah drastis, bukan angka yang harus terus ditekan.
3. Dokumentasikan Setiap Perubahan pada Ambang dan Logikanya
Catat setiap penyesuaian pada ambang eskalasi, kapan dilakukan dan alasannya, supaya tim bisa menelusuri penyebab kalau performa loop tiba-tiba menurun setelah sebuah perubahan diterapkan.
4. Bandingkan Performa Loop Antar Segmen Pelanggan
Performa loop bisa berbeda signifikan antar segmen pelanggan, misalnya pelanggan baru versus pelanggan lama, atau antar channel komunikasi. Pantau performa ini secara terpisah, bukan hanya angka gabungan yang bisa menutupi masalah di satu segmen tertentu.
5. Uji Arsitektur Secara Berkala, Bukan Hanya Ambangnya
Selain menyesuaikan ambang, tinjau ulang apakah arsitektur di baliknya, single-agent atau multi-agent, masih memadai seiring volume dan kompleksitas kasus yang dihadapi terus bertambah. Solusi AI Agent untuk customer service yang dibangun di atas arsitektur multi-agent umumnya punya ruang lebih besar untuk menyeimbangkan akurasi ini dibanding sistem yang mengandalkan satu model untuk semua keputusan.
Loop yang Baik Diukur, Bukan Diasumsikan
Human in the loop bukan fitur yang cukup ada, tapi mekanisme yang perlu terus diukur seberapa akurat ia mengenali momen yang tepat. Data dari riset yang dibahas di artikel ini menunjukkan bahwa skor akurasi keseluruhan yang terlihat baik bisa menyembunyikan kegagalan serius di kelas kasus yang justru paling menentukan kualitas layanan.
Jelajahi solusi customer engagement dari Qiscus untuk melihat bagaimana pendekatan berbasis data ini diterapkan pada AI Agent yang bisa diuji langsung dengan kebutuhan bisnis Anda.
Pertanyaan yang Sering Ditanyakan tentang AI Agent Human in the Loop
Human in the loop operasional bekerja secara real time, menentukan kapan sebuah percakapan yang sedang berlangsung perlu diserahkan ke manusia. Human in the loop untuk training model bekerja di belakang layar, memakai feedback dan koreksi manusia untuk memperbaiki model dari waktu ke waktu, seperti yang dibahas di artikel terpisah soal training bot yang ditautkan di awal artikel ini.
Ukur precision dan recall secara terpisah untuk kasus yang seharusnya dieskalasi dan yang tidak, menggunakan sampel percakapan nyata yang dilabeli manusia sebagai ground truth. Kesenjangan besar antara kedua metrik ini menunjukkan loop Anda lemah di salah satu sisi, meski skor akurasi keseluruhannya terlihat baik.
Tidak selalu wajib, tapi data menunjukkan multi-agent secara konsisten lebih baik dalam menyeimbangkan akurasi pada kedua sisi keputusan dibanding single-agent. Untuk bisnis dengan volume kasus rendah dan kompleksitas terbatas, single-agent yang diuji dan disetel dengan baik masih bisa memadai.
Tidak selalu, rasio eskalasi yang tinggi bisa jadi mencerminkan bentuk asli trafik yang memang butuh banyak keterlibatan manusia, bukan tanda kegagalan AI. Yang lebih penting dinilai adalah apakah eskalasi itu terjadi pada kasus yang tepat, bukan sekadar seberapa sering eskalasi terjadi.
Idealnya ditinjau setiap kali ada perubahan signifikan pada jenis pertanyaan pelanggan atau setiap beberapa bulan sebagai rutinitas, karena pola trafik yang berubah bisa membuat ambang yang tadinya akurat menjadi kurang relevan. Jangan menunggu sampai keluhan pelanggan meningkat baru meninjau ulang ambang ini.
