{"id":9007,"date":"2025-08-20T01:57:03","date_gmt":"2025-08-20T01:57:03","guid":{"rendered":"https:\/\/www.qiscus.com\/id\/?p=9007"},"modified":"2025-08-22T02:09:48","modified_gmt":"2025-08-22T02:09:48","slug":"anatomi-ai","status":"publish","type":"post","link":"https:\/\/www.qiscus.com\/id\/blog\/anatomi-ai\/","title":{"rendered":"Anatomi AI: Peran Tokenizer, Token, dan Context Window"},"content":{"rendered":"\n<p>Dalam pengembangan dan optimasi Large Language Models (LLM), terdapat tiga elemen krusial yang menentukan bagaimana model memproses dan memahami input teks: tokenizer, token, dan context window. Artikel ini akan menguraikan secara teknis bagaimana ketiga komponen tersebut bekerja, serta mengapa pemahaman terhadapnya penting dalam membangun solusi berbasis AI yang efisien dan scalable.<\/p>\n\n\n\n<div id=\"ez-toc-container\" class=\"ez-toc-v2_0_82_2 counter-hierarchy ez-toc-counter ez-toc-grey ez-toc-container-direction\">\n<div class=\"ez-toc-title-container\">\n<p class=\"ez-toc-title\" style=\"cursor:inherit\">Daftar Isi<\/p>\n<span class=\"ez-toc-title-toggle\"><a href=\"#\" class=\"ez-toc-pull-right ez-toc-btn ez-toc-btn-xs ez-toc-btn-default ez-toc-toggle\" aria-label=\"Toggle Table of Content\"><span class=\"ez-toc-js-icon-con\"><span class=\"\"><span class=\"eztoc-hide\" style=\"display:none;\">Toggle<\/span><span class=\"ez-toc-icon-toggle-span\"><svg style=\"fill: #999;color:#999\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" class=\"list-377408\" width=\"20px\" height=\"20px\" viewBox=\"0 0 24 24\" fill=\"none\"><path d=\"M6 6H4v2h2V6zm14 0H8v2h12V6zM4 11h2v2H4v-2zm16 0H8v2h12v-2zM4 16h2v2H4v-2zm16 0H8v2h12v-2z\" fill=\"currentColor\"><\/path><\/svg><svg style=\"fill: #999;color:#999\" class=\"arrow-unsorted-368013\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" width=\"10px\" height=\"10px\" viewBox=\"0 0 24 24\" version=\"1.2\" baseProfile=\"tiny\"><path d=\"M18.2 9.3l-6.2-6.3-6.2 6.3c-.2.2-.3.4-.3.7s.1.5.3.7c.2.2.4.3.7.3h11c.3 0 .5-.1.7-.3.2-.2.3-.5.3-.7s-.1-.5-.3-.7zM5.8 14.7l6.2 6.3 6.2-6.3c.2-.2.3-.5.3-.7s-.1-.5-.3-.7c-.2-.2-.4-.3-.7-.3h-11c-.3 0-.5.1-.7.3-.2.2-.3.5-.3.7s.1.5.3.7z\"\/><\/svg><\/span><\/span><\/span><\/a><\/span><\/div>\n<nav><ul class='ez-toc-list ez-toc-list-level-1 ' ><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-1\" href=\"https:\/\/www.qiscus.com\/id\/blog\/anatomi-ai\/#Apa_Itu_Tokenizer_Fungsi_dan_Cara_Kerjanya\" >Apa Itu Tokenizer? Fungsi dan Cara Kerjanya<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-2\" href=\"https:\/\/www.qiscus.com\/id\/blog\/anatomi-ai\/#Mengenal_Token_untuk_Mengukur_Efisiensi_AI\" >Mengenal Token untuk Mengukur Efisiensi AI<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-3\" href=\"https:\/\/www.qiscus.com\/id\/blog\/anatomi-ai\/#Apa_Itu_Context_Window_Kapasitas_Memori_Jangka_Pendek\" >Apa Itu Context Window? Kapasitas Memori Jangka Pendek<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-4\" href=\"https:\/\/www.qiscus.com\/id\/blog\/anatomi-ai\/#Mengapa_Perhitungan_Token_Sangat_Penting\" >Mengapa Perhitungan Token Sangat Penting?<\/a><ul class='ez-toc-list-level-3' ><li class='ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-5\" href=\"https:\/\/www.qiscus.com\/id\/blog\/anatomi-ai\/#1_Optimalisasi_Biaya\" >1. Optimalisasi Biaya<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-6\" href=\"https:\/\/www.qiscus.com\/id\/blog\/anatomi-ai\/#2_Efisiensi_Pemrosesan\" >2. Efisiensi Pemrosesan<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-7\" href=\"https:\/\/www.qiscus.com\/id\/blog\/anatomi-ai\/#3_Manajemen_Input_dan_Batasan_Context_Window\" >3. Manajemen Input dan Batasan Context Window<\/a><\/li><\/ul><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-8\" href=\"https:\/\/www.qiscus.com\/id\/blog\/anatomi-ai\/#Contoh_Skenario_Token_Tokenizer_dan_Context_Window\" >Contoh Skenario Token, Tokenizer, dan Context Window<\/a><ul class='ez-toc-list-level-3' ><li class='ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-9\" href=\"https:\/\/www.qiscus.com\/id\/blog\/anatomi-ai\/#1_Pelanggan_Mengirim_Pertanyaan\" >1. Pelanggan Mengirim Pertanyaan<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-10\" href=\"https:\/\/www.qiscus.com\/id\/blog\/anatomi-ai\/#2_Tokenizer_Bekerja_Mengubah_Teks\" >2. Tokenizer Bekerja Mengubah Teks<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-11\" href=\"https:\/\/www.qiscus.com\/id\/blog\/anatomi-ai\/#3_Model_AI_Memproses_dalam_Context_Window\" >3. Model AI Memproses dalam Context Window<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-12\" href=\"https:\/\/www.qiscus.com\/id\/blog\/anatomi-ai\/#4_Percakapan_Berlanjut_Context_Window_Penuh\" >4. Percakapan Berlanjut, Context Window Penuh<\/a><\/li><\/ul><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-13\" href=\"https:\/\/www.qiscus.com\/id\/blog\/anatomi-ai\/#FAQ_Teknis_Seputar_Tokenizer_dan_Context_Window\" >FAQ Teknis Seputar Tokenizer dan Context Window<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-14\" href=\"https:\/\/www.qiscus.com\/id\/blog\/anatomi-ai\/#Kesimpulan\" >Kesimpulan<\/a><\/li><\/ul><\/nav><\/div>\n<h2 class=\"wp-block-heading\"><span class=\"ez-toc-section\" id=\"Apa_Itu_Tokenizer_Fungsi_dan_Cara_Kerjanya\"><\/span>Apa Itu Tokenizer? Fungsi dan Cara Kerjanya<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n\n<p>Tokenizer adalah komponen fundamental dalam arsitektur LLM yang bertugas memetakan teks alami ke dalam bentuk representasi numerik yang dapat diproses oleh model. Proses ini disebut tokenisasi, di mana teks dipecah menjadi unit-unit kecil yang disebut token.<\/p>\n\n\n\n<p><strong>Cara Kerja dan Pentingnya Tokenizer:<\/strong><\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>Proses Encoding dan Decoding:<\/strong> Proses ini disebut <em>encoding<\/em> (teks ke token) dan <em>decoding<\/em> (token ke teks). Saat Anda mengirim <em>prompt<\/em> ke AI, <em>tokenizer<\/em> melakukan <em>encoding<\/em>. Ketika AI memberikan respons dalam bentuk angka (token), <em>tokenizer<\/em> mengubahnya kembali menjadi teks yang dapat Anda baca (<em>decoding<\/em>).<\/li>\n\n\n\n<li><strong>Efisiensi dan Kualitas:<\/strong> <em>Tokenizer<\/em> yang baik dan efisien dapat memecah teks menjadi token yang lebih sedikit untuk jumlah kata yang sama. Misalnya, satu <em>tokenizer<\/em> mungkin memecah kata \u201cIndonesia\u201d menjadi satu token, sementara yang lain memecahnya menjadi Ind, one, sia. Tentu, <em>tokenizer<\/em> yang pertama lebih efisien karena menggunakan lebih sedikit token. Ini secara langsung memengaruhi kecepatan pemrosesan dan biaya.<\/li>\n\n\n\n<li><strong>Waktu Pemrosesan & Biaya:<\/strong> Memahami cara kerja <em>tokenizer<\/em> membantu Anda menyadari bahwa panjang teks tidak selalu berkorelasi langsung dengan jumlah token. <em>Tokenizer<\/em> yang berbeda bisa menghasilkan jumlah token yang berbeda untuk teks yang sama.<\/li>\n\n\n\n<li><strong>Pilihan Model AI:<\/strong> Saat memilih model AI, Anda juga secara tidak langsung memilih <em>tokenizer<\/em> yang digunakan. <em>Tokenizer<\/em> yang lebih efisien akan menghasilkan biaya yang lebih rendah untuk volume komunikasi yang tinggi.<\/li>\n<\/ul>\n\n\n\n<p>Contoh: <\/p>\n\n\n\n<figure class=\"wp-block-image\"><img loading=\"lazy\" decoding=\"async\" width=\"878\" height=\"113\" src=\"https:\/\/www.qiscus.com\/id\/wp-content\/uploads\/sites\/2\/2025\/08\/Screenshot-2025-07-30-000708.png\" alt=\"cara kerja tokenizer\" class=\"wp-image-9008\" srcset=\"https:\/\/www.qiscus.com\/id\/wp-content\/uploads\/sites\/2\/2025\/08\/Screenshot-2025-07-30-000708.png 878w, https:\/\/www.qiscus.com\/id\/wp-content\/uploads\/sites\/2\/2025\/08\/Screenshot-2025-07-30-000708-300x39.png 300w, https:\/\/www.qiscus.com\/id\/wp-content\/uploads\/sites\/2\/2025\/08\/Screenshot-2025-07-30-000708-768x99.png 768w, https:\/\/www.qiscus.com\/id\/wp-content\/uploads\/sites\/2\/2025\/08\/Screenshot-2025-07-30-000708-380x49.png 380w, https:\/\/www.qiscus.com\/id\/wp-content\/uploads\/sites\/2\/2025\/08\/Screenshot-2025-07-30-000708-800x103.png 800w\" sizes=\"auto, (max-width: 878px) 100vw, 878px\" \/><\/figure>\n\n\n\n<p>Setiap token direpresentasikan sebagai angka indeks dari <em>vocabulary<\/em> model, lalu diubah menjadi vektor embedding. Vektor ini menjadi masukan ke dalam jaringan neural untuk diproses lebih lanjut.<\/p>\n\n\n\n<p>Tokenizer modern seperti Byte Pair Encoding (BPE) atau Sentence Piece menggunakan pendekatan subword untuk menangani variasi bahasa dan struktur morfologis yang kompleks, memungkinkan efisiensi tokenisasi dalam berbagai bahasa.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><span class=\"ez-toc-section\" id=\"Mengenal_Token_untuk_Mengukur_Efisiensi_AI\"><\/span>Mengenal Token untuk Mengukur Efisiensi AI<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n\n<p>Token adalah unit dasar teks yang digunakan oleh LLM untuk memahami, memproses, dan menghasilkan bahasa. Setiap interaksi dengan Large Language Model (LLM)\u2014baik berupa prompt (input dari pengguna) maupun completion (output dari model)\u2014diproses dan dihitung dalam satuan token.<\/p>\n\n\n\n<p>Dalam konteks teknis, token bisa berupa kata, sub-kata, atau bahkan karakter tergantung pada algoritma tokenisasi yang digunakan (misalnya Byte Pair Encoding atau SentencePiece).<\/p>\n\n\n\n<p><strong>Token dan Cara Kerjanya:<\/strong><\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>Token sebagai Fondasi:<\/strong> Token adalah fondasi dari semua interaksi yang Anda lakukan dengan AI. Ketika Anda mengetik \u201cHalo, bagaimana kabarmu?\u201d, model AI tidak melihat kalimat itu sebagai satu kesatuan. Ia melihatnya sebagai beberapa token terpisah.<\/li>\n\n\n\n<li><strong>Mengapa Bukan Kata?<\/strong> Mengapa AI tidak bekerja dengan kata-kata? Karena jumlah kata dalam suatu bahasa bisa sangat besar dan terus bertambah, membuat model terlalu rumit untuk diproses. Dengan memecah kata menjadi token, model dapat bekerja dengan jumlah unit yang lebih kecil dan lebih efisien.<\/li>\n\n\n\n<li><strong>Manajemen Biaya API:<\/strong> Biaya penggunaan API LLM seringkali dihitung berdasarkan jumlah token input (prompt Anda) dan output (respons AI), bukan jumlah kata. Memahami hal ini sangat penting untuk mengelola anggaran.<\/li>\n\n\n\n<li><strong>Optimalisasi Prompt:<\/strong> Untuk menghemat biaya, Anda bisa melatih tim untuk membuat <em>prompt<\/em> yang ringkas, langsung, dan informatif. Setiap kata memiliki bobot biaya, dan setiap token dihitung.<\/li>\n<\/ul>\n\n\n\n<p>Contohnya: <\/p>\n\n\n\n<p>Kalimat \u201cApa itu machine learning?\u201d dapat dipecah menjadi beberapa token seperti<\/p>\n\n\n\n<figure class=\"wp-block-image size-full\"><img loading=\"lazy\" decoding=\"async\" width=\"859\" height=\"45\" src=\"https:\/\/www.qiscus.com\/id\/wp-content\/uploads\/sites\/2\/2025\/08\/Screenshot-2025-07-30-001938.png\" alt=\"pemecahan token\" class=\"wp-image-9009\" srcset=\"https:\/\/www.qiscus.com\/id\/wp-content\/uploads\/sites\/2\/2025\/08\/Screenshot-2025-07-30-001938.png 859w, https:\/\/www.qiscus.com\/id\/wp-content\/uploads\/sites\/2\/2025\/08\/Screenshot-2025-07-30-001938-300x16.png 300w, https:\/\/www.qiscus.com\/id\/wp-content\/uploads\/sites\/2\/2025\/08\/Screenshot-2025-07-30-001938-768x40.png 768w, https:\/\/www.qiscus.com\/id\/wp-content\/uploads\/sites\/2\/2025\/08\/Screenshot-2025-07-30-001938-380x20.png 380w, https:\/\/www.qiscus.com\/id\/wp-content\/uploads\/sites\/2\/2025\/08\/Screenshot-2025-07-30-001938-800x42.png 800w\" sizes=\"auto, (max-width: 859px) 100vw, 859px\" \/><\/figure>\n\n\n\n<p>Setiap kata atau frasa ini akan dikonversi menjadi ID numerik yang digunakan oleh model untuk pemrosesan internal.<\/p>\n\n\n\n<p>Total token dihitung sebagai:<\/p>\n\n\n\n<figure class=\"wp-block-image size-full\"><img loading=\"lazy\" decoding=\"async\" width=\"710\" height=\"61\" src=\"https:\/\/www.qiscus.com\/id\/wp-content\/uploads\/sites\/2\/2025\/08\/Screenshot-2025-07-30-002203.png\" alt=\"perhitungan token\" class=\"wp-image-9010\" srcset=\"https:\/\/www.qiscus.com\/id\/wp-content\/uploads\/sites\/2\/2025\/08\/Screenshot-2025-07-30-002203.png 710w, https:\/\/www.qiscus.com\/id\/wp-content\/uploads\/sites\/2\/2025\/08\/Screenshot-2025-07-30-002203-300x26.png 300w, https:\/\/www.qiscus.com\/id\/wp-content\/uploads\/sites\/2\/2025\/08\/Screenshot-2025-07-30-002203-380x33.png 380w\" sizes=\"auto, (max-width: 710px) 100vw, 710px\" \/><\/figure>\n\n\n\n<p>Perhitungan ini bukan hanya relevan untuk tujuan teknis, tetapi juga berdampak langsung terhadap: <\/p>\n\n\n\n<p>Biaya penggunaan API (karena banyak penyedia layanan seperti OpenAI mengenakan tarif per 1.000 token), performa inferensi, dan Batas maksimum context window dari model (yaitu jumlah maksimum token yang dapat diproses dalam satu sesi).<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><span class=\"ez-toc-section\" id=\"Apa_Itu_Context_Window_Kapasitas_Memori_Jangka_Pendek\"><\/span><strong>Apa Itu <\/strong><strong><em>Context Window<\/em><\/strong><strong>? Kapasitas Memori Jangka Pendek<\/strong><span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n\n<p><em>Context Window<\/em> adalah batas jumlah token yang dapat diproses model AI dalam satu kali interaksi atau percakapan. Ini adalah kapasitas maksimum input dan output yang dapat ditangani model dalam satu sesi. Ketika sebuah percakapan melebihi batas token yang ditentukan, AI akan mulai \u201cmelupakan\u201d bagian-bagian awal dari percakapan tersebut.<\/p>\n\n\n\n<p><strong>Cara Kerja <\/strong><strong><em>Context Window<\/em><\/strong><strong>:<\/strong><\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>Batasan Memori:<\/strong> Setiap <a href=\"https:\/\/www.qiscus.com\/id\/blog\/large-language-model\/\">model LLM<\/a> memiliki <em>context window<\/em> yang berbeda-beda, mulai dari yang kecil (misalnya 4.096 token) hingga yang sangat besar (hingga 128.000 token atau lebih).<\/li>\n\n\n\n<li><strong>Masalah \u201cLupa\u201d AI:<\/strong> Jika <em>prompt<\/em> dan respons dalam satu percakapan melebihi batas token, model akan kehilangan konteks dari bagian awal percakapan. Ini dapat menyebabkan AI memberikan respons yang tidak relevan, tidak konsisten, atau bahkan \u201cmengarang\u201d fakta karena ia tidak lagi \u201cmengingat\u201d informasi penting yang Anda berikan sebelumnya.<\/li>\n\n\n\n<li><strong>Kualitas Interaksi & Layanan Pelanggan:<\/strong> Untuk memastikan <em>chatbot<\/em> AI Anda memberikan respons yang relevan, penting untuk menjaga percakapan tetap dalam batas <em>context window<\/em>. Jika percakapan terlalu panjang dan terperinci, Anda mungkin perlu melatih tim untuk merangkumnya atau memulai percakapan baru dengan konteks yang ringkas di awal.<\/li>\n\n\n\n<li><strong>Manajemen Biaya & Efisiensi:<\/strong> Panjang percakapan juga memengaruhi biaya. Percakapan yang lebih panjang membutuhkan lebih banyak token, yang secara langsung meningkatkan biaya API. Memantau panjang percakapan adalah kunci untuk mengelola anggaran.<\/li>\n<\/ul>\n\n\n\n<figure class=\"wp-block-image size-full\"><img loading=\"lazy\" decoding=\"async\" width=\"680\" height=\"240\" src=\"https:\/\/www.qiscus.com\/id\/wp-content\/uploads\/sites\/2\/2025\/08\/Screenshot-2025-07-30-003002.png\" alt=\"cara kerja contex window\" class=\"wp-image-9011\" srcset=\"https:\/\/www.qiscus.com\/id\/wp-content\/uploads\/sites\/2\/2025\/08\/Screenshot-2025-07-30-003002.png 680w, https:\/\/www.qiscus.com\/id\/wp-content\/uploads\/sites\/2\/2025\/08\/Screenshot-2025-07-30-003002-300x106.png 300w, https:\/\/www.qiscus.com\/id\/wp-content\/uploads\/sites\/2\/2025\/08\/Screenshot-2025-07-30-003002-380x134.png 380w\" sizes=\"auto, (max-width: 680px) 100vw, 680px\" \/><\/figure>\n\n\n\n<p>Setelah context window terisi penuh, token paling awal akan ter-<em>truncate<\/em>, dan informasi lama bisa hilang. Itulah sebabnya model bisa menjawab:<\/p>\n\n\n\n<p>\u201cMaaf, saya tidak bisa mengakses pertanyaan awal karena keterbatasan context window.\u201d<\/p>\n\n\n\n<p>Contoh kapasitas context window:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>GPT-3: 4.096 token<\/li>\n\n\n\n<li>GPT-4 Turbo: hingga 128.000 token<\/li>\n<\/ul>\n\n\n\n<p>Perlu dicatat bahwa context window besar membutuhkan lebih banyak <em>compute<\/em> dan <em>memory<\/em>, serta dapat memengaruhi latensi.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><span class=\"ez-toc-section\" id=\"Mengapa_Perhitungan_Token_Sangat_Penting\"><\/span>Mengapa Perhitungan Token Sangat Penting?<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n\n<p>Dalam setiap interaksi dengan LLM\u2014baik saat mengirim pertanyaan (<em>prompt<\/em>) maupun menerima jawaban (<em>response<\/em>)\u2014jumlah token yang digunakan merupakan unit dasar yang dihitung oleh sistem. Token bukan hanya representasi teks secara internal, tetapi juga menjadi satuan utama dalam <em>billing<\/em>, <em>resource allocation<\/em>, dan <em>performance tuning<\/em>.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\"><span class=\"ez-toc-section\" id=\"1_Optimalisasi_Biaya\"><\/span>1. Optimalisasi Biaya<span class=\"ez-toc-section-end\"><\/span><\/h3>\n\n\n\n<p>Layanan LLM komersial seperti OpenAI, Anthropic, Cohere, dan lainnya menetapkan harga berbasis jumlah token yang digunakan per permintaan. Artinya:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Token Input + Token Output = Token Usage Total<\/li>\n\n\n\n<li>Model seperti GPT-4 Turbo dapat memiliki harga berbeda tergantung kapasitas context window dan mode penggunaan (prompt vs. completion).<\/li>\n\n\n\n<li>Dengan memahami jumlah token yang dikonsumsi, engineer dapat mengontrol biaya operasional API, terutama dalam skenario high-volume seperti chatbot, dokumentasi otomatis, atau data extraction pipeline.<\/li>\n<\/ul>\n\n\n\n<p>Contoh: Jika biaya adalah $0.003 per 1.000 token, maka perbedaan antara 500 dan 3.000 token per query bisa sangat signifikan dalam skala besar.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\"><span class=\"ez-toc-section\" id=\"2_Efisiensi_Pemrosesan\"><\/span>2. Efisiensi Pemrosesan<span class=\"ez-toc-section-end\"><\/span><\/h3>\n\n\n\n<p>Token memengaruhi waktu inferensi (latency) dan konsumsi resource. Di mana semakin banyak token, semakin panjang input sequence yang harus diproses oleh model transformer. Selain itu, proses attention dan feed-forward dalam arsitektur LLM bersifat kuadrat terhadap panjang input (O(n\u00b2) di beberapa kasus), sehingga efisiensi dapat turun drastis jika jumlah token tidak dikendalikan dan menimbulkan dampak sebagai berikut:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Respons lebih lambat<\/li>\n\n\n\n<li>Konsumsi CPU\/GPU dan memori meningkat<\/li>\n\n\n\n<li>Potensi <em>rate limit<\/em> atau timeouts jika digunakan dalam edge computing atau sistem realtime<\/li>\n<\/ul>\n\n\n\n<h3 class=\"wp-block-heading\"><span class=\"ez-toc-section\" id=\"3_Manajemen_Input_dan_Batasan_Context_Window\"><\/span>3. Manajemen Input dan Batasan Context Window<span class=\"ez-toc-section-end\"><\/span><\/h3>\n\n\n\n<p>Setiap model LLM memiliki batas maksimum context window\u2014yaitu jumlah total token (input + output) yang dapat diproses sekaligus. Jika jumlah token melebihi batas ini:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Token awal akan <em>ter-truncate<\/em> atau diabaikan (menghilangkan konteks penting)<\/li>\n\n\n\n<li>Output bisa menjadi tidak relevan atau salah interpretasi<\/li>\n<\/ul>\n\n\n\n<p>Dengan mengelola token secara strategis, kita dapat:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Memastikan bagian terpenting dari prompt tidak hilang<\/li>\n\n\n\n<li>Menerapkan teknik summarization atau pre-token filtering untuk input panjang<\/li>\n\n\n\n<li>Menjaga kualitas output sambil tetap dalam batas limitasi model<\/li>\n<\/ul>\n\n\n\n<h2 class=\"wp-block-heading\"><span class=\"ez-toc-section\" id=\"Contoh_Skenario_Token_Tokenizer_dan_Context_Window\"><\/span>Contoh Skenario Token, Tokenizer, dan Context Window<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n\n<p>Memahami sinergi antara <strong>Token<\/strong>, <strong>Tokenizer<\/strong>, dan <strong><em>Context Window<\/em><\/strong> sangat penting. Mari kita lihat bagaimana ketiganya bekerja sama dalam skenario layanan pelanggan di sebuah platform <em>e-commerce<\/em>.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\"><span class=\"ez-toc-section\" id=\"1_Pelanggan_Mengirim_Pertanyaan\"><\/span>1. Pelanggan Mengirim Pertanyaan<span class=\"ez-toc-section-end\"><\/span><\/h3>\n\n\n\n<p>Seorang pelanggan memulai percakapan di <em>live chat<\/em> dengan pertanyaan: \u201cSaya mau tanya soal pengiriman produk A. Udah seminggu kok belum sampai ya?\u201d Pada saat yang sama, tim Anda harus bersiap untuk menanggapi permintaan pelanggan tersebut secara <em>real-time<\/em>.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\"><span class=\"ez-toc-section\" id=\"2_Tokenizer_Bekerja_Mengubah_Teks\"><\/span>2. <em>Tokenizer<\/em> Bekerja Mengubah Teks<span class=\"ez-toc-section-end\"><\/span><\/h3>\n\n\n\n<p>Di belakang layar, <em>Tokenizer<\/em> langsung bekerja untuk memecah kalimat pelanggan menjadi unit-unit kecil yang disebut Token. Misalnya, kalimat tersebut dipecah menjadi token-token seperti Saya, mau, tanya, soal, pengiriman, produk, A, dan seterusnya. Proses ini mengubah bahasa manusia menjadi format numerik yang dapat dipahami oleh model AI, dengan total sekitar 15-20 token tergantung pada algoritma <em>tokenizer<\/em> yang digunakan.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\"><span class=\"ez-toc-section\" id=\"3_Model_AI_Memproses_dalam_Context_Window\"><\/span>3. Model AI Memproses dalam <em>Context Window<\/em><span class=\"ez-toc-section-end\"><\/span><\/h3>\n\n\n\n<p><em>Prompt<\/em> yang telah diubah menjadi token ini, bersama dengan riwayat percakapan sebelumnya, akan masuk ke dalam <em>Context Window<\/em> model AI. Model kemudian menggunakan pengetahuannya untuk memahami bahwa ini adalah pertanyaan tentang status pengiriman. Berdasarkan informasi dalam <em>context window<\/em> dan kemampuannya, model dapat melakukan tindakan, seperti menggunakan <em>tool<\/em> yang terintegrasi (misalnya, ke sistem logistik) untuk mencari nomor pesanan pelanggan dan memberikan <em>update<\/em> status <em>real-time<\/em>.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\"><span class=\"ez-toc-section\" id=\"4_Percakapan_Berlanjut_Context_Window_Penuh\"><\/span>4. Percakapan Berlanjut, <em>Context Window<\/em> Penuh<span class=\"ez-toc-section-end\"><\/span><\/h3>\n\n\n\n<p>Jika percakapan terus berlanjut dengan detail yang sangat panjang, jumlah Token yang digunakan akan terus bertambah. Jika total token melebihi batas <em>Context Window<\/em>, model akan mulai \u201clupa\u201d bahwa pertanyaan awal adalah tentang \u201cproduk A\u201d. Ini dapat berujung pada respons yang tidak relevan atau tidak konsisten, dan mengharuskan agen manusia untuk mengambil alih dengan konteks yang tidak lengkap, yang bisa membuat pelanggan frustasi.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><span class=\"ez-toc-section\" id=\"FAQ_Teknis_Seputar_Tokenizer_dan_Context_Window\"><\/span>FAQ Teknis Seputar Tokenizer dan Context Window<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n\n<p><strong>Q: <\/strong>Apakah tokenizer mampu menangani struktur bahasa kompleks?<br><strong>A:<\/strong> Ya. Untuk bahasa seperti Arab, Mandarin, atau bahasa agglutinatif, digunakan teknik <em>subword tokenization<\/em> agar kata-kata kompleks tetap dapat direpresentasikan dengan efisien.<\/p>\n\n\n\n<p><strong>Q: <\/strong>Apa dampaknya jika tokenizer salah memotong kata?<strong><br>A:<\/strong> Kesalahan tokenisasi dapat menyebabkan distorsi makna, misalnya memotong \u201cunderstand\u201d menjadi \u201cunder\u201d + \u201cstand\u201d. Namun, LLM modern menggunakan konteks kalimat untuk memperbaiki ambiguitas semacam ini.<\/p>\n\n\n\n<p><strong>Q: <\/strong>Apakah lebih banyak token berarti hasil AI lebih baik?<strong><br>A:<\/strong> Tidak selalu. Meskipun konteks lebih luas bisa membantu, terlalu banyak token dapat menyebabkan output yang verbose atau kurang fokus. Optimasi adalah kuncinya.<\/p>\n\n\n\n<p><strong>Q: <\/strong>Bagaimana cara mengoptimasi penggunaan token?<br><strong>A:<\/strong><\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Gunakan prompt yang spesifik dan ringkas.<\/li>\n\n\n\n<li>Hindari redundansi.<\/li>\n\n\n\n<li>Terapkan teknik few-shot dengan contoh yang efisien.<\/li>\n\n\n\n<li>Manfaatkan fitur memory atau conversational history jika tersedia.<\/li>\n<\/ul>\n\n\n\n<p><strong>Q: <\/strong>Apakah context window yang lebih besar berarti AI lebih \u201ccerdas\u201d?<strong><br>A:<\/strong> Tidak otomatis. Walau context window besar memungkinkan pemrosesan konteks panjang, ada <em>trade-off<\/em> berupa peningkatan waktu proses dan konsumsi sumber daya.<\/p>\n\n\n\n<p><strong>Q: <\/strong>Apakah tokenizer menyimpan data pengguna?<br><strong>A:<\/strong> Tidak. Tokenizer hanya berfungsi mentransformasikan teks ke token. Penyimpanan data tergantung pada kebijakan sistem backend AI, termasuk enkripsi, logging, dan anonymization.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><span class=\"ez-toc-section\" id=\"Kesimpulan\"><\/span>Kesimpulan<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n\n<p>Pemahaman menyeluruh terhadap cara kerja tokenizer, token, dan context window menjadi kunci dalam penerapan LLM yang efisien dan terukur. Ketiga elemen ini memengaruhi bagaimana teks diproses, sejauh mana konteks dapat dimanfaatkan, serta seberapa besar beban komputasi dan biaya yang ditimbulkan. Dalam praktiknya seperti, <a href=\"https:\/\/platform.openai.com\/tokenizer\">OpenAI Tokenizer Tool<\/a> dapat digunakan untuk melihat bagaimana teks diubah menjadi token secara teknis, memberikan gambaran konkret mengenai struktur input dan output yang diolah oleh model.<\/p>\n","protected":false},"excerpt":{"rendered":"Dalam pengembangan dan optimasi Large Language Models (LLM), terdapat tiga elemen krusial yang menentukan bagaimana model memproses dan&hellip;\n","protected":false},"author":28,"featured_media":9087,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_monsterinsights_skip_tracking":false,"_monsterinsights_sitenote_active":false,"_monsterinsights_sitenote_note":"","_monsterinsights_sitenote_category":0,"footnotes":""},"categories":[3],"tags":[2207,2208,2209,2210,2211],"class_list":{"0":"post-9007","1":"post","2":"type-post","3":"status-publish","4":"format-standard","5":"has-post-thumbnail","7":"category-insight","8":"tag-ai-tokenization-strategy","9":"tag-context-window-gpt","10":"tag-prompt-engineering","11":"tag-token-cost-optimization","12":"tag-tokenizer-lllm"},"yoast_head":"<!-- This site is optimized with the Yoast SEO plugin v27.6 - https:\/\/yoast.com\/product\/yoast-seo-wordpress\/ -->\n<title>Anatomi AI: Peran Tokenizer, Token, dan Context Window<\/title>\n<meta name=\"description\" content=\"Pelajari teknis tokenizer, token, dan context window dalam LLM. Pahami cara ketiganya memengaruhi performa, biaya, dan efisiensi AI.\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/www.qiscus.com\/id\/blog\/anatomi-ai\/\" \/>\n<meta property=\"og:locale\" content=\"en_US\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Anatomi AI: Peran Tokenizer, Token, dan Context Window\" \/>\n<meta property=\"og:description\" content=\"Pelajari teknis tokenizer, token, dan context window dalam LLM. Pahami cara ketiganya memengaruhi performa, biaya, dan efisiensi AI.\" \/>\n<meta property=\"og:url\" content=\"https:\/\/www.qiscus.com\/id\/blog\/anatomi-ai\/\" \/>\n<meta property=\"og:site_name\" content=\"Omnichannel Conversational Platform\" \/>\n<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/Qiscus\" \/>\n<meta property=\"article:published_time\" content=\"2025-08-20T01:57:03+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2025-08-22T02:09:48+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/www.qiscus.com\/id\/wp-content\/uploads\/sites\/2\/2025\/08\/Anatomi-AI.webp\" \/>\n\t<meta property=\"og:image:width\" content=\"981\" \/>\n\t<meta property=\"og:image:height\" content=\"613\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/webp\" \/>\n<meta name=\"author\" content=\"Anggun Puspa Mahareja\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:creator\" content=\"@qiscus_io\" \/>\n<meta name=\"twitter:site\" content=\"@qiscus_io\" \/>\n<meta name=\"twitter:label1\" content=\"Written by\" \/>\n\t<meta name=\"twitter:data1\" content=\"Anggun Puspa Mahareja\" \/>\n\t<meta name=\"twitter:label2\" content=\"Est. reading time\" \/>\n\t<meta name=\"twitter:data2\" content=\"9 minutes\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\\\/\\\/schema.org\",\"@graph\":[{\"@type\":\"Article\",\"@id\":\"https:\\\/\\\/www.qiscus.com\\\/id\\\/blog\\\/anatomi-ai\\\/#article\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/www.qiscus.com\\\/id\\\/blog\\\/anatomi-ai\\\/\"},\"author\":{\"name\":\"Anggun Puspa Mahareja\",\"@id\":\"https:\\\/\\\/www.qiscus.com\\\/id\\\/#\\\/schema\\\/person\\\/da1967bc7f6d27333952a470c7d345e8\"},\"headline\":\"Anatomi AI: Peran Tokenizer, Token, dan Context Window\",\"datePublished\":\"2025-08-20T01:57:03+00:00\",\"dateModified\":\"2025-08-22T02:09:48+00:00\",\"mainEntityOfPage\":{\"@id\":\"https:\\\/\\\/www.qiscus.com\\\/id\\\/blog\\\/anatomi-ai\\\/\"},\"wordCount\":1707,\"commentCount\":0,\"image\":{\"@id\":\"https:\\\/\\\/www.qiscus.com\\\/id\\\/blog\\\/anatomi-ai\\\/#primaryimage\"},\"thumbnailUrl\":\"https:\\\/\\\/www.qiscus.com\\\/id\\\/wp-content\\\/uploads\\\/sites\\\/2\\\/2025\\\/08\\\/Anatomi-AI.webp\",\"keywords\":[\"AI Tokenization Strategy\",\"Context Window GPT\",\"Prompt Engineering\",\"Token Cost Optimization\",\"Tokenizer LLLM\"],\"articleSection\":[\"Insight\"],\"inLanguage\":\"en-US\",\"potentialAction\":[{\"@type\":\"CommentAction\",\"name\":\"Comment\",\"target\":[\"https:\\\/\\\/www.qiscus.com\\\/id\\\/blog\\\/anatomi-ai\\\/#respond\"]}]},{\"@type\":\"WebPage\",\"@id\":\"https:\\\/\\\/www.qiscus.com\\\/id\\\/blog\\\/anatomi-ai\\\/\",\"url\":\"https:\\\/\\\/www.qiscus.com\\\/id\\\/blog\\\/anatomi-ai\\\/\",\"name\":\"Anatomi AI: Peran Tokenizer, Token, dan Context Window\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/www.qiscus.com\\\/id\\\/#website\"},\"primaryImageOfPage\":{\"@id\":\"https:\\\/\\\/www.qiscus.com\\\/id\\\/blog\\\/anatomi-ai\\\/#primaryimage\"},\"image\":{\"@id\":\"https:\\\/\\\/www.qiscus.com\\\/id\\\/blog\\\/anatomi-ai\\\/#primaryimage\"},\"thumbnailUrl\":\"https:\\\/\\\/www.qiscus.com\\\/id\\\/wp-content\\\/uploads\\\/sites\\\/2\\\/2025\\\/08\\\/Anatomi-AI.webp\",\"datePublished\":\"2025-08-20T01:57:03+00:00\",\"dateModified\":\"2025-08-22T02:09:48+00:00\",\"author\":{\"@id\":\"https:\\\/\\\/www.qiscus.com\\\/id\\\/#\\\/schema\\\/person\\\/da1967bc7f6d27333952a470c7d345e8\"},\"description\":\"Pelajari teknis tokenizer, token, dan context window dalam LLM. Pahami cara ketiganya memengaruhi performa, biaya, dan efisiensi AI.\",\"breadcrumb\":{\"@id\":\"https:\\\/\\\/www.qiscus.com\\\/id\\\/blog\\\/anatomi-ai\\\/#breadcrumb\"},\"inLanguage\":\"en-US\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\\\/\\\/www.qiscus.com\\\/id\\\/blog\\\/anatomi-ai\\\/\"]}]},{\"@type\":\"ImageObject\",\"inLanguage\":\"en-US\",\"@id\":\"https:\\\/\\\/www.qiscus.com\\\/id\\\/blog\\\/anatomi-ai\\\/#primaryimage\",\"url\":\"https:\\\/\\\/www.qiscus.com\\\/id\\\/wp-content\\\/uploads\\\/sites\\\/2\\\/2025\\\/08\\\/Anatomi-AI.webp\",\"contentUrl\":\"https:\\\/\\\/www.qiscus.com\\\/id\\\/wp-content\\\/uploads\\\/sites\\\/2\\\/2025\\\/08\\\/Anatomi-AI.webp\",\"width\":981,\"height\":613,\"caption\":\"Perhitungan toket, tokenizer, dan context window pada AI.\"},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\\\/\\\/www.qiscus.com\\\/id\\\/blog\\\/anatomi-ai\\\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"Insight\",\"item\":\"https:\\\/\\\/www.qiscus.com\\\/id\\\/blog\\\/category\\\/insight\\\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"Anatomi AI: Peran Tokenizer, Token, dan Context Window\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\\\/\\\/www.qiscus.com\\\/id\\\/#website\",\"url\":\"https:\\\/\\\/www.qiscus.com\\\/id\\\/\",\"name\":\"Omnichannel Conversational Platform\",\"description\":\"Artikel bagi Perusahaan untuk memajukan Customer Experience\",\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\\\/\\\/www.qiscus.com\\\/id\\\/?s={search_term_string}\"},\"query-input\":{\"@type\":\"PropertyValueSpecification\",\"valueRequired\":true,\"valueName\":\"search_term_string\"}}],\"inLanguage\":\"en-US\"},{\"@type\":\"Person\",\"@id\":\"https:\\\/\\\/www.qiscus.com\\\/id\\\/#\\\/schema\\\/person\\\/da1967bc7f6d27333952a470c7d345e8\",\"name\":\"Anggun Puspa Mahareja\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"en-US\",\"@id\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/73b6e8217c8ec77a0d610f32024635b07e973655b7722f6e1a0b4be145830cf6?s=96&d=mm&r=g\",\"url\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/73b6e8217c8ec77a0d610f32024635b07e973655b7722f6e1a0b4be145830cf6?s=96&d=mm&r=g\",\"contentUrl\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/73b6e8217c8ec77a0d610f32024635b07e973655b7722f6e1a0b4be145830cf6?s=96&d=mm&r=g\",\"caption\":\"Anggun Puspa Mahareja\"},\"url\":\"https:\\\/\\\/www.qiscus.com\\\/id\\\/blog\\\/author\\\/anggun\\\/\"}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"Anatomi AI: Peran Tokenizer, Token, dan Context Window","description":"Pelajari teknis tokenizer, token, dan context window dalam LLM. Pahami cara ketiganya memengaruhi performa, biaya, dan efisiensi AI.","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/www.qiscus.com\/id\/blog\/anatomi-ai\/","og_locale":"en_US","og_type":"article","og_title":"Anatomi AI: Peran Tokenizer, Token, dan Context Window","og_description":"Pelajari teknis tokenizer, token, dan context window dalam LLM. Pahami cara ketiganya memengaruhi performa, biaya, dan efisiensi AI.","og_url":"https:\/\/www.qiscus.com\/id\/blog\/anatomi-ai\/","og_site_name":"Omnichannel Conversational Platform","article_publisher":"https:\/\/www.facebook.com\/Qiscus","article_published_time":"2025-08-20T01:57:03+00:00","article_modified_time":"2025-08-22T02:09:48+00:00","og_image":[{"width":981,"height":613,"url":"https:\/\/www.qiscus.com\/id\/wp-content\/uploads\/sites\/2\/2025\/08\/Anatomi-AI.webp","type":"image\/webp"}],"author":"Anggun Puspa Mahareja","twitter_card":"summary_large_image","twitter_creator":"@qiscus_io","twitter_site":"@qiscus_io","twitter_misc":{"Written by":"Anggun Puspa Mahareja","Est. reading time":"9 minutes"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"Article","@id":"https:\/\/www.qiscus.com\/id\/blog\/anatomi-ai\/#article","isPartOf":{"@id":"https:\/\/www.qiscus.com\/id\/blog\/anatomi-ai\/"},"author":{"name":"Anggun Puspa Mahareja","@id":"https:\/\/www.qiscus.com\/id\/#\/schema\/person\/da1967bc7f6d27333952a470c7d345e8"},"headline":"Anatomi AI: Peran Tokenizer, Token, dan Context Window","datePublished":"2025-08-20T01:57:03+00:00","dateModified":"2025-08-22T02:09:48+00:00","mainEntityOfPage":{"@id":"https:\/\/www.qiscus.com\/id\/blog\/anatomi-ai\/"},"wordCount":1707,"commentCount":0,"image":{"@id":"https:\/\/www.qiscus.com\/id\/blog\/anatomi-ai\/#primaryimage"},"thumbnailUrl":"https:\/\/www.qiscus.com\/id\/wp-content\/uploads\/sites\/2\/2025\/08\/Anatomi-AI.webp","keywords":["AI Tokenization Strategy","Context Window GPT","Prompt Engineering","Token Cost Optimization","Tokenizer LLLM"],"articleSection":["Insight"],"inLanguage":"en-US","potentialAction":[{"@type":"CommentAction","name":"Comment","target":["https:\/\/www.qiscus.com\/id\/blog\/anatomi-ai\/#respond"]}]},{"@type":"WebPage","@id":"https:\/\/www.qiscus.com\/id\/blog\/anatomi-ai\/","url":"https:\/\/www.qiscus.com\/id\/blog\/anatomi-ai\/","name":"Anatomi AI: Peran Tokenizer, Token, dan Context Window","isPartOf":{"@id":"https:\/\/www.qiscus.com\/id\/#website"},"primaryImageOfPage":{"@id":"https:\/\/www.qiscus.com\/id\/blog\/anatomi-ai\/#primaryimage"},"image":{"@id":"https:\/\/www.qiscus.com\/id\/blog\/anatomi-ai\/#primaryimage"},"thumbnailUrl":"https:\/\/www.qiscus.com\/id\/wp-content\/uploads\/sites\/2\/2025\/08\/Anatomi-AI.webp","datePublished":"2025-08-20T01:57:03+00:00","dateModified":"2025-08-22T02:09:48+00:00","author":{"@id":"https:\/\/www.qiscus.com\/id\/#\/schema\/person\/da1967bc7f6d27333952a470c7d345e8"},"description":"Pelajari teknis tokenizer, token, dan context window dalam LLM. Pahami cara ketiganya memengaruhi performa, biaya, dan efisiensi AI.","breadcrumb":{"@id":"https:\/\/www.qiscus.com\/id\/blog\/anatomi-ai\/#breadcrumb"},"inLanguage":"en-US","potentialAction":[{"@type":"ReadAction","target":["https:\/\/www.qiscus.com\/id\/blog\/anatomi-ai\/"]}]},{"@type":"ImageObject","inLanguage":"en-US","@id":"https:\/\/www.qiscus.com\/id\/blog\/anatomi-ai\/#primaryimage","url":"https:\/\/www.qiscus.com\/id\/wp-content\/uploads\/sites\/2\/2025\/08\/Anatomi-AI.webp","contentUrl":"https:\/\/www.qiscus.com\/id\/wp-content\/uploads\/sites\/2\/2025\/08\/Anatomi-AI.webp","width":981,"height":613,"caption":"Perhitungan toket, tokenizer, dan context window pada AI."},{"@type":"BreadcrumbList","@id":"https:\/\/www.qiscus.com\/id\/blog\/anatomi-ai\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Insight","item":"https:\/\/www.qiscus.com\/id\/blog\/category\/insight\/"},{"@type":"ListItem","position":2,"name":"Anatomi AI: Peran Tokenizer, Token, dan Context Window"}]},{"@type":"WebSite","@id":"https:\/\/www.qiscus.com\/id\/#website","url":"https:\/\/www.qiscus.com\/id\/","name":"Omnichannel Conversational Platform","description":"Artikel bagi Perusahaan untuk memajukan Customer Experience","potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/www.qiscus.com\/id\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"en-US"},{"@type":"Person","@id":"https:\/\/www.qiscus.com\/id\/#\/schema\/person\/da1967bc7f6d27333952a470c7d345e8","name":"Anggun Puspa Mahareja","image":{"@type":"ImageObject","inLanguage":"en-US","@id":"https:\/\/secure.gravatar.com\/avatar\/73b6e8217c8ec77a0d610f32024635b07e973655b7722f6e1a0b4be145830cf6?s=96&d=mm&r=g","url":"https:\/\/secure.gravatar.com\/avatar\/73b6e8217c8ec77a0d610f32024635b07e973655b7722f6e1a0b4be145830cf6?s=96&d=mm&r=g","contentUrl":"https:\/\/secure.gravatar.com\/avatar\/73b6e8217c8ec77a0d610f32024635b07e973655b7722f6e1a0b4be145830cf6?s=96&d=mm&r=g","caption":"Anggun Puspa Mahareja"},"url":"https:\/\/www.qiscus.com\/id\/blog\/author\/anggun\/"}]}},"_links":{"self":[{"href":"https:\/\/www.qiscus.com\/id\/wp-json\/wp\/v2\/posts\/9007","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.qiscus.com\/id\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.qiscus.com\/id\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.qiscus.com\/id\/wp-json\/wp\/v2\/users\/28"}],"replies":[{"embeddable":true,"href":"https:\/\/www.qiscus.com\/id\/wp-json\/wp\/v2\/comments?post=9007"}],"version-history":[{"count":10,"href":"https:\/\/www.qiscus.com\/id\/wp-json\/wp\/v2\/posts\/9007\/revisions"}],"predecessor-version":[{"id":9217,"href":"https:\/\/www.qiscus.com\/id\/wp-json\/wp\/v2\/posts\/9007\/revisions\/9217"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.qiscus.com\/id\/wp-json\/wp\/v2\/media\/9087"}],"wp:attachment":[{"href":"https:\/\/www.qiscus.com\/id\/wp-json\/wp\/v2\/media?parent=9007"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.qiscus.com\/id\/wp-json\/wp\/v2\/categories?post=9007"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.qiscus.com\/id\/wp-json\/wp\/v2\/tags?post=9007"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}