Gemini dan model AI generatif lainnya memproses input dan output pada tingkat perincian disebut token.
Panduan ini menjelaskan cara mendapatkan jendela konteks model tertentu, serta cara penghitungan token untuk kasus penggunaan seperti input teks, chat, multimodal input, serta petunjuk dan alat sistem.
Tentang token
Token dapat berupa karakter tunggal seperti z atau seluruh kata seperti cat. Kata-kata panjang
dipecah menjadi beberapa token. Kumpulan semua token yang digunakan oleh model adalah
disebut kosakata, dan proses pemisahan teks menjadi token disebut
tokenization.
Untuk model Gemini, token setara dengan sekitar 4 karakter. 100 token sama dengan sekitar 60-80 kata bahasa Inggris.
Jika penagihan diaktifkan, biaya panggilan ke Gemini API adalah sebagian ditentukan oleh jumlah token input dan {i>output<i}, sehingga mengetahui cara tibble dapat membantu.