Salah satu generative AI yang populer saat ini adalah Gemini AI dari Google. Dengan kemampuan canggih yang ditawarkannya, Gemini AI menarik perhatian banyak orang untuk berlangganan.

Layanan ini bisa dimanfaatkan untuk melakukan berbagai tugas, seperti menghasilkan teks, gambar, audio, video, dan bahkan coding.

Namun, sebelum Anda memutuskan untuk berlangganan, sekiranya memahami terlebih dahulu beberapa aspek penting dari Gemini AI, termasuk penggunaan token.

Apa itu Token?

Dalam konteks Gemini AI dan model generative AI lainnya, token adalah unit terkecil dari informasi yang diproses.

Token dapat berupa karakter tunggal, seperti ‘A’, atau kata utuh, seperti ‘mobil’. Kata-kata yang lebih panjang akan dipecah menjadi beberapa token.

Kumpulan semua token yang digunakan oleh model generative AI disebut kosakata, sementara proses pemisahan teks menjadi token disebut tokenization.

Dalam acara ‘Let’s Talk AI’ yang baru-baru ini digelar Google Cloud di Singapura, Caroline Yap (Managing Director, Global AI Business di Google Cloud) mengatakan, "Token adalah cara LLMs (large language models) ini mengetahui cara memproses informasi dan hal-hal yang Anda masukkan. Dan token juga dapat bervariasi untuk gambar. Jadi misalnya, gambar deteksi kanker payudara dan sebagainya ini bervariasi. Jadi ini bukan satu ukuran yang cocok untuk semua. Setiap model menggunakan jumlah token rata-rata yang berbeda."

Untuk model Gemini AI, Caroline menjelaskan bahwa rata-rata 1,3 token digunakan per kata dalam bahasa Inggris, dan hingga empat token per kata dalam bahasa Arab. “Dan terkadang bisa lebih,” tambahnya.

Context Window di Gemini AI

Gemini AI, khususnya model Gemini 1.5 Pro, memiliki fitur menonjol yaitu context window yang sangat luas, mencapai 2 juta token. Sebelumnya, jumlah token ini hanya mencapai 1 juta.

Context window adalah jumlah informasi yang dapat "diingat" oleh model generative AI dalam satu waktu.

Semakin besar context window, semakin banyak informasi yang dapat diproses untuk menghasilkan output yang relevan dan kontekstual.

Dengan kapasitas 2 juta token, Gemini 1.5 Pro dapat memproses teks panjang seperti dokumen penelitian, buku, atau kode program besar.

Secara lebih spesifik, 2 juta token setara dengan sekitar 1,4 juta kata, 2 jam video, atau 22 jam audio.

“Karena kami memiliki context windows terbesar di pasaran saat ini dengan 2 juta token, itu berarti (mampu menghasilkan) 2 jam video dan bahkan 60.000 baris kode (untuk coding),” papar Caroline.

Gemini AI dari Google membuka peluang besar dalam inovasi di bidang AI, termasuk pengembangan asisten virtual yang lebih pintar dan alat produktivitas yang lebih canggih.

Dengan memahami konsep dari token dan context window, Anda dapat memanfaatkan Gemini AI secara maksimal sesuai kebutuhan Anda, khususnya untuk mendukung bisnis.