Gemini i inne modele generatywnej AI przetwarzają dane wejściowe i wyjściowe z dokładnością nazywany tokenem.
Z tego przewodnika dowiesz się, jak uzyskać okna kontekstów konkretnych modeli i dowiedz się, jak tokeny liczenia na potrzeby przypadków użycia takich jak wprowadzanie tekstu, czat, tryb multimodalny oraz instrukcje i narzędzia systemowe.
Informacje o tokenach
Tokenami mogą być pojedyncze znaki, np. z, lub całe słowa, np. cat. Długie słowa
są podzielone na kilka tokenów. Zbiór wszystkich tokenów używanych przez model to
to słownictwo, a proces dzielenia tekstu na tokeny nazywa się
tokenizacji.
W przypadku modeli Gemini token jest odpowiednikiem około 4 znaków. 100 tokenów to około 60–80 angielskich słów.
Gdy włączone są płatności, koszt wywołania interfejsu Gemini API wynosi określane częściowo na podstawie liczby tokenów wejściowych i wyjściowych, dzięki czemu wiesz, tokeny licznika, mogą być pomocne.