Token(s)
De små textbitar, ungefär ordfragment, som AI-modeller läser och genererar.
Tokens är de små textbitar, ungefär ordfragment, som AI-modeller läser och genererar.
Modeller arbetar inte i hela ord; de arbetar i tokens. Gränser som kontextfönstret räknas i tokens i stället för ord.
Det är mest en detalj bakom kulisserna, men det förklarar varför modellers kapacitet beskrivs i tokens och inte i sidor eller tecken.
Vill du se var ditt företag står i AI-svar?
Kör en analys