Compteur de tokens IA et inspecteur de contexte
Examinez la place du texte, du code et du JSON dans un budget de tokens avant de les intégrer à une application IA. Inspectez le découpage, comparez deux versions ou assemblez instructions, historique et documents dans un contexte mesurable.
Chargement de l'outil…
Compter les mots ne suffit pas
Un tokenizer découpe le texte en éléments issus d’un vocabulaire fixe. Un mot courant peut occuper un seul token ; la ponctuation, les espaces, le code et les langues autres que l’anglais peuvent se découper différemment. Diviser le nombre de caractères par quatre ne donne pas un résultat exact pour un texte quelconque.
Ce compteur utilise o200k_base et cl100k_base, deux encodages BPE identifiés, via la bibliothèque gpt-tokenizer fournie avec l’outil. Choisissez l’encodage adapté à votre application. Le compte est exact pour cet encodage et le texte littéral fourni ; ce n’est pas un compte universel pour tous les modèles IA. Aucun modèle IA ne s’exécute et aucune entrée n’est envoyée à un service IA. La tokenisation s’effectue sur votre appareil, dans une tâche de fond du navigateur, pour garder la page réactive.
L’aperçu montre les limites des tokens et peut révéler espaces, sauts de ligne et identifiants. Certains tokens ne contiennent qu’une partie d’un caractère UTF-8. Ils sont regroupés visuellement pour préserver la lisibilité des emoji et des autres caractères ; leurs identifiants individuels sont conservés. Le compteur de caractères mesure les points de code Unicode, pas nécessairement les symboles visibles : un emoji composé peut contenir plusieurs points de code.
Quel encodage de tokenizer choisir ?
Un encodage définit le vocabulaire et les règles de découpage du texte en identifiants de tokens. Choisissez celui de votre modèle cible. Les noms 100k et 200k désignent des familles de vocabulaires, pas la capacité de contexte du modèle.
| Encodage | Exemples de modèles qui l’utilisent | Ce qui change |
|---|---|---|
o200k_base | GPT-4o, GPT-4o mini | Des fragments de texte et des identifiants différents ; certains textes non anglophones occupent moins de tokens. |
cl100k_base | GPT-4, GPT-4 Turbo, GPT-3.5 Turbo, text-embedding-3-small et text-embedding-3-large | Un autre vocabulaire ; choisissez-le s’il correspond à votre modèle de conversation ou d’embedding. |
Par exemple, お誕生日おめでとう occupe 8 tokens avec o200k_base et 9 avec cl100k_base. Deux encodages peuvent aussi donner le même compte tout en attribuant des fragments ou des identifiants différents. Changer la sélection recompte votre texte ; cela ne change ni votre modèle ni sa facture.
Ces exemples suivent le guide des tokenizers d’OpenAI (en anglais). Vérifiez le modèle et la version utilisés, sans supposer que tous les modèles plus récents emploient le même encodage. Aucun des deux ne représente Claude, Gemini ou tous les autres fournisseurs. Pour explorer, gardez la valeur par défaut et changez d’encodage pour observer les différences.
Comparer un prompt ou préparer son contexte
Le mode Comparer des textes mesure une version initiale et une version révisée. Un compte inférieur indique que l’encodage choisi utilise moins de tokens, pas que le nouveau prompt donnera une meilleure réponse.
Dans Préparer le contexte, remplissez les blocs utiles. Les blocs non vides sont joints dans l’ordre affiché avec deux sauts de ligne. Le texte assemblé est recompté au lieu d’additionner les comptes séparés. Les séparateurs et les limites des tokens peuvent modifier le résultat. L’outil ne transforme pas ces blocs en messages API et n’ajoute aucun nom de rôle.
Indiquez une capacité de contexte, une réserve de sortie et une éventuelle marge de surcoût. Les valeurs initiales sont un exemple de budget, pas la configuration d’un modèle. L’espace restant se calcule ainsi :
remaining = capacity - text tokens - output reserve - extra overhead
Le format des messages API, les définitions d’outils traitées par un fournisseur, les images et les autres entrées non textuelles peuvent ajouter des tokens. Vérifiez séparément les exigences du fournisseur. Un budget limité au texte ne garantit pas qu’une requête complète respecte ses limites.
Pour la requête elle-même, le générateur de commandes cURL prépare une commande sans l’envoyer. Notre guide des requêtes JSON, formulaire et multipart explique pourquoi ces formats ne sont pas interchangeables. Aucun texte n’est transféré entre les outils.
Simuler un coût avec vos propres tarifs
Ouvrez Simulation de coût et indiquez les tarifs en USD par million de tokens. Renseignez la sortie prévue, le nombre d’appels répétés et la part d’entrée que vous prévoyez de facturer au tarif du cache. Le calcul utilise l’entrée inspectée et votre marge. En mode comparaison, il utilise la version A.
cost per call = ((input - cached) × input rate
+ cached × cached rate
+ expected output × output rate) / 1,000,000
La sortie prévue est distincte de l’espace réservé. Les tarifs initiaux sont de 0,75 USD en entrée, 0,075 USD en entrée mise en cache et 4,50 USD en sortie par million de tokens, d’après les tarifs texte standard de GPT-5.4 mini (en anglais), vérifiés le 27 octobre 2026. Ce sont des exemples modifiables, pas une sélection de modèle ni des prix actualisés en direct. Changer de tokenizer conserve vos tarifs. L’éligibilité au cache, les tokens de raisonnement, les frais d’outils, les taxes et les autres frais ne sont pas déduits. L’estimation suppose la même entrée et la même sortie à chaque appel ; une conversation qui s’allonge demande une autre simulation.
Conserver un résultat vérifiable
Copiez ou téléchargez le rapport JSON pour conserver l’entrée, l’encodage choisi, tous les identifiants de tokens et les paramètres valides de budget et de coût. Il contient votre texte : relisez-le avant de le partager. Les textes ne sont pas enregistrés dans le stockage du navigateur ni dans des URL de partage ; les entrées et résultats sont effacés lorsque vous quittez la page. Des requêtes de page et de ressources ont toujours lieu, comme l’explique le guide d’inspection réseau du navigateur.
Les entrées actives sont limitées à 50 000 unités UTF-16, séparateurs du contexte inclus. De nombreux emoji occupent deux unités. La visualisation affiche environ les 600 premiers tokens, en terminant un groupe si nécessaire pour préserver un caractère ; les comptes et les identifiants du rapport couvrent tout le texte accepté. Les caractères Unicode incomplets sont refusés et une analyse trop longue peut être annulée. Les chaînes ressemblant à des tokens spéciaux, comme <|endoftext|>, sont comptées comme du texte ordinaire.
Comment utiliser cet outil
- Choisissez Inspecter un texte, Comparer des textes ou Préparer le contexte. Cliquez sur le nom souligné du tokenizer pour choisir un encodage et lire sa description ; l’icône d’information affiche aussi une courte explication.
o200k_base, le plus récent des deux encodages proposés, est sélectionné au départ. - Collez votre texte ou ouvrez Charger l’exemple et choisissez dans la liste. Le chargement remplace les textes de l’espace actif. Les exemples couvrent le code, JSON, HTML, Markdown, CSV, les prompts, plusieurs langues et la documentation récupérée. Le compte se met à jour après une courte pause.
- Affichez les identifiants ou les espaces pour examiner le découpage. En mode contexte, relisez aussi le texte assemblé.
- Réglez votre budget de contexte. Vous pouvez saisir vos tarifs dans Simulation de coût.
- Copiez ou téléchargez le rapport pour conserver le résultat. Annulez une analyse si vous devez raccourcir le texte.
Vos données restent dans votre navigateur
Cet outil traite vos données sur votre appareil. Le texte, les fichiers ou les mots de passe saisis et les résultats produits ne sont envoyés ni à nos serveurs ni à un autre serveur.
Le chargement des pages et de leurs ressources génère des requêtes. En production, les pages chargent aussi Google Tag Manager, Cloudflare Web Analytics et les publicités AdSense ; le code des outils ne transmet ni vos saisies ni vos résultats aux services de mesure ou de publicité. Consultez notre politique de confidentialité.
Pour examiner les requêtes pendant l'utilisation de l'outil, ouvrez les outils de développement de votre navigateur, puis l'onglet Réseau. Faites un essai avec des données fictives.
Consultez Comment examiner les requêtes réseau dans Chrome, Firefox, Edge et Safari.
Pour aller plus loin
- OpenAI : comptage des tokens (en anglais) explique pourquoi une requête API complète dépasse le simple texte tokenisé localement. Son API de comptage n’est pas utilisée ici.
- Claude : comptage des tokens décrit le comptage propre au fournisseur. Aucun des deux encodages proposés ici n’est présenté comme le tokenizer de Claude.
- GPT Tokenizer playground (en anglais) permet d’explorer autrement le comportement de la bibliothèque.