La classe StreamTokenizer prend un flux d'entrée et l'analyse en jetons ("tokens"), autorisant les jetons à être lus à un moment.

Le processus d'analyse est contrôlé par une table et un nombre de drapeaux qui peuvent être fixés à des états variés. L'objet StreamTokenizer peut reconnaître des identificateurs, des nombres, des chaînes de caractères mises entre guillemets et des styles de commentaires différents.

Les champs
double nval
Si le jeton (token) courant est un nombre, ce champ contient la valeur de ce nombre.
String sval
Si le jeton (token) courant est un mot, ce champ contient une chaîne de caractères représentant ce mot.
static int TT_EOF
Ce champ représente une constante indiquant que la fin du flux a été lue.
static int TT_EOL
Ce champ représente une constante indiquant que la fin de la ligne a été lue.
static int TT_NUMBER
Ce champ représente une constante indiquant qu'un nombre a été lu.
static int TT_WORD
Ce champ représente une constante indiquant qu'un mot a été lu.
int ttype
Après un appel à la méthode nextToken, ce champ contien le type du jeton venant d'être lu.

Les constructeurs
StreamTokenizer(InputStream is)
Dépréciée. Voir l'objet StreamTokenizer(Reader r).
StreamTokenizer(Reader r)
crée un objet StreamTokenizer qui analyse le flux de caractères passé en argument.

Les méthodes
void commentChar(int ch)
spécifie que l'argument de type char démarre un commentaire de ligne unique.
void eolIsSignificant(boolean flag)
détermine si les fins de ligne doivent être traitées comme des jetons.
int lineno()
retourne le numéro de ligne courante.
void lowerCaseMode(boolean fl)
détermine si le mot doit être automatiquement converti en casse minuscule.
int nextToken()
analyse le prochain jeton à partir du flux d'entrée de l'objet StreamTokenizer.
void ordinaryChar(int ch)
spécifie que l'argument de type char est "ordinaire" dans l'objet StreamTokenizer.
void ordinaryChars(int low, int hi)
spécifie que tout les caractères dans l'intervalle [low-hi] sont ordinaires dans l'objet StreamTokenizer.
void parseNumbers()
spécifie que les nombres doivent être analysés par l'objet StreamTokenizer.
void pushBack()
entraîne le prochain appel de la méthode nextToken() de l'objet StreamTokenizer pour retourner la valeur courante dans le champ ttype et non pour modifier la valeur dans le champ nval ou sval.
void quoteChar(int ch)
spécifie que les paires correspondantes du caractère spécifié délimitent les constantes de chaînes de caractères dans l'objet StreamTokenizer.
void resetSyntax()
réinitialise la table de syntaxe de l'objet StreamTokenizer afin que tous les caractères soient "ordinaires". Voir ordinaryChar().
void slashSlashComments(boolean flag)
détermine si l'objet StreamTokenizer doit reconnaître les commentaires C++.
void slashStarComments(boolean flag)
détermine si l'objet StreamTokenizer doit reconnaître les commentaires C.
String toString()
retourne un objet String représentant l'objet StreamTokenizer courant.
void whitespaceChars(int low, int hi)
spécifie que tout les caractères dans l'intervalle [low-hi] sont des caractères d'espaces blancs.
void wordChars(int low, int hi)
spécifie que tout les caractères dans l'intervalle [low-hi] sont des composants de mots.
Les méthodes héritées de la classe racine java.lang.Object
clone, equals, finalize, getClass, hashCode,
notify, notifyAll, wait, wait, wait