Tokenizer
Compiler einen Quellcode zerlegt, um ihn dann
entsprechend umzusetzen.
Dadurch dass die Regeln des Parsings dynamisch
erzeugt werden können, kann praktisch alles geparst
werden.
Das Programm erwartet einen Text als Eingabe,
bearbeitet diesen und gibt eine Liste der
gefundenen Tokens zurück.
Ein Compiler würde diese Liste dann in den Syntaxbaum
umstellen ( Was hier natürlich nicht gemacht wird ).
(7823 Hits)