zur Startseite zum Inhalt zur Navigation

Tokenizer

 

Tokenizer ist ein Sample das zeigt, wie z.B. ein 
Compiler einen Quellcode zerlegt, um ihn dann 
entsprechend umzusetzen.

Dadurch dass die Regeln des Parsings dynamisch 
erzeugt werden können, kann praktisch alles geparst 
werden.

Das Programm erwartet einen Text als Eingabe, 
bearbeitet diesen und gibt eine Liste der 
gefundenen Tokens zurück.

Ein Compiler würde diese Liste dann in den Syntaxbaum 
umstellen ( Was hier natürlich nicht gemacht wird ).

 

(620 Hits)

 

  openglsphere     sprite_engine     clickomania     file_transfer     rsa     reihen     wireworld     loop     baum     induktion     info     3d_puzzle     bigprim     balanced2     zauber     mandelbrot     gpu_info     suchen_dialog     stereoprojektion     sdl_tcp_ip     hilbert     8x8x8     projizierte_schatten     io_adapter     einstein     tclockex     bww     binaeruhr     l_system     mauskoordinaten     socket     imageinspector     graphen_algos     fourier     2048     address_db     lzw     ccm     bitverknupfung     button_tool     perlin_noise     tankplan     sql     cleanup     summe_n     torus_chess     pingpong     funkuhr     5ermedian     anty_krypt     tasker     balanced     shannon_fano_coding     network_delay     raetsel     calc     game_of_life     motionblur     send_get_file     filetools     bezier     vedische_multiplication     simple_font     exp_func     genmathcalc     proof2e1     wuerfel     formelparser     c_depencies     trackball     textfilter     pointer     fingerspeed     euler     ntools     calender     atmegaboard     schachprobleme     steganographie     hex     boxmuller     sudoku     copycommander     binomial     nsudoku     rubik_cube     race_condition     piemenue     bignumber     gorilla     gebmanager     hoertest     ym1602c     updater     dithering_filtering     ascii     desktop_lock     greenfoot