zur Startseite zum Inhalt zur Navigation

Tokenizer

 

Tokenizer ist ein Sample das zeigt, wie z.B. ein 
Compiler einen Quellcode zerlegt, um ihn dann 
entsprechend umzusetzen.

Dadurch dass die Regeln des Parsings dynamisch 
erzeugt werden können, kann praktisch alles geparst 
werden.

Das Programm erwartet einen Text als Eingabe, 
bearbeitet diesen und gibt eine Liste der 
gefundenen Tokens zurück.

Ein Compiler würde diese Liste dann in den Syntaxbaum 
umstellen ( Was hier natürlich nicht gemacht wird ).

 

(7815 Hits)

 

  serial     address_db     vedische_multiplication     3d_puzzle     kwirk     tasker     dcommenter     filetools     gpu_info     alt_f2     transparenz     suchen_dialog     wii_headtrack     sql     projizierte_schatten     project_collector     fourier     c_libs     basic     imageinspector     sdl_tcp_ip     greenfoot     gefangenen_dilemma     8x8x8     io_serializer     network_bandwidth_limiter     picking     newton_interpolation     iq_block     partikelengine     ntools     summe_n     laufschrift     race_condition     wuerfel     waage     tippsy3     logger     rsa     turing_maschine     trio     fpc_depencies     torus_chess     newton     steganographie     socket     fouriersynthese     rubik_cube2     ae20125     proto     info     sortieren     file_transfer     puzzle     knack     simple_font     button_tool     labyrintcreator     weihnachtsstern     5ermedian     copycommander     bmp_font     reihen     generische_liste     network_listener     verzeichnung     gc_solver     lazcomment     dxtools     diffusionsfilter     gebmanager     tbitstream     minipaint     gorilla     ccm     screeny     mandelbrot     screensaveblocker     sfxr     heapsim     dithering_filtering     induktion     binaeruhr     wecker     euler     calender     bezier     fir_iir     openglsphere     balanced     sortieren2     rubik_cube     shannon_fano_coding     chunkmanager     zufall     ym1602c     stereoprojektion     jazzball     exp_func     matrix     send_get_file     bww     4_wins     episodenmanager     binomial     zauber     graphen_algos     funplay2     cubemap     crc     opengltruetypefont     ctools     tg12864b     tclockex     library     wuerfelzauber     clear_engine     picturerotate     numeric_instability     dcf77     raetsel     proof2e1     codecounter     farbspectrum     lzw     wireworld     4_gewinnt     winkonfig     feder_masse     balanced2     fakenet     atmegaboard     parken     piemenue     gedanken_leser     stm     netzwerkprotokol     cpu_load     kartei     maw     clickomania     vokabel     tetris     perlin_noise     sprite_engine     anty_krypt     c_depencies     bignumber     game_of_life     tipp_it     pwm     sudoku     picam     portal     tokenizer     passbildcreator     wii_whiteboard     codeviewer     xml     hoertest     l_system     simple_cad     ascii     textfilter     delforlaz     tankplan     hilbert     klab     funkuhr     sirpinksy     pi     2048     nsudoku     bigprim     desktop_lock     kollision     cleanup     trackball     mastermind     td     loop     pointer     qprogrammer