zur Startseite zum Inhalt zur Navigation

Tokenizer

 

Tokenizer ist ein Sample das zeigt, wie z.B. ein 
Compiler einen Quellcode zerlegt, um ihn dann 
entsprechend umzusetzen.

Dadurch dass die Regeln des Parsings dynamisch 
erzeugt werden können, kann praktisch alles geparst 
werden.

Das Programm erwartet einen Text als Eingabe, 
bearbeitet diesen und gibt eine Liste der 
gefundenen Tokens zurück.

Ein Compiler würde diese Liste dann in den Syntaxbaum 
umstellen ( Was hier natürlich nicht gemacht wird ).

 

(7818 Hits)

 

  funkuhr     hoertest     suchen_dialog     hex     xml     crc     partikelengine     perlin_noise     funplay2     balanced2     weihnachtskalender     loop     binomial     bignumber     wecker     tankplan     game_of_life     l_system     stm     simpleray     numeric_instability     wireworld     greenfoot     hough_transformation     kwirk     laufschrift     lzw     race_condition     trackball     ym1602c     einstein     picam     wuerfel     4_gewinnt     opengl_spriteengine     puzzle     rent_it     library     simple_font     zauber     send_get_file     8x8x8     openglsphere     pentago     screensaveblocker     tbitstream     basic     cpu_load     file_transfer     imageinspector     fakenet     steganographie     wii_headtrack     maw     gorilla     zufall     digiman     textur_filterung     sirpinksy     nsudoku     affenpuzzle     io_adapter     torus_chess     5ermedian     ae20125     farbspectrum     summe_n     piemenue     schachprobleme     td     klab     tclockex     ctools     exp_func     sortieren     bigprim     wii_whiteboard     induktion     clear_engine     copycommander     jazzball     diffusionsfilter     portal     delforlaz     mauskoordinaten     calender     kartei     rsa     turing_maschine     sudoku     screeny     ascii     boxmuller     dithering_filtering     qprogrammer     gebmanager     filetools     bww     io_serializer     rubik_cube2     anty_krypt     episodenmanager     fourier     c_libs     shannon_fano_coding     vedische_multiplication     cubemap     tg12864b     picking     tetris     serial     4_wins     verzeichnung     gedanken_leser     fouriersynthese     pi     tippsy3     network_listener     chunkmanager     hilbert     winkonfig     2048     network_bandwidth_limiter     dcommenter     address_db     c_depencies     clickomania     iq_block     pointer     alt_f2     tokenizer     generische_liste     dcf77     ntools     gefangenen_dilemma     raetsel     ccm     uuart     fpc_depencies     proof2e1     weihnachtsstern     passbildcreator     dithering_mask     baum     dxtools     vokabel     matrix     3d_puzzle     transparenz     atmegaboard     pwm     sortieren2     projizierte_schatten     codecounter     tasker     knack     desktop_lock     sql     bmp_font     bezier     tipp_it     cleanup     mandelbrot     button_tool     sfxr     textfilter     picturerotate     codeviewer     mastermind     balanced     socket     wuerfelzauber     gc_solver     euler     sprite_engine     netzwerkprotokol     proto     simple_cad     fir_iir     parken     feder_masse