zur Startseite zum Inhalt zur Navigation

Tokenizer

 

Tokenizer ist ein Sample das zeigt, wie z.B. ein 
Compiler einen Quellcode zerlegt, um ihn dann 
entsprechend umzusetzen.

Dadurch dass die Regeln des Parsings dynamisch 
erzeugt werden können, kann praktisch alles geparst 
werden.

Das Programm erwartet einen Text als Eingabe, 
bearbeitet diesen und gibt eine Liste der 
gefundenen Tokens zurück.

Ein Compiler würde diese Liste dann in den Syntaxbaum 
umstellen ( Was hier natürlich nicht gemacht wird ).

 

(7820 Hits)

 

  funkuhr     library     graphen_algos     uuart     ascii     trio     codeviewer     diffusionsfilter     pentago     baum     bww     maw     updater     ctools     network_listener     bignumber     network_bandwidth_limiter     rent_it     imageinspector     chunkmanager     fakenet     heapsim     kwirk     gorilla     vedische_multiplication     jazzball     tg12864b     wecker     minipaint     pi     alt_f2     torus_chess     picking     tasker     bigprim     balanced     simple_font     quadtree     picturerotate     dithering_mask     send_get_file     rollenspiel     generische_liste     opengl_spriteengine     screeny     passbildcreator     shannon_fano_coding     turing_maschine     multilanguage     qprogrammer     button_tool     socket     perlin_noise     tippsy3     serial     gefangenen_dilemma     5ermedian     gedanken_leser     reihen     euler     gc_solver     netzwerkprotokol     labyrintcreator     2048     dcommenter     feder_masse     hex     io_serializer     newton_interpolation     vokabel     opengl_graphikengine     projizierte_schatten     rsa     cpu_load     calender     sfxr     info     boxmuller     hough_transformation     desktop_lock     numeric_instability     fourier     greenfoot     transparenz     laufschrift     weihnachtsstern     fir_iir     zufall     piemenue     tankplan     weihnachtskalender     mandelbrot     fpc_depencies     hoertest     klab     wuerfelzauber     dithering_filtering     screensaveblocker     delforlaz     sudoku     atmegaboard     balanced2     suchen_dialog     fouriersynthese     address_db     waage     proof2e1     pwm     verzeichnung     stereoprojektion     fingerspeed     lzw     c_libs     4_wins     filetools     td     funplay2     knack     winkonfig     bitverknupfung     sql     3d_puzzle     raetsel     nsudoku     attributgrammatik     anty_krypt     textfilter     file_transfer     ae20125     io_adapter     bmp_font     steganographie     mauskoordinaten     codecounter     iq_block     digiman     crc     8x8x8     exp_func     dcf77     wuerfel     gebmanager     l_system     galton_brett     ym1602c     sprite_engine     clear_engine     rubik_cube     sortieren2     simple_cad     episodenmanager     kartei     tclockex     wii_headtrack     binomial     partikelengine     newton     stm     loop     sdl_tcp_ip     schachprobleme     openglsphere     copycommander     textur_filterung     tetris     cleanup     rubik_cube2     simpleray     basic     induktion     puzzle     binaeruhr     picam     ccm     zauber     dxtools     trackball     4_gewinnt     wii_whiteboard     kollision     clickomania     pathfinder     parken     proto     sortieren     hilbert     ntools     farbspectrum     tipp_it     project_collector     xml     matrix     pointer     pingpong     mastermind     wireworld     c_depencies     bezier     cubemap     formelparser     gpu_info     tbitstream     einstein     summe_n