C++ como fazer 1 analisador de tokens?

[Cambalinho 40]

a programação tem muitas formas de ser resolvida.
mas falando em tokens: qual é o melhor pseucode para fazer 1 analisador de tokens?

houve 1 amigo que me ofereceu este pseucode:

while not end of string
{
    get character ch
    switch (ch)
    {
    case ch indicates a date:
        add character to date
        keep getting and adding characters from string while valid for a date
        break;

    case ch indicates a number:
        add character to number
        keep getting and adding characters from string while valid for a number
        break;

    case ch indicates a word:
        add character to word
        keep getting and adding characters from string while valid for a word
        break;

    case ch indicates a quoted string:
        add character to a quoted string
        keep getting and adding characters from string while valid for a quoted string
        break;

    case whitespace
        // Do nothing. Let outer loop move on 
        break;

    :

    default:
        error unrecognized token
        break;
    }
}

mas parece incompleto...

a data começa e acaba em '#':

case ch indicates a date:
        add character to date
        keep getting and adding characters from string while valid for a date
        break;

eu estou confuso se uso o 'case', como posso controlar do principio ao fim da data: "#09/07/2018#"?

[devair1010 1.488]

@Cambalinho      se a data for uma string você verificar o início na posição zero da string , e o fim da data seria também o fim da string , então você verifica se encontrou o caractere nulo   ' \0 '     que indica o fim da string .

[Cambalinho Autor do tópico 40]

a string pode ter datas, strings, caracter(char).. entre outros.
mas estou a perceber melhor o pseucode

while not end of string
{
    get character ch
    switch (ch)
    {
    case ch indicates a date"#":
        add character to date
        keep getting and adding characters from string using a while loop and testing the end"#"
        break;

    case ch indicates a number:
        add character to number
        keep getting and adding characters from string using while loop for get the numbers, dot... until a space or letter
        break;

    case ch indicates a word:
        add character to word
        keep getting and adding characters from string using while loop from space to space
        break;

    case ch indicates a quoted string:
        add character to a quoted string
        keep getting and adding characters from string while valid for a quoted string
        break;

    case whitespace
        // Do nothing. Let outer loop move on 
        break;

    :

    default:
        error unrecognized token
        break;
    }
}

actualizei, porque estou aprender

muito obrigado

[Cambalinho Autor do tópico 40]

preciso de algumas informações:
- os tokens são colectados de que forma? linha a linha? por funções\classes\if\while?

- de que forma os tokens, numa linguagem, são classificados?

[vangodp 664]

tema interessante. Lamentavelmente não posso aportar nada neste tema. Mas talvez seja capaz de sugerir um titulo de busca como "my strtok in c" que geraria buscas como:
https://www.geeksforgeeks.org/strtok-strtok_r-functions-c-examples/
https://fresh2refresh.com/c-programming/c-strings/c-strtok-function/

https://stackoverflow.com/questions/28931379/implementation-of-strtok-function

https://fengl.org/2013/01/01/implement-strtok-in-c-2/

 

Todas essas buscas você pode ver aqui