Avaliação de Mensagens

Verificação da performance do cognitivo

A avaliação de mensagens é o processo pelo qual o curador avalia as mensagens recebidas e verifica se o cognitivo está acertando ou errando as intenções identificadas.

As mensagens podem ser aprovadas, corrigidas ou enviadas para revisão.

As avaliações não fazem nenhuma modificação na estrutura do cognitivo, gerando os dados que alimentam os modelos matemáticos.

Como acessar

Acessando o pilar do Train, localizado na barra lateral esquerda da plataforma Zenvia NLU, clique em “Avaliação de mensagens”. Em seguida, você estará na tela inicial.

A estrutura é dividida em três partes:

Caixa de entrada;
Gestão de mensagens;
Automações.

A seguir, conheça cada uma delas.

Caixa de entrada

Na caixa de entrada é possível avaliar se a mensagem enviada pelo usuário foi direcionada para a intenção correta pelo motor cognitivo.

Para avaliar, basta clicar na opção desejada:

Corrigir: sinaliza que o assistente errou e associou a intenção incorretamente. Sinalize a correção clicando neste botão para associar a mensagem à intenção correta;
Aprovar: sinaliza que a intenção reconhecida pelo assistente é válida e correta. Quando você clica na opção de aprovar, automaticamente a mensagem é classificada na matriz de confusão e uma nova mensagem aparece para ser avaliada;
Enviar para revisão: para situações diferentes das descritas acima é possível enviar para revisão.

Na parte superior, abaixo de “usuário”, aparece a mensagem recebida.

Caso queira visualizar o atendimento da mensagem que está em avaliação, basta clicar na opção localizada no canto direito da caixa de avaliação, como mostra o exemplo:

O código que aparece após a # é o número de identificação do rastreamento.

Além dessas funcionalidades mostradas acima, também é possível:

Exibir o sumário de intenções: o sumário é uma lista com todas as intenções do NLU filtrado. Para encontrar a intenção que deseja, use a barra de rolagem ou o campo de buscas, que fica logo acima da lista. Ao clicar em uma intenção os filtros serão atualizados para mostrar as mensagens correspondentes;

É importante saber que:

Para ver a caixa de entrada das intenções que estão no sumário basta clicar sobre a que desejar e os filtros serão atualizados automaticamente
A quantidade de mensagens curadas está sinalizada com a marcação no canto inferior esquerdo, em azul, e o número exato aparece logo abaixo do nome da intenção.
O número total de mensagens avaliadas, somando todas as intenções, aparece acima da lista do sumário.

Visualizar quantas mensagens foram avaliadas até o momento;
Avaliações recentes: as mensagens recém avaliadas, se existirem, aparecem logo abaixo do rastreador e você pode fazer alterações, como por exemplo, mudar a intenção associada;

Ver o nível de confiança gerado pelo assistente para aquela mensagem, a data e hora de recebimento da mensagem, o nome da intenção identificada e frases de treinamento cadastradas, para visualizar clique no ícone de mensagem.

Gestão de mensagens

Na tela de Gestão é possível ter um panorama do que acontece na área de mensagens. Nela, é possível ver mensagens que já foram avaliadas e consultar informações com base nos filtros.

O código que aparece após a # é o número de identificação do atendimento.

Você pode personalizar a visão conforme suas necessidades. Para isso, utilize os filtros:

Intenções: você pode selecionar uma ou mais intenções do NLU;
Avaliador: você pode ver quem fez o processo de avaliação;
Confiança: você pode ver as mensagens de acordo com o nível de confiança atribuído pelo assistente;
Período: você pode filtrar pelo período padrão, que pode ser personalizado, ou pelo período de publicação;
Status: você pode filtrar pelo status da mensagem (nova, aprovada, corrigida ou em revisão).

Caso queira visualizar uma mensagem em específico, clique no ícone que expande as informações:

O local indicado para avaliar mensagens é a caixa de entrada pois permite a avaliação simultânea de mais de uma pessoa sem que a mesma mensagem apareça de forma repetida. A gestão de mensagens, apesar de também ter as mesmas opções de avaliação (aprovar, corrigir, enviar para revisão) é uma área indicada para ajustes pontuais.

Automações

A automação é um recurso do Train que permite automatizar a avaliação de uma mensagem, após a mesma ser avaliada manualmente por 3 vezes de forma idêntica na caixa de entrada.

As mensagens que foram automatizadas não aparecem mais para avaliação manual na Caixa de entrada.

A opção de automação é oferecida na caixa de entrada, mas sua visualização e gerenciamento devem ser feitos na área específica das automações. É possível desabilitar uma automação a qualquer momento, essa função é atualizada independente da publicação do NLU.