ALTU
Search…
Análise de confusão

Visão Geral

Dentro do Altu Train o ambiente de análise de confusão mostra a performance das intenções e permite identificar aquelas que geram confusão e precisam de ajustes, para isso usamos os dados processados na avaliação das mensagens.
Visão geral área análise de confusão

Filtros

Na parte superior da tela estão os filtros, eles ajudam a organizar a apresentação de dados de acordo com sua necessidade.
Filtros da área de análise de confusão
Você pode escolher:
  • NLU
  • Período de publicação
  • Ordenação das intenções, por exemplo, listadas por quantidade de confusão, Score, volume de Mensagens e porcentagem de avaliação.

Score de intenção

Acompanhe cada intenção do seu NLU. A barra localizada no canto direito mostra todas as intenções e o respectivo Score, high (alto), medium (médio) ou low, e outras informações importantes. Além disso, você pode fazer pequenos ajustes por aqui mesmo.
Tela score de intenção
Sempre que o cognitivo detecta uma intenção em uma mensagem do usuário, é apontado um nível de confiança, que varia de 0 a 1.
O threshold é um definidor de limite e, através de configurações específicas, ele determina se o valor da confiança é considerado high (alto), medium (médio) ou low (baixo). No card da intenção essa informação aparece no canto superior direito, em verde, amarelo e vermelho, respectivamente.
Imagem cards de score
Também no card de intenção aparecem o total de mensagens relacionadas a ela, a porcentagem de mensagens avaliadas e a quantidade de confusões.

Buscador de intenção

Use o buscador que está logo abaixo dos filtros, é só digitar o nome da intenção que ela será localizada automaticamente.
Buscador de intenções

Similaridade

Realize uma análise de similaridade entre a mensagem desejada com as frases de treinamento das intenções selecionadas.
Para iniciar o processo, após escolher as duas intenções e a mensagem que deseja analisar, basta clicar no botão presente dentro do balão da mensagem.
O resultado apresentado na tela é um ranqueamento das frases mais similares com a mensagem, tendo a possibilidade de destacar as palavras que são iguais entre elas.

Analisar confusão

Para analisar a confusão entre intenções é simples, basta escolher um card de intenção e clicar nele, uma lista vai aparecer com todas as intenções que estão gerando ambiguidade com ela. Também vai aparecer a quantidade de vezes em que isso aconteceu.
Tela de análise de confusão
Depois clique sobre uma das intenções que está na lista e a aba de ajustes irá abrir.
Gif de análise de confusão
Nessa aba você pode fazer o reparo das intenções conflitantes, com uma das seguintes ações:
  • Comparar a intenção identificada pelo cognitivo, à esquerda, e a intenção identificada na avaliação, à direita
  • Ajustar frases de treinamento, clicando diretamente sobre ela
  • Criar nova frase de treinamento, clicando o botão
    adicionar frase de treinamento
  • Buscar frase de treinamento, usando o buscador de frases
  • Apagar frases de treinamento, clicando no ícone de lixeira
    que está na frente da frase que deseja excluir
  • Conhecer detalhes do nível de confiança identificado pelo cognitivo, basta escolher uma frase que aparece na parte superior da tela e clicar sobre ela.
  • Testar as alterações feitas nesta tela, usando o botão área de teste que tem o ícone
    e está no canto direito superior da tela
  • Desfazer edições recentes clicando no botão que está no canto superior direito e tem o ícone de retorno

Gráfico

O gráfico de análise de intenções ajuda a acompanhar a performance do cognitivo, ele mostra a relação entre a quantidade de mensagens recebidas por intenção, o número de mensagens avaliadas e a proporção de mensagens confundidas.
Gif gráfico de análise de confusão
Você pode escolher quais dados serão mostrados no gráfico, basta ativar ou desativar a variável clicando sobre ela.