Análise de confusão
Visão Geral
Dentro do Altu Train o ambiente de análise de confusão mostra a performance das intenções e permite identificar aquelas que geram confusão e precisam de ajustes, para isso usamos os dados processados na avaliação das mensagens.
Visão geral área análise de confusão
Filtros
Na parte superior da tela estão os filtros, eles ajudam a organizar a apresentação de dados de acordo com sua necessidade.
Filtros da área de análise de confusão
Você pode escolher:
- NLU
- Período de publicação
- Ordenação das intenções, por exemplo, listadas por quantidade de confusão, Score, volume de Mensagens e porcentagem de avaliação.
Score de intenção
Acompanhe cada intenção do seu NLU. A barra localizada no canto direito mostra todas as intenções e o respectivo Score, high (alto), medium (médio) ou low, e outras informações importantes. Além disso, você pode fazer pequenos ajustes por aqui mesmo.
Tela score de intenção
Sempre que o cognitivo detecta uma intenção em uma mensagem do usuário, é apontado um nível de confiança, que varia de 0 a 1.
O threshold é um definidor de limite e, através de configurações específicas, ele determina se o valor da confiança é considerado high (alto), medium (médio) ou low (baixo). No card da intenção essa informação aparece no canto superior direito, em verde, amarelo e vermelho, respectivamente.
Imagem cards de score
Também no card de intenção aparecem o total de mensagens relacionadas a ela, a porcentagem de mensagens avaliadas e a quantidade de confusões.
Buscador de intenção
Use o buscador que está logo abaixo dos filtros, é só digitar o nome da intenção que ela será localizada automaticamente.
Buscador de intenções
Similaridade
Realize uma análise de similaridade entre a mensagem desejada com as frases de treinamento das intenções selecionadas.
Para iniciar o processo, após escolher as duas intenções e a mensagem que deseja analisar, basta clicar no botão presente dentro do balão da mensagem.
O resultado apresentado na tela é um ranqueamento das frases mais similares com a mensagem, tendo a possibilidade de destacar as palavras que são iguais entre elas.
Analisar confusão
Para analisar a confusão entre intenções é simples, basta escolher um card de intenção e clicar nele, uma lista vai aparecer com todas as intenções que estão gerando ambiguidade com ela. Também vai aparecer a quantidade de vezes em que isso aconteceu.
Tela de análise de confusão
Depois clique sobre uma das intenções que está na lista e a aba de ajustes irá abrir.
Gif de análise de confusão
Nessa aba você pode fazer o reparo das intenções conflitantes, com uma das seguintes ações:
- Comparar a intenção identificada pelo cognitivo, à esquerda, e a intenção identificada na avaliação, à direita
- Ajustar frases de treinamento, clicando diretamente sobre ela
- Criar nova frase de treinamento, clicando o botãoadicionar frase de treinamento
- Buscar frase de treinamento, usando o buscador de frases
- Apagar frases de treinamento, clicando no ícone de lixeiraque está na frente da frase que deseja excluir
- Conhecer detalhes do nível de confiança identificado pelo cognitivo, basta escolher uma frase que aparece na parte superior da tela e clicar sobre ela.
- Testar as alterações feitas nesta tela, usando o botão área de teste que tem o íconee está no canto direito superior da tela
- Desfazer edições recentes clicando no botão que está no canto superior direito e tem o ícone de retorno
Gráfico
O gráfico de análise de intenções ajuda a acompanhar a performance do cognitivo, ele mostra a relação entre a quantidade de mensagens recebidas por intenção, o número de mensagens avaliadas e a proporção de mensagens confundidas.
Gif gráfico de análise de confusão
Você pode escolher quais dados serão mostrados no gráfico, basta ativar ou desativar a variável clicando sobre ela.
Last modified 6mo ago