.svg?alt=media&token=d4e6f36f-8994-47d0-b855-83e47927012c)
Análise e ajustes
Ferramentas de análise de resultados e ajustes
Last updated
Ferramentas de análise de resultados e ajustes
Last updated
Na área de análise e ajustes a pessoa curadora pode verificar o comportamento do cognitivo com base nos dados da avaliação de mensagens que alimentam os modelos matemáticos da matriz de confusão e da instabilidade. Além disso, é possível acompanhar a evolução entre publicações e realizar simulações, explicadas mais adiante.
Acessando o pilar do Train, localizado na barra lateral esquerda da plataforma Zenvia NLU, clique em “Análise e Ajustes”. Em seguida, você estará na tela inicial.
A estrutura é dividida em quatro partes:
Confusão;
Instabilidade;
Evolução;
Simulação.
A seguir, conheça cada uma delas.
O ambiente de “Confusão” auxilia na análise do comportamento do motor cognitivo, permitindo identificar as confusões nas intenções que geram confusões no cognitivo e precisam de ajustes a partir dos dados processados na avaliação das mensagens.
Na tela, é possível ver a relação de todas as intenções e seus parâmetros:
Score;
Número de mensagens recebidas na intenção;
Porcentagem de mensagens avaliadas;
Número de confusões;
Precisão;
Sensibilidade.
Você pode também usar o campo de busca “Buscar intenção” e ordenar a visualização para ajudar na organização e apresentação dos dados de acordo com sua necessidade.
Você pode ordenar por:
Score;
Confusão;
Avaliadas;
Mensagens.
Veja o exemplo no gif:
O ambiente de “Instabilidade” auxilia na análise do comportamento do motor cognitivo permitindo identificar as mensagens que foram aprovadas em cada intenção pela pessoa avaliadora, exibindo uma lista indicando os seguintes status:
Indefinido: significa que os dados são insuficientes para realizar o cálculo de instabilidade de forma confiável;
Ok: significa que as frases de treinamento da intenção estão com a estrutura próxima à das mensagens enviadas pelos usuários e aprovadas em cada intenção pela pessoa avaliadora;
Instável: significa que as frases de treinamento da intenção estão com a estrutura distante à das mensagens enviadas pelos usuários e aprovadas em cada intenção pela pessoa avaliadora, classificadas pelo motor cognitivo com a confiança média e/ou baixa.
O status é definido como "Ok" ou "Instável" quando há pelo menos 11 avaliações de mensagens aprovadas em cada intenção.
Caso haja menos de 11 avaliações no mesmo cenário o status fica como "Indefinido".
O ambiente de “Evolução” é onde você vai acompanhar o desempenho geral do cognitivo entre os períodos de publicação.
Na tela inicial, há dois gráficos disponíveis para visualização. São eles:
Linha do tempo:
Mostra dados correspondentes aos períodos de publicação, como score (gráfico à esquerda) e nível de cobertura (gráfico à direita).
Abaixo dos gráficos, há o total de mensagens recebidas no cognitivo e quantas destas foram avaliadas dentro do período.
Além disso, clicando em “Detalhamento da curadoria”, é possível visualizar a distribuição das avaliações de mensagens entre as intenções que foram classificadas como irrelevant e as demais.
Gráficos de evolução entre as publicações divididos em três:
Score;
Cobertura;
Volume de mensagens.
Esses gráficos exibem os mesmos dados da "Linha do tempo".
No ambiente de "Simulação" é possível reproduzir os impactos dos ajustes realizados antes de gerar um novo período de publicação. Nessa etapa, você pode:
Realizar nova simulação;
Limpar simulações;
Se optar por realizar uma nova simulação, automaticamente você verá as opções:
Iniciar simulação;
Ver simulações anteriores.
