# Avaliação de Mensagens

A avaliação de mensagens é o processo pelo qual o curador avalia as mensagens recebidas e verifica se o cognitivo está acertando ou errando as intenções identificadas.&#x20;

As mensagens podem ser aprovadas, corrigidas ou enviadas para revisão.&#x20;

As avaliações não fazem nenhuma modificação na estrutura do cognitivo, gerando os dados que alimentam os modelos matemáticos.

### Como acessar

Acessando o pilar do Train, localizado na barra lateral esquerda da plataforma Zenvia NLU, clique em “**Avaliação de mensagens**”. Em seguida, você estará na tela inicial.

<figure><img src="https://776911411-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2F-MBjaNm5lB1Yqgih1JCA%2Fuploads%2F9eLS2QjJUUVoylfCRwy5%2FAvalia%C3%A7%C3%A3o01.gif?alt=media&#x26;token=9a4f7a15-f701-4bd6-86b9-daf2e2c6a8c3" alt=""><figcaption></figcaption></figure>

A estrutura é dividida em três partes:

1. **Caixa de entrada;**
2. **Gestão de mensagens;**
3. **Automações.**

A seguir, conheça cada uma delas.

#### Caixa de entrada

Na caixa de entrada é possível avaliar se a mensagem enviada pelo usuário foi direcionada para a intenção correta pelo motor cognitivo.

Para avaliar, basta clicar na opção desejada:

* **Corrigir:** sinaliza que o assistente errou e associou a intenção incorretamente. Sinalize a correção clicando neste botão para associar a mensagem à intenção correta;
* **Aprovar:** sinaliza que a intenção reconhecida pelo assistente é válida e correta. Quando você clica na opção de aprovar, automaticamente a mensagem é classificada na matriz de confusão e uma nova mensagem aparece para ser avaliada;
* **Enviar para revisão:** para situações diferentes das descritas acima é possível enviar para revisão.

![](https://lh3.googleusercontent.com/c3gTaPO8d9mz8NWX0YPmhESgYxFVYJ4O915O4CNCk7Ddyia5FPJCCinzyYFdbgFv0zwVNvztSDdU5j_OcDkKxmLsI36Jo2Y4_NbbQXo19c3p1cGiC1LWlGirG0s2VsMvQJd2nB9hnhRJrlUqy3w8oUE)

Na parte superior, abaixo de **“usuário”**, aparece a mensagem recebida.

![](https://776911411-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2F-MBjaNm5lB1Yqgih1JCA%2Fuploads%2FivbJRXqjdXItM6PmNeU8%2FCaptura%20de%20Tela%202022-08-16%20a%CC%80s%2012.17.05.png?alt=media\&token=6c527eac-b3c8-41e0-b922-08f83de6f2ba)

Caso queira visualizar o **atendimento da mensagem** que está em avaliação, basta clicar na opção localizada no canto direito da caixa de avaliação, como mostra o exemplo:

<figure><img src="https://776911411-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2F-MBjaNm5lB1Yqgih1JCA%2Fuploads%2FD99zbwBkBVomLY14qYYh%2FAvalia%C3%A7%C3%A3o02.gif?alt=media&#x26;token=0855d69e-bbe1-49fe-b82f-d2699afc50e1" alt=""><figcaption></figcaption></figure>

O código que aparece após a **#** é o número de identificação do rastreamento.

Além dessas funcionalidades mostradas acima, também é possível:

* **Exibir o sumário de intenções:** o sumário é uma lista com todas as intenções do NLU filtrado. Para encontrar a intenção que deseja, use a barra de rolagem ou o campo de buscas, que fica logo acima da lista. Ao clicar em uma intenção os filtros serão atualizados para mostrar as mensagens correspondentes;

<figure><img src="https://776911411-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2F-MBjaNm5lB1Yqgih1JCA%2Fuploads%2FLU5CxmtiDIKSqN8mLvdA%2FAvalia%C3%A7%C3%A3o03.gif?alt=media&#x26;token=3ed10120-0ad7-4a32-ad83-76c1e47cc517" alt=""><figcaption></figcaption></figure>

É importante saber que:

1. Para ver a caixa de entrada das intenções que estão no sumário basta clicar sobre a que desejar e os filtros serão atualizados automaticamente
2. A quantidade de mensagens curadas está sinalizada com a marcação no canto inferior esquerdo, em azul, e o número exato aparece logo abaixo do nome da intenção.
3. O número total de mensagens avaliadas, somando todas as intenções, aparece acima da lista do sumário.

* **Visualizar quantas mensagens foram avaliadas até o momento;**
* **Avaliações recentes:** as mensagens recém avaliadas, se existirem, aparecem logo abaixo do rastreador e você pode fazer alterações, como por exemplo, mudar a intenção associada;

![](https://776911411-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2F-MBjaNm5lB1Yqgih1JCA%2Fuploads%2FfIcSCrncrzGX48cXBecJ%2Fprintnovo.png?alt=media\&token=9f97646a-0049-444b-a4ae-96f9def858a4)

* **Ver o nível de confiança gerado pelo assistente** para aquela mensagem, a **data e hora** de recebimento da mensagem, o nome da **intenção identificada e frases de treinamento** cadastradas, para visualizar clique no ícone de mensagem.

<figure><img src="https://776911411-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2F-MBjaNm5lB1Yqgih1JCA%2Fuploads%2F2UeVkzItFKZBEB4J6Rxd%2FAvalia%C3%A7%C3%A3o04.JPG?alt=media&#x26;token=33884ceb-aec8-45b1-a134-ddc3669c54a1" alt=""><figcaption></figcaption></figure>

#### Gestão de mensagens

Na tela de Gestão é possível ter um panorama do que acontece na área de mensagens. Nela, é possível ver mensagens que já foram avaliadas e consultar informações com base nos filtros.

O código que aparece após a # é o número de identificação do atendimento.

<figure><img src="https://776911411-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2F-MBjaNm5lB1Yqgih1JCA%2Fuploads%2Fv5JcbLZjSloso68KnMpB%2FAvalia%C3%A7%C3%A3o05.JPG?alt=media&#x26;token=54dd7af6-5cdc-4c70-a108-0491d549abe3" alt=""><figcaption></figcaption></figure>

Você pode personalizar a visão conforme suas necessidades. Para isso, utilize os filtros:

* **Intenções**: você pode selecionar uma ou mais intenções do NLU;
* **Avaliador**: você pode ver quem fez o processo de avaliação;
* **Confiança**: você pode ver as mensagens de acordo com o nível de confiança atribuído pelo assistente;
* **Período**: você pode filtrar pelo período padrão, que pode ser personalizado, ou pelo período de publicação;
* **Status**: você pode filtrar pelo status da mensagem (nova, aprovada, corrigida ou em revisão).

<figure><img src="https://776911411-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2F-MBjaNm5lB1Yqgih1JCA%2Fuploads%2FF0p0xF0RvYzSe4YjV05O%2FAvalia%C3%A7%C3%A3o06.gif?alt=media&#x26;token=2fb6dc63-bd8c-463a-8cf0-26adad6c57d4" alt=""><figcaption></figcaption></figure>

Caso queira visualizar uma mensagem em específico, clique no ícone que expande as informações:

<figure><img src="https://776911411-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2F-MBjaNm5lB1Yqgih1JCA%2Fuploads%2FjIBeittc2Cmdbj67Qyjh%2FAvalia%C3%A7%C3%A3o07.gif?alt=media&#x26;token=7e907a3c-7c2b-43e4-a654-e7cb1e15abd1" alt=""><figcaption></figcaption></figure>

{% hint style="info" %}
O local indicado para avaliar mensagens é a caixa de entrada pois permite a avaliação simultânea de mais de uma pessoa sem que a mesma mensagem apareça de forma repetida. A gestão de mensagens, apesar de também ter as mesmas opções de avaliação (aprovar, corrigir, enviar para revisão) é uma área indicada para ajustes pontuais.
{% endhint %}

#### **Automações**

A automação é um recurso do Train que permite automatizar a avaliação de uma mensagem, após a mesma ser avaliada manualmente por 3 vezes de forma idêntica na caixa de entrada.

<figure><img src="https://776911411-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2F-MBjaNm5lB1Yqgih1JCA%2Fuploads%2FjgBwdoBtjCId79jK1iwI%2FAvalia%C3%A7%C3%A3o08.JPG?alt=media&#x26;token=4f89e5bd-229e-4908-9331-6427e1ef9438" alt=""><figcaption></figcaption></figure>

As mensagens que foram automatizadas não aparecem mais para avaliação manual na Caixa de entrada.

A opção de automação é oferecida na caixa de entrada, mas sua visualização e gerenciamento devem ser feitos na área específica das automações. É possível desabilitar uma automação a qualquer momento, essa função é atualizada independente da publicação do NLU.

### **Filtros**

Você tem acesso a todas as mensagens que são avaliadas automaticamente. Use os filtros para localizar os dados que precisa.

<figure><img src="https://776911411-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2F-MBjaNm5lB1Yqgih1JCA%2Fuploads%2FhyLj5nOdeR2sbr0lDr5c%2FAvalia%C3%A7%C3%A3o09.gif?alt=media&#x26;token=46755083-c969-4473-b63c-df42c9bcebf3" alt=""><figcaption></figcaption></figure>

Você também pode usar os seguintes filtros:

* **Intenção;**
* **Avaliador;**
* **Mensagem.**

Para tirar a mensagem da automação, basta clicar em “**excluir selecionados**”, sinalizado em vermelho ao lado do campo “buscar”.

Algumas informações importantes sobre cada mensagem que foi automatizada aparecem no card de automação, são elas:

* Mensagem;
* Número de identificação da automação;
* Intenção;
* Data e hora da escolha por automatizar;
* Nome de quem autorizou a automação;
* Número total de avaliações automáticas realizadas.
