Sprint 18 - Tequila

Na Sprint 18, a equipe de Business Intelligence (BI) da JFRN, para o projeto da triagem automática de perícias, teve como missão a implementação de extensão para o PJe. Quanto ao projeto da Nísia Chatbot, as missões foram as seguintes: consulta processual; devolutiva dos testes de usabilidade; adicionar intenções ao chatbot com serviços essenciais; e testes dos modelos LLM.

Baseado na tecnologia desenvolvida pela equipe de desenvolvimento do TRF1 e CNJ, a equipe de BI está desenvolvendo uma extensão para que os servidores consigam usar os modelos da Triagem. Nesta sprint, um MVP da extensão foi testado e, diante dos resultados positivos, foi concluída a subsequente disponibilização do plug-in na intranet para que os servidores consigam instalar.

O grande foco desta sprint foi o projeto da Nísia Chatbot. Considerando a implementação bem-sucedida da consulta processual durante a sprint anterior, nesta foi feita uma validação com servidores da central de atendimento, com o intuito de avaliar a veracidade dos resultados apresentados. Além disso, atualmente também está em execução uma funcionalidade para visualizar o conteúdo dos documentos juntados.

Nesta sprint, foi feita a análise dos apontamentos de erros/melhorias sugeridas durante as entrevistas com os servidores acerca da usabilidade do chatbot. Dentre as várias alterações realizadas, pode-se citar: correções de bugs; ajustes de informações, como horário de atendimento; realocação de menus no fluxo do chatbot; adição da funcionalidade mailto para todos os e-mails; implementação da opção de retornar ao menu anterior durante a conversa; e remoção de botões obsoletos. Também foram inseridas novas intenções ao chatbot com respeito a serviços essenciais.

Uma novidade testada nesta sprint foi a integração de modelos LLM para uso do GPT no chatbot. O GPT foi usado para duas necessidades: ajudar a facilitar o entendimento do resultado da consulta processual, utilizando uma linguagem mais fácil e menos jurídica; e possibilitar a interação via texto com o chatbot (e não somente por botões). 

Para a facilitação da linguagem, foi usado o GPT para melhorar a comunicação do resultado, testando diversos prompts para um resultado eficaz. Enquanto que para a interação via texto, o GPT está sendo usado em um conjunto com uma base de dados local com informações sobre a JFRN. Os testes estão sendo feitos com 3 modelos de base de conhecimento: o documento da carta de serviços; informações contidas no site da JFRN; e informações já estruturadas para o chatbot existente. Ambas as funcionalidades foram implementadas na versão teste do chatbot para validação.

Datas

Início: 07/08/2023
Entrega: 06/09/2023

Missões

  • Implementação de extensão para o PJe;
  • Consulta processual;
  • Devolutiva dos testes de usabilidade;
  • Adicionar intenções ao chatbot com serviços essenciais; 
  • Testes dos modelos LLM.

Tarefas

  • Testar MVP da extensão com Diretor;

  • Disponibilizar plug-in na intranet;

  • Validar MVP com consulta processual com 5 usuários, presencial, documentar feedback;
  • Analisar apontamentos de erros/melhorias sugeridas;
  • Implementar alterações no chatbot com base na devolutiva dos testes de usabilidade;
  • Adição de novos botões de serviços essenciais;
  • Implementação do GPT no chatbot.

Entregas

  • Testes da extensão da Triagem com servidores;
  • Disponibilização do plug-in para instalar a extensão;
  • Validação da consulta processual com servidores da central de atendimento;
  • Adição de funcionalidade mailto para todos os e-mails;
  • Correção de bugs no chatbot;
  • Alteração de textos no rasa par permitir uso de tags HTML;
  • Ajustes de informações anteriorment incorretas;
  • Realocação de menus no fluxo;
  •  Implementação de botão com opção para retornar ao menu anterior;
  • Remoção de botões obsoletos;
  • Adição de novos botões para serviços essenciais;
  • Testes com modelos LLM;
  • Implementação do GPT para facilitar o entendimento do resultado da consulta processual;
  • Implementação do GPT para interação via texto no chatbot.