Sprint 9 - Rakija
Na sprint 9 a equipe de Business Inteligence(BI) teve como missões: continuar a implementação dos testes na etapa de coleta da triagem de perícias, implementar classificação multirrótulo no pipeline de subsets, a implantação do ambiente do sinapses e o processamento dos textos do creta, sendo essas em relação ao projeto de triagem de perícias. Já no projeto do Nísia Chatbot as missões foram: estudar mais a fundo a funcionalidade do framework Rasa, definir métrica para o chatbot e interpretá-las, coletar dados para refinamento do chatbot e construir material para auxiliar os servidores na testagem do chatbot no app Telegram.
Sobre a classificação multirrótulo foi finalizada a pipeline para treinamento de novos modelos e feita documentação para auxiliar no uso. Nos testes da etapa de coleta o uso da ferramenta GreatExpectations foi continuado evitando assim erros nos dados relacionados aos treinamentos, e com isso foi realizada a configuração do ambiente e conexão dos dados. Na implementação do sinapses estão sendo resolvidas questões de credenciais para os residentes poderem se conectar com o ambiente e assim poder subir os modelos para testagem, no processamento dos textos do creta foram adicionadas novas formas de processamento para acelerar a extração, sendo elas a ordenação descendente e a aleatória, fazendo com que vários computadores possam processar os dados ao mesmo tempo.
No projeto do Nísia foi estudado mais a fundo o framework rasa e visto que utiliza uma abordagem de rede neural baseado no modelo StarSpace do facebook, se utilizando do método bag-of-words e de uma arquitetura multitarefa que lida com a classificação de intenção e o reconhecimento de entidades juntos. Em relação a métrica utilizada para validação será o coeficiente de correlação de matthews devido as classes terem tamanhos bem distintos. Na coleta de novos dados dois métodos estão sendo utilizados, um formulário para os servidores da central de atendimento poderem passar novas perguntas relacionadas ao que o público mais solicita, e uma extração de todas as conversas/atendimentos do whatsapp nos últimos anos feitos em um aparelho da central de atendimento e da 13ª vara, por último foi construído material para auxiliar os servidores na testagem do chatbot no app Telegram, informando como se cadastrar e se conectar com o canal do chatbot.
Datas
Início: 01/12/2022
Entrega: 14/12/2022
Missões
- Continuar a implementação dos testes na etapa de coleta da triagem de perícias;
- Implementar classificação multirrótulo no pipeline de subsets;
- Implantação do ambiente do sinapses;
- Processamento dos textos do creta;
- Estudar mais a fundo a funcionalidade do framework Rasa;
- Definir métrica para o chatbot e interpretá-las;
- Coletar dados para refinamento do chatbot;
- Construir material para auxiliar os servidores na testagem do Chatbot no app Telegram.
Tarefas
- Implementar extração dos textos do Creta em paralelo;
- Remover códigos depracated da pipeline;
- Implementar validações e testes unitários na etapa de coleta da pipeline de treinamento do modelo;
- Adicionar Log do treinamento usando Logging;
- Estudar documentação do sinapses;
- Adaptar funções da etapa de coleta para rodar testes unitários;
- Fazer apresentação sobre o sinapses;
- Enviar para Elias um arquivo contendo apenas uma coluna com os textos integrais das petições iniciais dos juizados especiais;
- Retreino dos modelos usando subsets de acordo com o tempo;
- Avaliar os modelos na abordagem de subsets de tempo;
- Exportar pipeline completa para treinamento com Elias;
- Estudar algoritmos do Rasa e seu funcionamento e documentar;
- Extrair dados do whatsapp da justiça com backup das conversas;
- Definir e implementar métrica mãe para o chatbot;
- Construir material para auxiliar os servidores na inclusão de perguntas no formulário;
- Fazer contato com os servidores de apoio ao projeto;
- Realizar reunião presencial para coletar histórico do whatsapp;
- Adicionar feedback e report de erro no chatbot;
- Construir material para auxiliar os servidores a testar o chatbot no telegram;
- Pesquisar e implementar plataforma para report de erros;
- Adicionar pergunta de feedback após uma resposta do bot;
- Resolver erro no fallback;
- Resolver erros na dockerização;
- Classificar perguntas do whatsapp usando aprendizado semi-supervisionado.
Entregas
- Implementar extração dos textos do Creta em paralelo;
- Remover códigos depracated da pipeline;
- Implementar validações e testes unitários na etapa de coleta da pipeline de treinamento do modelo;
- Adicionar Log do treinamento usando Logging;
- Estudar documentação do sinapses;
- Adaptar funções da etapa de coleta para rodar testes unitários;
- Fazer apresentação sobre o sinapses;
- Exportar pipeline completa para treinamento com Elias;
- Estudar algoritmos do Rasa e seu funcionamento e documentar;
- Extrair dados do whatsapp da justiça com backup das conversas;
- Construir material para auxiliar os servidores na inclusão de perguntas no formulário;
- Fazer contato com os servidores de apoio ao projeto;
- Realizar reunião presencial para coletar histórico do whatsapp;
- Adicionar feedback e report de erro no chatbot;
- Construir material para auxiliar os servidores a testar o chatbot no telegram;
- Pesquisar e implementar plataforma para report de erros;
- Adicionar pergunta de feedback após uma resposta do bot.