O ProAvaliaJS é um protocolo para planejamento, execução e análise de resultados de avaliações remotas, no contexto de jogos sérios. Além disso, foram criados novos artefatos que podem ser adaptados e reusados em diversos contextos, a depender do escopo do projeto.

Os artefatos, disponíveis em https://bit.ly/Pro-AvaliaJS-Artefatos, são:

(1) template do protocolo: documento para especificação e definições sobre as avaliações; Acesse aqui.

(2) banco de questões: planilha com itens que podem ser selecionados para criação dos questionários de satisfação. Os itens são separadas por dimensões/aspectos a serem avaliados no jogo, o tipo de escala e o tipo do usuário; Acesse aqui.

(3) modelo de diário de bordo: documento para registro da síntese das atividades do protocolo, como data, pessoas, evidências escolhidas, anotações das observações e links do protocolo e resultados; Acesse Aqui.

(4) modelo de relatório de resultados de avaliação: documento com a descrição dos erros e problemas encontradas nas avaliações, que possibilita definir as equipes responsáveis, status e prioridade de correção. Acesse aqui.

O protocolo está disponível no formato de arquivo DOC (abreviação de document, de propriedade da Microsoft) e só pode ser usado com o programa de computador Word, pois está com edição protegida com permissão de áreas para preenchimento.

O template do Pro-AvaliaJS está estruturado em cinco partes: (1) dados gerais do projeto; (2) contextualização da avaliação; (3) procedimentos; (4) medidas e instrumentos que serão usados nas avaliações; e (5) roteiro de tarefas que devem ser realizadas pelo usuário. O Quadro 1 apresenta uma síntese dos itens que compõem a organização do Pro-AvaliaJS.

Quadro 1. Resumo das definições das partes do protocolo Pro-AvaliaJS

Etapa	Definição
1) Dados Gerais	Especifica os dados gerais do projeto. Esses dados foram adaptados dos atributos dos metadados de descrição de um objeto de aprendizagem apresentados por Braga (2005) e agrupados em quatro conjuntos de dados: (1) Dados de controle de documentação: data, versão, e autores; (2) Dados de identificação do projeto: título do projeto, título do objeto, objetivo geral, e foco (temática); (3) Dados técnicos: tipo e formato, partes (completo ou fase), idioma, custo, licença, ano e versão, plataforma, disponibilidade, e status (final ou protótipo); e (4) Dados educacionais: disciplina, público-alvo, e tipo de ensino.
2) Contexto da Avaliação	Define e descreve os dados relacionados ao contexto da avaliação. Esses dados foram adaptados das questões de planejamento da execução e avaliação de jogos sérios, apresentados por Oliveira et al. (2021), divididos em sete subpartes: (1) Objetivo do protocolo: define o objetivo geral do protocolo usando a estrutura do método Goal/Question/Metric (Basili et al., 1994); (2) Planejamento da avaliação: define o foco da avaliação, que pode ser da reação, aprendizagem e oferta de feedback, e o objetivo, ligado diretamente ao foco; (3) Aspectos da avaliação: define as dimensões que são consideradas na avaliação. Os principais aspectos são, de acordo com a literatura, usabilidade, jogabilidade, acessibilidade, conteúdo, aprendizagem e outros; (4) Técnicas de avaliação: define as teorias usadas no planejamento da avaliação e as técnicas, instrumentos e artefatos que podem ser usados antes, durante ou depois da interação com jogo. Um glossário com as definições das teorias, técnicas e instrumentos e lista de artefatos pode ser acessado AQUI; (5) Participantes: define o perfil e papéis dos envolvidos na avaliação. O Usuário-Avaliador é quem interage com o objeto, podendo ser usuários finais e especialistas, com ou sem deficiência. A equipe de avaliação pode ser formada pelo pesquisador, observador e monitor; (6) Período e Local: descreve as definições sobre a execução da avaliação remota. Se for síncrona, definir data, horário, duração e local (deve-se escolher uma ferramenta de videoconferência). Se for assíncrona, descrever o meio de envio dos artefatos; e (7) Materiais: descreve o objeto que será avaliado, como um protótipo funcional.
3) Procedimentos	Descreve e define os atributos adotados para estruturar os procedimentos da avaliação, adaptados de Melo et al. (2020). Os procedimentos são divididos em cinco atributos, descritos a seguir. (1) Resumo: descreve uma síntese do que a avaliação faz; (2) Modelo de objeto: descreve os materiais que serão avaliados; (3) Tamanho do grupo: descreve e especifica os papéis e a quantidade das pessoas envolvidas na avaliação, definidos na parte dois; (4) Modelo de processo: define e especifica os procedimentos e passos de como os participantes devem interagir e se envolver na avaliação; e (5) Resultados: define os artefatos resultantes da avaliação, como planilhas e gravações.
4) Medidas e Instrumentos	Descreve e especifica a disponibilidade dos artefatos e instrumentos usados no processo da avaliação, com o link para acesso de cada um. Alguns desses artefatos possuem templates que podem ser reusados. Exemplos de medidas e instrumentos: Questionário de termo de aceitação (TCLE) e perfil do usuário, Roteiro de observação, Questionário de avaliação (reação), Questionário Pré-Teste e Pós-Teste, sugestão de perguntas entrevista semiestruturada ou debriefing, template de Diário de Bordo e template do Relatório de resultados da avaliação.
5) Roteiro	Define o roteiro de tarefas/atividades que os usuários devem executar na interação com o objeto.

O protocolo foi utilizado no planejamento da avaliação dos jogos “Projeto Saturno” (Pessoa e Rocha, 2021), que tem como foco o ensino da história do Brasil durante a Era Vargas, “AlgoBot” (Higuchi et al., 2021), que aborda o ensino de lógica computacional, e “Dashboard Quizle” (Barros et al., 2021), uma ferramenta de visualização de relatórios para análise de desempenho do aluno em jogos do tipo quiz. Os protocolos preenchidos com a descrição do planejamento das avaliações de cada um dos três objetos estão disponíveis AQUI.