ARTÍCULOS ORIGINALES

ExecProject: uma ferramenta educacional para a simulação da execução de projetos

ExecProject: an educational tool for simulating project execution

Giani Petri¹, José Gilberto Molina da Silva¹

¹ Universidade Federal de Santa Maria, Santa Maria/RS, Brasil

giani.petri@ufsm.br, molina_jg@hotmail.com

Recibido: 08/03/2021 | Corregido: 18/06/2021 | Aceptado: 11/08/2021

Cita sugerida: G. Petri, J. G. Molina da Silva, “ExecProject: uma ferramenta educacional para a simulação da execução de projetos,” Revista Iberoamericana de Tecnología en Educación y Educación en Tecnología, no. 31, pp. 109-120, 2022. doi: 10.24215/18509959.31.e11

 

Resumo

Tecnologias educacionais têm sido inseridas em sala de aula com o objetivo de desenvolver competências e motivar os estudantes. Em cursos de graduação em computação, guias de currículo recomendam o uso de ferramentas para o ensino prático de gerência de projetos. No entanto, na prática, o uso de tecnologias educacionais no ensino de GP em cursos de computação ainda é restrito, principalmente, devido a limitação das ferramentas na abrangência dos conteúdos. Diante disso, o objetivo deste artigo é apresentar o desenvolvimento e avaliação de uma ferramenta educacional (ExecProject) para a simulação da execução de projetos. Resultados de uma avaliação envolvendo 17 alunos indicam que a ExecProject possui uma boa usabilidade (score escala SUS = 75.15), é de fácil utilização e, do ponto de vista dos alunos, contribui para aprendizagem e compreensão da execução de projetos e suas interferências. Resultados deste artigo podem auxiliar professores na adoção de tecnologias e, assim, contribuir para a aplicação prática de GP na formação de estudantes de computação.

Palavras-chave: ExecProject; Ferramenta educacional; Execução de projetos; Gerência de projetos.

Abstract

Educational technologies have been used in the classroom with the aim of developing skills and motivating students. In undergraduate computing courses, curriculum guides recommend the use of tools for the practical teaching of project management. However, in practice, the use of educational technologies in the teaching of GP in computing courses is still restricted, mainly due to the limitation of the tools in the covering of the content. Therefore, the objective of this article is to present the development and evaluation of an educational tool (ExecProject) for the simulation of the project execution. Results of an evaluation involving 17 students indicate that the ExecProject has good usability (SUS scale score = 75.15), is easy to use and, from the students' perspective, contributes to learning and understanding the execution of projects and their interferences. Results of this article can assist teachers in the adoption of technologies and, thus, contribute to the practical application of GP in the training of computing students.

Keywords: ExecProject; Educational tool; Project execution; Project Management.

 

1. Introdução

A inserção de tecnologias educacionais nos diferentes níveis e espaços escolares vem crescendo gradativamente e provocando mudanças na educação [1]. As habilidades tecnológicas inerentes ao perfil do aluno atual os acompanham em sala de aula. Desse modo, as habilidades, experiências e conhecimentos prévios dos alunos tornam-se importantes fontes a serem valorizadas pelos professores no planejamento e mediação dos processos de ensino e aprendizagem [2]. Assim, explorar as potencialidades oferecidas pelas tecnologias educacionais em sala de aula oportuniza o desenvolvimento de competências e a motivação dos estudantes [3].

No ensino de computação, por exemplo, os estudantes precisam desenvolver competências, incluindo conhecimentos, habilidades e atitudes, em áreas como: algoritmos e programação, estruturas de dados, engenharia de software/gerência de projetos, entre outras [4]. Essas competências devem ser desenvolvidas em vários níveis de aprendizagem, desde conceitos, simplesmente lembrando de classificar e estruturar a informação, até se tornar capaz de aplicar o conhecimento em situações concretas [4]. Nesse contexto, o uso de tecnologias educacionais pode ser um aliado na formação dos alunos de modo a aprofundar, visualizar e/ou simular alguma situação real que é difícil de executar em ambiente acadêmico [3].

A Gerência de Projetos (GP), que consiste na aplicação de conhecimentos, habilidades, ferramentas e técnicas nas atividades de um projeto [5], tipicamente, é ensinada em disciplinas específicas ou como um tópico menor em disciplinas de Engenharia de Software [4]. Embora o guia de currículos para cursos de computação da ACM (Association for Computing Machinery) [4] recomende o uso de tecnologias educacionais, como ferramentas tecnológicas, para o ensino prático da GP, tipicamente ela ainda é ensinada, em sua maioria, por meio de aulas expositivas, que são adequadas para apresentar informações e conceitos gerais. Mas, por ser uma estratégia centrada no professor, não apoia a aplicação prática de competências [6].

O uso de tecnologias educacionais, como ferramentas de GP, pode contribuir no desenvolvimento de competências requeridas em um gerente de projetos [7, 8, 9, 10], que é o principal responsável por fazer com que o projeto atenda seus objetivos, a planejar detalhadamente o projeto, bem como, monitorar e controlar o andamento de todo o projeto desde a iniciação até o encerramento [5]. No entanto, o que se observa na prática, é que o uso de tecnologias educacionais no ensino de GP em cursos de computação ainda é limitado. Muitos dos professores ministram a disciplina com maior foco na teoria, tipicamente seguindo os processos do PMBOK (Project Management Body of Knowledge) [5], com pouca aplicação prática, incluindo uma baixa adesão ao uso de ferramentas para o ensino de GP [7, 8].

Uma das razões para isso pode ser a limitação de ferramentas para o ensino de GP que sejam gratuitas e alinhadas as necessidades, e restrições de tempo e conteúdo de uma disciplina de graduação [11]. Tipicamente, o uso de ferramentas em disciplinas de GP explora os processos de iniciação e planejamento de um projeto, que são facilmente executadas em sala de aula, como abordado nas ferramentas MSProject¹, dotProject+ [12] e Visual Paradigm². No entanto, a execução do projeto planejado e seu monitoramento e controle, são pouco explorados em ferramentas pela dificuldade de simulação [8]. Isso pode causar uma lacuna na aprendizagem dos estudantes pela falta de oportunidades de visualização da simulação da execução, bem como, das interferências internas e externas que podem ocorrer durante a execução dos projetos.

Nesse contexto, a principal contribuição deste artigo é o desenvolvimento e avaliação de uma ferramenta educacional para a simulação da execução das atividades planejadas para um projeto, permitindo gerenciar os recursos humanos, visualizar as datas e o progresso das atividades, pausar e retomar a execução da simulação, bem como, visualizar e compreender o impacto de ocorrências no projeto. Os resultados desse trabalho permitem que estudantes consigam visualizar a simulação da execução de um projeto planejado em um contexto educacional, visualizando e monitorando as interferências, e seus impactos, que ocorrem ao longo da execução de projetos.

2. Metodologia

Na elaboração deste trabalho foi adotada uma metodologia de pesquisa com abordagem multimétodo, dividida em três etapas:

Etapa 1. Revisão da literatura sobre as tecnologias e ferramentas de software para o ensino de Gerenciamento de Projetos com foco na etapa de execução. Para isto é realizado um mapeamento sistemático da literatura seguindo o protocolo descrito em [13].

Etapa 2. Desenvolvimento da ferramenta ExecProject para a simulação da execução de projetos adotando o modelo ADDIE (Analyze – Design – Develop – Implement - Evaluate) [14], que é amplamente usado para o desenvolvimento de objetos e/ou produtos utilizados para o ensino.

Etapa 3. Aplicação e avaliação da ferramenta ExecProject com estudantes de Gerência de Projetos. Nesta etapa dois estudos de caso foram conduzidos conforme definido em [15] e organizados adotando a abordagem GQM (Goal/Question/Metric) [16].

3. Revisão da Literatura

Com a finalidade de identificar as ferramentas usadas para o ensino de GP, foi realizado um Mapeamento Sistemático da Literatura (MSL) baseado no procedimento definido por Petersen et al. [13]. A descrição completa e detalhada do mapeamento pode ser encontrada em [17].

Com base nesse objetivo, as seguintes questões de pesquisas foram definidas:

Q1: Quais ferramentas são utilizadas para o ensino de GP?

Q2: Como as ferramentas atendem aos requisitos dos Grupos de Processo de Gerenciamento de Projetos do PMBOK?

Q3: Como os processos de execução são abordados em ferramentas para o ensino de GP?

Q4: Qual suporte educacional é oferecido pelas ferramentas?

Como fonte de dados é considerado o Google Scholar que é uma ferramenta de pesquisa que reúne os resultados de trabalhos acadêmicos, periódicos, anais de congressos etc. Esta escolha amplia a cobertura de publicações existentes visto que a pesquisa pelo mesmo engloba, mas não se limita, as principais bases de dados da área de pesquisa, como IEEE, Springer e ACM [18]. Além disso, é considerado o Google como fonte de pesquisa para localização de ferramentas que eventualmente não possuem publicações a respeito, como algumas ferramentas exclusivamente comercial.

Após a execução da pesquisa nas referidas bases de dados e aplicação dos critérios de inclusão e exclusão, 16 ferramentas de GP consideradas relevantes para o escopo deste trabalho. Cabe ressaltar que na seleção, não foram encontradas ferramentas com escopo similar a ferramenta proposta neste estudo. Por este motivo, os critérios de inclusão e exclusão foram ajustados para permitir a seleção de estudos com escopo relevante ao objetivo deste trabalho.

As 16 ferramentas de GP, apresentadas abaixo, foram analisadas de modo a responder as questões de pesquisa definidas.

Q1: Quais ferramentas são utilizadas para o ensino de GP?

As 16 ferramentas selecionadas para serem analisadas são: Assembla³, dotProject⁴, dotProject+ [12], DrProject⁵, GanttProject⁶, Microsoft Project, OpenProj⁷, OpenWorkbench⁸, PpcProject [19], Primavera P6⁹, ProMES¹⁰, Redmine¹¹, RESCON [20], Freshservice¹², Wrike¹³, Visual Paradigm. A maioria dessas ferramentas possuem foco na gerência de projetos, e são utilizadas em sala de aula para o ensino prático de processos de GP. Poucas delas, como dotProject+ e ProMES, por exemplo, são desenvolvidas com foco educacional. Os detalhes e características das ferramentas podem ser encontrados em [17].

Q2: Como as ferramentas atendem aos requisitos dos Grupos de Processo de Gerenciamento de Projetos do PMBOK?

Cada ferramenta que foi analisada possui características particulares, no entanto, para responder ao questionamento, foram consideradas as funcionalidades que possuem relação com os grupos de processos do PMBOK [5], que atendam por completo cada área de conhecimento do grupo de processo ou que contemplem algumas das principais áreas de conhecimentos. O mapeamento das ferramentas em relação aos grupos de processos e áreas de conhecimento é apresentado em detalhes em [17].

Como resultado observou-se que a etapa de planejamento de projetos é a mais contemplada pelas ferramentas analisadas, seguido dos processos de monitoramento e controle que são parcialmente atendidos por algumas ferramentas. As ferramentas que atendem estes processos são: Assembla, GanttProject, OpenProj, OpenWorkbench, PpcProject, Primavera P6, ProMES, Redmine, RESCON, Freshservice e Wrike.

As ferramentas mais completas, no que diz respeito aos Grupos de Processos de GP, são dotProject e dotProject+, que atendem aos grupos de Iniciação, Planejamento, Monitoramento e Controle (de forma parcial) e Encerramento, ficando apenas o Grupo de Processo de Execução com suporte parcial.

Desse modo, observa-se que, em geral, as ferramentas usadas para o ensino de GP focam principalmente no planejamento do projeto, não contemplando completamente os processos de execução, monitoramento e controle e encerramento.

Q3: Como os processos de execução são abordados em ferramentas para o ensino de GP?

Com base na análise das ferramentas encontradas, observou-se que nenhuma das ferramentas atendem os processos de execução com finalidade de auxílio ao ensino de GP. Embora alguns processos da etapa de execução de projetos sejam, de fato, difíceis de simular e/ou automatizar em uma ferramenta, como por exemplo, o processo de desenvolvimento e gestão de equipes, é importante que estudantes de computação visualizem a simulação da execução do trabalho definido para o projeto, enfrentando riscos e problemas que possam ocorrer durante a execução de um projeto.

Q4: Qual suporte educacional é oferecido pelas ferramentas?

Para responder essa questão de pesquisa, as ferramentas selecionadas foram analisadas em termos de funcionalidades oferecidas para auxiliar o processo de aprendizagem dos estudantes de gerência de projetos. Das 16 ferramentas analisadas, apenas quatro delas oferecem algum recurso educacional, são elas: dotProject+, DrProject, PpcProject e ProMES.

Embora nenhuma das ferramentas analisadas possui alguma fundamentação ou baseia-se em alguma teoria pedagógica, algumas ferramentas GP foram desenvolvidas com o objetivo de ser um recurso educacional. É o caso das ferramentas DrProject, PpcProject e ProMES. DrProject possui foco no desenvolvimento colaborativo de projeto, comunicando grupos de estudantes por meio da ferramenta para criação de cronograma, compartilhar e organizar as entregas. PpcProject [19] inclui recursos didáticos, como instruções sobre o seu uso e de suas funcionalidades. ProMES adota uma estratégia de ensino baseado na resolução de problemas, apresenta feedback de auxílio do aluno para identificar erros e apresenta um tutorial no primeiro acesso, demonstrando o funcionamento da ferramenta. Embora essas ferramentas ofereçam algum tipo de suporte educacional, o alinhamento delas aos grupos de processos do gerenciamento de projetos é bastante limitado.

Por outro lado, a ferramenta dotProject+ [12] se destaca, além de oferecer um maior alinhamento aos grupos de processos do GP oferece o recurso educacional de feedback instrucional que objetiva apresentar mensagens de feedback imediatamente aos alunos, enquanto interagem com a ferramenta, indicando possíveis omissões e sugestões sobre o que é necessário para concluir o plano do projeto.

4. Desenvolvimento da Ferramenta ExecProject

Conforme resultados obtidos na revisão da literatura, a maioria das ferramentas de GP não possui um alinhamento completo aos processos do PMBOK, sendo que nenhuma contempla a simulação da execução de projetos. Assim, quando ferramentas são utilizadas para o ensino de GP, há uma lacuna na aprendizagem dos estudantes pela falta de oportunidades de visualização da simulação da execução, bem como, das interferências internas e externas que podem ocorrer durante a execução de projetos.

Com base nesta necessidade e para possibilitar um entendimento do progresso e evolução da execução de um projeto, este trabalho apresenta o desenvolvimento da ferramenta educacional ExecProject. Com esta ferramenta, as atividades planejadas para um projeto terão sua execução simulada, considerando variáveis como expertise da equipe, recursos disponíveis e dependência entre atividades. A ExecProject permite ao aluno, no papel de gerente de projetos, analisar a evolução e resultados do planejamento das atividades realizado por ele, bem como intervenções que podem impactar positiva ou negativamente o andamento do projeto. O foco da ferramenta está na simulação de projetos em contexto educacional e não na simulação de projetos reais.

Para o desenvolvimento da ExecProject foi adotado o modelo ADDIE [14], que é constituído em 5 fases: análise, projeto, desenvolvimento, implementação e avaliação.

4.1. Análise

Na fase de análise é realizado um levantamento das características do público-alvo e do contexto de uso e são definidos os objetivos de aprendizagem [14]. Tendo em vista que a ExecProject tem como objetivo a simulação da execução de projetos em contexto educacional, o público-alvo, foco deste estudo, é composto por alunos da disciplina de Gerência de Projetos em cursos superiores de graduação da área de computação. Observa-se que existe uma predominância de alunos do sexo masculino, com conhecimentos no uso de softwares e tecnologias gerais, embora a maioria não possua experiência prévia na utilização de ferramentas para GP [8].

Em relação a recursos tecnológicos, somente é necessário um computador com navegador e acesso à internet. Como contexto para aplicação e avaliação da utilização do ExecProject, foi utilizada a disciplina DPADP0146-Gerência de Projetos do curso 084.CPSM Curso Superior de Tecnologia em Sistemas para Internet da UFSM com carga horária de 60h.

O objetivo de aprendizagem da ferramenta ExecProject é fazer com que o aluno compreenda a execução de um projeto com suas variáveis e imprevistos e permitir que o aluno tenha a visão de como ocorrências externas inesperadas, ou problemas internos não gerenciados, além da produtividade da equipe, podem impactar na evolução ou conclusão de um projeto.

4.2. Projeto

A etapa de projeto define quais estratégias e sequência didática devem ser adotadas para alcançar o objetivo desejado [14].

A utilização da ExecProject deve ser aplicada após o aprendizado, por parte dos alunos, do Grupo de Processos de Iniciação e Grupo de Processos de Planejamento (Figura 1). Espera-se que os alunos já entendam os processos de planejamento como: criar a estrutura analítica do projeto, planejar o gerenciamento do cronograma, definir as atividades, sequenciar as atividades, estimar a duração das atividades, desenvolver o cronograma, planejar o gerenciamento dos recursos e estimar os recursos das atividades.

Figura 1. Sequência didática dos conteúdos e momento de aplicação da ExecProject

É importante que, após o aprendizado do grupo de processos de planejamento, seja realizado o ensino teórico sobre o grupo de processos de execução. A partir deste momento, espera-se que o aluno tenha um entendimento necessário para compreender, da melhor forma, a simulação do ExecProject. Um manual de uso da ExecProject foi desenvolvido e compartilhado com os alunos¹⁴.

4.3. Desenvolvimento

Esta etapa é definida pelo desenvolvimento do material destinado ao ensino para atender o objetivo de aprendizagem definido [14].

Como um dos resultados da revisão da literatura, entre as ferramentas de GP que possuem um foco no ensino, o dotProject+ [12] destacou-se por ter evoluído com o objetivo de atender os Grupos de Processos de GP definidos pelo PMBOK, e por ser uma das ferramentas mais utilizadas na prática [8]. Além disso, o dotProject+ permite a instalação de módulos add-on. Por esses motivos, a ferramenta ExecProject é desenvolvida para ser utilizada separadamente de qualquer ferramenta de GP, ou como um módulo instalado no dotProject+, permitindo que o usuário (aluno) visualize a simulação da execução do projeto. Assim, permitindo que professores que já utilizam o dotProject+ possam instalar a ferramenta ExecProject como um módulo add-on. Desse modo, a ferramenta ExecProject é desenvolvida para permitir a simulação da execução de projetos planejados não somente no dotProject+, mas em qualquer software de GP e que possa exportar o projeto para um formato JSON¹⁵.

Requisitos. Para um melhor entendimento do conteúdo foi definido que a ferramenta ExecProject deve: carregar atividades e recursos do projeto planejado no dotProject+ ou por outra ferramenta, caso possibilite exportação para JSON; permitir alterar a configuração de expertise dos recursos humanos alocados para as atividades; permitir alterar recursos humanos das atividades; mostrar as dependências entre as atividades, assim como data de início e fim; permitir pausar e retomar a execução, possibilitando uma análise mais detalhada; visualizar a interferência de possíveis ocorrências externas ou internas; mostrar o impacto de ocorrências na execução das atividades; mostrar o andamento do progresso de cada atividade; mostrar a simulação da evolução do tempo transcorrido; mostrar o resumo da execução, planejado versus simulado, das atividades.

Tecnologias. A ExecProject adota tecnologias amplamente utilizadas e que possibilita a compatibilidade com a maioria das linguagens e ambientes. Algumas tecnologias são utilizadas somente no uso integrado ao dotProject+, não sendo adotadas em um ambiente independente. A Tabela 1 apresenta as tecnologias adotadas.

Tabela 1. Tecnologías utilizadas

Funcionalidades. Quando a ferramenta ExecProject é operada como um módulo integrado ao dotProjetct+, os dados do projeto serão carregados automaticamente ao clicar na aba “Simulação de Execução”, que aparece após a instalação no dotProject+.

Ao optar por utilizar a ExecProject independente do dotProject+, basta criar um arquivo JSON, seguindo o layout do arquivo de integração, disponível em [17], e realizar a importação do projeto para o simulador.

A interface principal da ferramenta ExecProject é apresentada na Figura 2. Ela possui 3 regiões distintas. A primeira região é a barra superior com os botões de acesso às funções, do lado esquerdo existe uma tabela com as informações de todas as atividades do projeto e no lado direito é identificado o gráfico Gantt das atividades correspondentes. Entre a tabela e o gráfico há uma linha vertical “split” que permite ao usuário alterar a dimensão de visualização entre a tabela ou gráfico Gantt. É possível deixar só o gráfico visível ou só a tabela.

Figura 2. Interface principal da ferramenta ExecProject

O gráfico Gantt (Figura 2) mostra que existe uma linha vertical pontilhada na cor azul, esta linha é a representação gráfica da evolução do tempo durante a execução do projeto. No exemplo da Figura 2 a atividade “Analisar e documentar os requisitos coletados” encontra-se um pouco em atraso da linha de tempo, é uma atividade planejada para um dia, mas encontra-se aproximadamente 50% concluída, porém o dia já foi transcorrido.

A linha em vermelho contornando as atividades no gráfico é a função ativada de visualização do caminho crítico do projeto. Ao desativar esta visualização, as dependências entre as atividades ficam mostradas em azul, na parte superior do gráfico é visível a sequência de dias, facilitando a identificação do início e fim de cada atividade.

Para alterar a produtividade ou expertise dos recursos foi criada uma escala que pode ser modificada a partir da interface da Figura 3. A escala possui 5 valores, variando de muito baixo a muito alto. Nesta interface também é possível cadastrar um novo recurso humano para o projeto. A interface de edição das atividades (Figura 4) permite ao usuário realizar, além de modificações nas atividades, a alocação de novos recursos ou troca de recursos alocados para aquela atividade. 

Figura 3. Interface de configuração dos recursos humanos

 

Figura 4. Interface de edição das atividades do projeto

Satisfazendo o requisito de permitir ao usuário visualizar interferências de ocorrências internas ou externas, para essa primeira versão da ferramenta ExecProject foi criado uma lista estática de ocorrências. As ocorrências podem gerar um impacto positivo ou negativo nas atividades que estão em andamento durante a simulação, no momento que são disparadas pela ferramenta.

As ocorrências foram criadas com um fator de impacto sobre a execução da atividade, este fator de impacto serve para gerar uma modificação com um grau de interferência na execução da atividade. Na Tabela 2 é possível verificar todas as ocorrências que existem no simulador e podem ser disparadas durante a execução do projeto. Por se tratar de uma ferramenta educacional para a simulação das ocorrências os fatores de impacto de cada ocorrência são definidos de forma aleatória conforme a natureza da ocorrência, gerando um maior ou menor impacto sobre a atividade. O algoritmo da ferramenta ExecProject considera os fatores de expertise dos recursos da atividade cruzando com o fator de impacto da ocorrência.

Tabela 2. Lista de ocorrências programadas para a ferramenta ExecProject

A ferramenta ExecProject, por meio do seu algoritmo, gera randomicamente uma espécie de sorteio de quais ocorrências serão utilizadas em cada simulação. O mesmo projeto poderá gerar um número diferente de ocorrências e impacto sobre atividades diferentes a cada simulação. Este processo gera um certo grau de imprevisibilidade, assim como ocorre em um projeto real.

Quando ocorre o disparo de uma ocorrência pela ferramenta, é aberta uma mensagem de advertência, do tipo modal, e irá pausar a execução da simulação automaticamente. Com isto o usuário (aluno) poderá realizar uma leitura da interferência que ocorreu, e continuar com a simulação. Se o usuário, no papel de gerente de projetos considerar que o projeto ou atividade precisa de um ajuste, poderá usar a função de pausa da simulação e readequar o desejado. Esta intervenção na simulação simboliza a ação do gerente de projetos com ações de realocação de recursos humanos entre atividades do projeto, motivação da equipe ou geração de treinamentos para uma melhora na expertise desencadeando uma melhor produtividade. Na Figura 5 é possível visualizar a aparência destas advertências de ocorrências no simulador.

Figura 5. Advertência de ocorrência na execução simulada do projeto

Ao final da simulação do projeto (Figura 6), é apresentado ao usuário uma interface com o resumo da execução simulada. O fim da execução do projeto pode ocorrer com o esgotamento do tempo planejado, ou com a conclusão de todas as atividades planejadas. O resumo irá indicar uma mensagem informativa no subtítulo com o status de sucesso ou cancelamento do projeto. A lista mostra todas as atividades planejadas com sua descrição, status, previsão de tempo planejada, e um resumo de desempenho contendo uma descrição se foi realizada dentro do prazo planejado ou o total de dias de atraso.

Figura 6. Resumo da execução da simulação

4.4. Implementação

A etapa de implementação é o momento em que são aplicados todos os materiais preparados junto com o público-alvo, disponibilizando a infraestrutura necessária para alcançar os objetivos de aprendizagem [14].

A prática implementada neste estudo, a fim de permitir o contato dos alunos com a ferramenta ExecProject, foi a realização de um estudo dirigido. A ferramenta foi utilizada por alunos do Curso Superior de Tecnologia em Sistemas para Internet da UFSM, na disciplina DPADP0146-Gerência de Projetos, nos semestres 2020/01 e 2020/02. A disciplina é ministrada pelo professor Dr. Giani Petri, primeiro autor deste trabalho. Em virtude da pandemia COVID-19 a disciplina foi ministrada, nos dois semestres, totalmente de forma remota, por meio de aulas síncronas e assíncronas. O estudo dirigido para uso da ferramenta ExecProject também foi realizado de forma remota, com orientação e supervisão do professor.

Para executar o estudo dirigido, foi seguida a sequência de conteúdos definido na Figura 1, onde, após as aulas teóricas sobre os processos de execução, os alunos receberam as instruções do estudo dirigido, que pode ser visualizado em [17], com todos os detalhes para a simulação da execução do projeto.

O estudo dirigido instruía os alunos a anotar as alterações e configurações do projeto ou equipe que foram realizadas por ele, anotar as intervenções geradas na execução da simulação na ferramenta ExecProject, anotar o resultado obtido na simulação e criar um relatório com essas informações registradas.

A versão do simulador disponibilizada¹⁶ para os alunos é uma versão online independente do dotProject+, com um projeto piloto denominado Sistema da Pizzaria do Tio Chico pré-configurado, mas permitindo todas as alterações necessárias para o cenário desejado pelo aluno, que exerceu a função de gerente de projetos. Os alunos tiveram tempo para conhecer e usar o simulador, permitindo uma familiaridade com o manuseio do mesmo para realização do estudo dirigido.

4.5. Avaliação

A última fase do modelo ADDIE, tem por objetivo avaliar a ferramenta em relação ao seu funcionamento, permitindo identificar o que foi atingido e oportunidades de melhoria [14]. Após a prática do estudo dirigido, os alunos puderam realizar a avaliação da ferramenta ExecProject. A avaliação é organizada em três etapas, definição, execução e análise dos resultados.

4.5.1. Definição e Execução da Avaliação

Definição. A avaliação é definida adotando a abordagem GQM [16], definindo o objetivo da avaliação e o decompondo em fatores a serem medidos por um instrumento de coleta de dados.

Objetivo da avaliação. Analisar a ferramenta ExecProject com o propósito de avaliar a qualidade com respeito a usabilidade e a aprendizagem percebida sob o ponto de vista de estudantes no contexto de cursos de graduação em computação.

Com base no objetivo, são derivadas as seguintes questões de análise (QA), agrupadas pelos fatores avaliados:

Usabilidade

QA1: Qual o grau de usabilidade da ferramenta ExecProject?

Aprendizagem percebida

QA2: Qual a percepção de aprendizagem sobre os processos de execução proporcionada pela ferramenta ExecProject?

De modo a sistematicamente coletar dados para responder as questões de análise, foi definido um instrumento de coleta de dados (questionário), composto por itens de questionários amplamente usados na literatura para avaliar os fatores definidos no estudo. Assim, é utilizada a Escala SUS (System Usability Scale) [21] para avaliar a usabilidade e uma adaptação do estudo de Sindre e Moody [22] para avaliar a aprendizagem percebida sobre a execução de projetos. O questionário com 15 itens (Figuras 7 e 8) foi disponibilizado aos alunos de forma digital por meio do Google Forms. O formato de respostas para as questões adota uma escala Likert de 5 pontos variando de discordo totalmente a concordo totalmente. Uma questão aberta também foi incluída no questionário para possibilitar aos alunos emitirem algum feedback adicional.

Figura 7. Resultados da avaliação da usabilidade

 

Figura 8. Resultados da avaliação da aprendizagem percebida

Execução. A avaliação é executada por dois estudos de caso [15] (non-experimental study), com aplicação de teste (coleta de dados) somente após o uso da ferramenta (one-shot post-test only) [23]. Ambos os estudos de caso foram realizados de forma normalizada, seguindo a sequência didática da disciplina (Figura 1) e os dados foram coletados de maneira uniforme, utilizando o mesmo instrumento de coleta. Dessa maneira, torna-se possível que os dados coletados nos estudos de caso possam ser agrupados para análise.

Os estudos de caso foram conduzidos na disciplina de Gerência de Projetos (DPADP0146) do Curso Superior de Tecnologia em Sistemas para Internet da UFSM. Inicialmente, todos os alunos da disciplina foram orientados pelo professor sobre o que deveriam fazer. As orientações estavam descritas em detalhes no estudo dirigido fornecido pelo professor. Após o uso da ferramenta ExecProject pelos alunos, os memos deveriam responder o questionário para a avaliação da ferramenta. Participaram da avaliação 6 alunos no semestre 2020/01 (de 9 alunos regularmente matriculados) e 11 alunos em 2020/02 (dos 20 alunos matriculados), totalizando 17 participantes da pesquisa. A participação na avaliação era opcional e anônima.

Em termos de informações demográficas, todos participantes estavam na faixa etária de 20-30 anos, 13 alunos do sexo masculino e 4 do sexo feminino, todos alunos possuem conhecimento prévio de conceitos de engenharia de software, disciplina que é pré-requisito para a matrícula na disciplina alvo dos estudos de caso.

4.5.2. Análise dos Resultados e Discussão

QA1: Qual o grau de usabilidade da ferramenta ExecProject?

A avaliação de usabilidade, conforme a escala SUS [20], é obtida por meio de um cálculo com base nas respostas que possuem uma escala de 1 (discordo totalmente) a 5 (concordo totalmente). O cálculo deve ser realizado gerando um valor para cada resposta, para as questões 1, 2, 5, 7 e 10 o valor da resposta deve ser modificado subtraindo o valor 1 (Valor Respondido – 1). Para as questões de número 3, 4, 6, 8 e 9 o valor da resposta deve ser modificado subtraindo o valor respondido de 5 (5 – Valor Respondido). Após esta equalização das respostas é necessário somar o valor das 10 questões sobre usabilidade e multiplicar o total obtido por 2,5, com isso o valor gerado na avaliação será entre 0 e 100. O score final é calculado com a médias das avaliações dos alunos.

Para avaliar o resultado da pontuação obtida é considerada uma escala de níveis com índices de referência estabelecido pela comunidade de pesquisa do método SUS. A média de pontuação para o SUS é de 68 pontos, ou seja, valores abaixo deste indicador podem significar problemas de usabilidade; valores entre 60 e 70 indicam um grau aceitável; entre 70 e 80 indicam um grau bom e acima de 80 indicam uma excelente usabilidade [21].

Com base nas respostas coletadas (Figura 7), o resultado de avaliação da usabilidade obtido por meio da média dos totais das respostas é de 75,15 pontos, o que indica que a ferramenta ExecProject possui um bom nível de usabilidade.

A Figura 7 apresenta a frequência de respostas para cada uma das 10 questões que avaliam a usabilidade. Conforme os dados da Figura 7, a maioria dos alunos indicou que a ferramenta ExecProject é fácil de usar, que estudantes aprenderão a usá-la rapidamente e que as funcionalidades estão bem integradas. Por outro lado, nem todos os alunos gostariam de usá-la com frequência. Adicionalmente, a maioria dos estudantes também apontou uma discordância que precisaram aprender várias coisas antes de usar a ferramenta e discordam da sua complexidade e inconsistência. Esses resultados corroboram a média que indica que a ferramenta ExecProject apresenta um bom nível de usabilidade.

QA2: Qual a percepção de aprendizagem sobre os processos de execução proporcionada pela ferramenta ExecProject?

A avaliação da aprendizagem percebida objetiva identificar, do ponto de vista do aluno (autoavaliação), o quanto a ferramenta ExecProject contribuiu para aprendizagem dos processos de execução na disciplina. Sobre a autoavaliação, embora sem consenso na literatura, há evidências de que a autoavaliação fornece informações confiáveis, válidas e úteis para esse tipo de estudo onde o objeto de pesquisa é aplicado uma única vez no público-alvo e em uma atividade de curta duração (1 hora/aula) [24-26].

Conforme os dados apresentados na Figura 8, observa-se que a maioria dos alunos avaliou de forma bastante positiva a ferramenta ExecProject, apontando que a ferramenta contribuiu para a aprendizagem dos processos de execução na disciplina. Os alunos indicaram que a ExecProject contribuiu para compreender que o desempenho e/ou produtividade da equipe são importantes para o sucesso do projeto, que eventos externos podem afetar de forma positiva ou negativa a equipe e o projeto como um todo. Além disso, os alunos também avaliaram que a ferramenta foi eficiente para a aprendizagem sobre a execução de projetos em relação a outras atividades realizadas na disciplina.

Em síntese, os resultados indicam uma avaliação muito positiva da ferramenta também em relação ao aprendizado percebido sobre a etapa de execução de projetos. Desse modo, esses resultados apontam evidências de que o uso de tecnologias educacionais para o ensino de GP é efetivo. Com isso, o objetivo de aprendizagem definido para o estudo foi alcançado, proporcionando uma compreensão aos alunos sobre a execução de projetos, bem como todas interferências e impactos que possam ocorrer.

Feedback qualitativo dos alunos. Além da avaliação da usabilidade e da percepção da aprendizagem por meio do questionário aplicado, durante o estudo dirigido, os estudantes também produziram um relatório sobre as simulações que realizaram, e relataram sua percepção. Os relatórios do estudo dirigido geraram alguns resultados bem interessantes e que merecem destaque. Evidenciou-se nos relatórios que, para alguns alunos, a ferramenta ExecProject permitiu observar situações importantes que ocorrem durante a execução, contribuindo para elevar seu entendimento sobre este grupo de processos.

Não é possível dar a autoria dos textos entregues nos relatórios do estudo dirigido, para que seja mantido o critério de sigilo, mas são relatados alguns trechos anonimamente. A descrição de um aluno, sobre o impacto da produtividade da equipe no desempenho e andamento do projeto, foi a seguinte:

“A produtividade tem um impacto muito grande no decorrer do projeto, é necessário ter uma equipe nivelada, pois um membro muito produtivo com vários membros poucos produtivos não terá um impacto muito grande, as atividades realizadas pelos membros pouco produtivos irão atrasar, e consequentemente o projeto todo irá atrasar também.

Outro ponto que deve ser levado em conta é o tamanho das tarefas realizadas pelos membros muito ou pouco produtivo, essa variável também modifica o resultado. Caso as atividades que demandam mais dias estejam destinadas a membros produtivos, a tendência é os dias ganhos de antecedência nessa atividade, talvez consigam segurar os atrasos realizados em atividades menores por membros pouco produtivos.”.

Esse relato do aluno deixa claro que ocorreu um entendimento sobre a importância do gerente de projetos saber elencar e alocar os recursos certos para as atividades mais apropriadas.

Outro ponto que se destacou nos relatórios foi o questionamento sobre lições aprendidas nas execuções simuladas.

Um aluno relatou o que:

“... o ponto que se destaca é a motivação da equipe que está diretamente ligado a produtividade da mesma, outro ponto a ser analisado é a necessidade de ter uma equipe com sua produtividade em um nível alto e seus participantes nivelados nessa produtividade, pois se somente um participante estar muito produtivo e os demais não, o projeto corre sérios riscos de ser cancelado por atraso nos prazos definidos.”

O segundo relato sobre a mesma questão foi:

“...por mais que planos tenham sido estabelecidos de maneira minuciosa, tudo pode dar errado, mesmo em algumas simulações algumas atividades tenham terminado antes do prazo, no final ainda havia muito atraso, e trabalhar a motivação da equipe deve ser de forma constante, o sucesso do projeto depende do sucesso da equipe.”

Em síntese, os relatos qualitativos dos alunos confirmam os resultados da avaliação, indicando evidências de que a ferramenta ExecProject possui potencial em contribuir para compreensão da execução de projetos e suas interferências.

Conclusão

Esse artigo apresenta o desenvolvimento e a avaliação de uma ferramenta educacional, ExecProject, para a simulação da execução de projetos, bem como a compreensão das interferências, e seus impactos, que ocorrem durante a execução de projetos.

Resultados de uma análise da literatura mostraram que as ferramentas tecnológicas usadas para o ensino de GP, tipicamente abordam somente os processos de iniciação e planejamento da gerência de projetos, devido às limitações do ambiente acadêmico. Dessa forma, deixando uma lacuna na aprendizagem dos estudantes em relação a compreensão da execução dos projetos planejados. Assim, a ferramenta ExecProject objetivou minimizar essa lacuna na aprendizagem de estudantes em disciplinas de gerência de projetos.

A aplicação e a avaliação da ferramenta ExecProject realizada por meio de dois estudos de caso, permitiu identificar indícios que a ferramenta possui uma boa usabilidade (score escala SUS = 75.15), é de fácil utilização pelos alunos e contribui para aprendizagem e compreensão da execução de projetos e suas interferências. O feedback qualitativo dos alunos participantes também confirmou que a ExecProject contribuiu para o aprendizado da execução de projetos.

Como trabalhos futuros, pretende-se expandir a avaliação da ferramenta de modo a confirmar os resultados obtidos. Além disso, pretende-se incrementar funcionalidades incluindo o monitoramento dos riscos planejados para o projeto e sua probabilidade de impacto ao longo da execução do projeto.

Agradecimentos

Agradecimento aos alunos da disciplina de Gerência de Projetos do curso de Sistemas para Internet por ter participado dos estudos de caso fornecendo um feedback valioso para este trabalho.

Notas

¹ https://www.microsoft.com/pt-br/microsoft-365/project/project-management-software

² https://www.visual-paradigm.com/solution/just-in-time-process-for-pmbok/

³ https://www.assembla.com/home

⁴ http://www.dotproject.net

⁵ https://godzilla.cs.toronto.edu/drproject

⁶ https://sourceforge.net/projects/ganttproject

⁷ https://sourceforge.net/projects/openproj

⁸ https://sourceforge.net/projects/openworkbench/

⁹ https://www.oracle.com/br/applications/primavera/products/project-portfolio-management/

¹⁰ http://kkir.simor.ntua.gr/images/files/Archieve_files/ProMES.rar

¹¹ http://redmine.org

¹² https://freshservice.com/ 

¹³ https://www.wrike.com/pt-br/project-management

¹⁴ http://sistemaseinformacao.com.br/simulador/simulador20200613.pdf

¹⁵ JSON (JavaScript Object Notation), é uma formatação para troca de dados padronizado e completamente independente de qualquer linguagem de programação.

¹⁶ http://sistemaseinformacao.com.br/simulador/

Referências

[1] J. A. Moran, A Educação que desejamos: novos desafios e como chegar lá. Campinas: Papirus, 2013.         [ Links ]

[2] L. Ureta and G. Rossetti Beiram, “Las TAC en la  construcción de conocimiento disciplinar: una  experiencia  de aprendizaje con  estudiantes universitarios,” Revista Iberoamericana de Tecnología en Educación y Educación en Tecnología, no. 26, pp. 100-109, 2020.

[3] S. Freeman, S. L. Eddy, M. Mcdonough, M. K. Smith, N. Okoroafor, H. Jordt and M. P. Wenderoth, “Active learning increases student performance in science, engineering, and mathematics,” National Academy of Sciences of the United States of America, vol. 111, no. 23, pp. 8410-8415, 2014.

[4] ACM, and IEEE Computer Society, Computer Science Curricula 2013, 2013. Disponível em: https://www.acm.org/binaries/content/assets/education/cs2013_web_final.pdf         [ Links ]

[5] PMI, Project Management Institute. A Guide to the Project Management Body of Knowledge (PMBOK Guide), 6 ed. São Paulo: PMI, 2017.         [ Links ]

[6] S. C. Christov and M. E. Hoffman, “Experiential Learning of Software Project Management and Software Development via Course Collaboration,” in Proc. of the ACM Technical Symposium on Computer Science Education, Nova York, EUA, 2018, pp. 160–166.

[7] H. Cicibas, O. Unal and K. Demir, “A comparison of project management software tools (PMST),” in Proc. of the Software Engineering Research and Practice, Las Vegas, 2010.

[8] R. Q. Gonçalves, “Ensino de gerenciamento de projetos de software mediado por ferramentas,” Tese Doutorado Ciência da Computação, Universidade Federal de Santa Catarina, Florianópolis, 2017.

[9] G. Petri, A. Calderón, C. Gresse von Wangenheim, A. F. Borgatto and M. Ruiz, “Games for Teaching Software Project Management: An Analysis of the Benefits of Digital and Non-Digital Games,” Journal of Universal Computer Science, vol. 24, no. 10, pp. 1424-1451, 2018.

[10] G. Petri, C. Gresse von Wangenheim, J. C R. Hauck, and A. F. Borgatto, “Effectiveness of Games in Software Project Management Education: An Experimental Study,” Journal of Universal Computer Science, vol. 25, no. 7, pp. 840-867, 2019.

[11] R. Q. Gonçalves and C. Gresse von Wangenheim, “How to Teach the Usage of Project Management Tools in Computer Courses: A Systematic Literature Review,” in Proc. of the Int. Conf. on Software Engineering and Knowledge Engineering, Pittsburgh, EUA, 2015.

[12] R. Q. Gonçalves, and C. Gresse von Wangenheim, “DotProject+: Open-source Software for Project Management Education,” in Proc. of te IEEE/ACM Int. Conf. on Software Engineering Companion, Buenos Aires, Argentina, 2017.

[13] K. Petersen, S. Vakkalanka and L. Kuzniarz, “Gudelines for conducting systematic mapping studies in software engineering: An update,” Information and Software Technology, vol. 64, pp. 1-18, 2015.

[14] R. M. Branch. Instructional Design: The ADDIE Approach. Springer New York Dordrecht Heidelberg London, 2010.         [ Links ]

[15] R. K. Yin, Case study research: design and methods, Sage Publications, Thousand Oaks, 2017.         [ Links ]

[16] V. R. Basili, G. Caldiera and H. D. Rombach. Goal, “Question Metric Paradigm,” in Encyclopedia of Software Engineering, J. J. Marciniak, New York, NY, USA: Wiley-Interscience, 1994, pp. 528-532.

[17] J. G. M. Silva. ExecProject: um módulo educacional para o ensino do grupo de processos de execução do gerenciamento de projetos. Trabalho de Conclusão de Curso. Curso de Sistemas para Internet, Universidade Federal de Santa Maria (UFSM), 2020. Disponível em: https://bityli.com/7r5hS         [ Links ]

[18] N. R. Haddaway, A. M. Collins, D. Coughlin and S. Kirk, “The Role of Google Scholar in Evidence Reviews and Its Applicability to Grey Literature Searching,” PLoS ONE, vol. 10, no. 9, 2015.

[19] L. Salas-Morera, A. Arauzo-Azofra and L. García-Hernández, “PpcProject: An educational tool for software project management,” Computers & Education, vol. 69, no. 1, pp. 181-188, 2013.

[20] F. Deblaere, E. Demeulemeester and W. Herroelen, “RESCON: Educational Project Scheduling Software,” Computer Applications in Engineering Education, vol. 19, no. 1, pp. 327-336, 2009.

[21] J. Brooke, “SUS-A quick and dirty usability scale,” Usability Evaluation in Industry, vol. 189, no. 194, pp. 4-7, 1996.

[22] G. Sindre and D. Moody. “Evaluating the effectiveness of learning interventions: an information systems case study,” in Proc. of the 11th European Conf. on Information Systems, 2003, Paper 80. Naples, Italy.

[23] C. Wohlin, P. Runeson, M. Höst, M. C. Ohlsson, B. Regnell and A. Wesslén. Experimentation in Software Engineering, 2012. Springer-Verlag Berlin Heidelberg.         [ Links ]

[24] G. Thomas, D. Martin and K. Pleasants, “Using self- and peer-assessment to enhance students’ future-learning in higher education,” Journal of University Teaching & Learning Practice, vol. 8, no. 1, pp. 1-17, 2011.

[25] T. Sitzmann, K. Ely, K. G. Brown, and K. N. Bauer, “Self-Assessment of Knowledge: A Cognitive Learning or Affective Measure?,” Academy of Management Learning & Education, vol. 9, no. 2, pp. 169-191, 2010.

[26] R. Sharma,  A. Jain, N. Gupta, S. Garg, M. Batta and S. K. Dhir, “Impact of self-assessment by students on their learning,” International Journal of Applied and Basic Medical Research, vol. 6, no. 3, pp. 226–229, 2016.

 

Informação de Contato dos Autores:

Giani Petri
Av. Roraima, 1000, Prédio 70, Bloco F Sala311B
Santa Maria/RS
Brasil
giani.petri@ufsm.br
ORCID ID: https://orcid.org/0000-0002-9884-8151

José Gilberto Molina da Silva
Santa Maria/RS
Brasil
molina_jg@hotmail.com
ORCID ID: https://orcid.org/0000-0002-4824-9986

Giani Petri
Professor na Universidade Federal de Santa Maria (UFSM, Brasil. Doutor e Mestre em Ci ência da Computação. Atua em pesquisas relacionados a ensino de computação, jogos educacionais, engenharia de software e gerência de projetos.

José Gilberto Molina da Silva
Graduado no Curso de Sistemas para Internet do Colégio Politécnico da Universidade Federal de Santa Maria (UFSM, Brasil).