Cbsoft 2014 Anais

Congresso Brasileiro de Software: Teoria e Prtica
28 de setembro a 03 de outubro de 2014 Macei/AL
VII FRUM DE EDUCAO EM ENGENHARIA DE SOFTWARE
FEES 2014
Anais
FEES
Volume 02
ISSN 2175-9677
Anais
FEES 2014
VII Frum de Educao em Engenharia de Software
COORDENADOR DO COMIT DE PROGRAMA

Paulo Meirelles - Universidade de Braslia (UnB)
COORDENAO DO CBSOFT 2014
Baldoino Fonseca - Universidade Federal de Alagoas (UFAL)
Leandro Dias da Silva - Universidade Federal de Alagoas (UFAL)
Mrcio Ribeiro - Universidade Federal de Alagoas (UFAL)
REALIZAO
Universidade Federal de Alagoas (UFAL)
Instituto de Computao (IC/UFAL)
PROMOO
Sociedade Brasileira de Computao (SBC)
PATROCNIO
CAPES, CNPq, INES, Google
APOIO
Instituto Federal de Alagoas, Aloo Telecom, Springer, Secretaria de Estado do Turismo
AL, Macei Convention & Visitors Bureau, Centro Universitrio CESMAC e Mix Cpia
FEES
PROCEEDINGS
Volume 02
ISSN 2175-9677
FEES 2014
VII Frum de Educao em Engenharia de Software
PROGRAM CHAIR
CBSOFT 2014 GENERAL CHAIRS
ORGANIZATION
Universidade Federal de Alagoas (UFAL)
Instituto de Computao (IC/UFAL)
PROMOTION
Sociedade Brasileira de Computao (SBC)
SPONSORS
CAPES, CNPq, INES, Google
SUPPORT
Instituto Federal de Alagoas, Aloo Telecom, Springer, Secretaria de Estado do Turismo AL, Macei Convention & Visitors Bureau, Centro Universitrio CESMAC and Mix Cpia
FEES
Autorizo a reproduo parcial ou total desta obra, para fins acadmicos, desde que citada a fonte
FEES
Apresentao
A Educao em Engenharia de Software tem sido apoiada e alavancada por esforos
de diversas instituies e sociedades educacionais e cientficas da rea da
computao. O Computing Curricula - Software Engineering Volume (CCSE), que surgiu
a partir de um desses esforos, fornece orientao s instituies acadmicas de como
constituir o ensino-aprendizagem de Engenharia de Software, em termos de
graduao, por exemplo. Entre outros pontos, o CCSE afirma que a exposio aos
aspectos da prtica profissional da Engenharia de Software deve ser um componente
integrante do currculo de graduao, abrangendo uma grande variedade de assuntos
e atividades, incluindo a resoluo de problemas, gesto, questes ticas e legais,
bem como a escrita e comunicao oral, trabalhando o aluno para fazer parte de
equipes heterogneas e responder s rpidas mudanas atuais da rea.
No Brasil, nos ltimos anos, foram criados alguns bacharelados em Engenharia de
Software. Alm disso, temos as disciplinas e linhas de pesquisas j amplamente
estabelecidas nos cursos de graduao e ps-graduao em Cincia e Engenharia de
Computao, por exemplo. Com esse cenrio de expanso e avanos do ensinoaprendizagem e pesquisa em Engenharia de Software no Brasil, temos tambm que
reunir um maior nmero de educadores/professores, pesquisadores e estudantes
para trocarem suas experincias e conhecimentos, bem como, colaborativamente
com seus pares, amadurecerem os mtodos e formatos de ensino-aprendizagem de
Engenharia de Software, levando em conta tambm nossas caractersticas, inclusive
de mercado, nacionais e regionais.
Dessa forma, o Frum de Educao em Engenharia de Software (FEES) visa a ser esse
espao e momento, em que, atravs das publicaes e apresentaes das nossas
pesquisas e relatos de experincias, podemos como comunidade cientfica e
educacional, avanarmos no ensino-aprendizagem em Engenharia de Software, em
particular no contexto brasileiro.
FEES
Foreword
Education on Software Engineering has been supported and leveraged efforts of
various institutions and educational and scientific computing societies. The Computing
Curricula - Software Engineering Volume (CCSE), which grew out of one of these
efforts, provides guidance to academic institutions to provide teaching and learning of
Software Engineering. In this context, the CCSE states that exposure to professional
practices from Software Engineering should be an integrated component to the
bachelor's degree curriculum, covering a wide range of subjects and activities,
including problem solving, management, legal and ethical issues, as well as, written
and oral communication. This way preparing students to be part of diverse teams and
respond to fast changes in the current area.
In recent years, some Bachelors of Software Engineering were created in Brazil.
Moreover, we have disciplines and research areas already widely established in
bachelor and graduate Computer Science and Engineering courses, for example. With
this scenario of expansion and advancement of teaching-learning and research in
Software Engineering in Brazil, we also have to gather a large number of
educators/professors, researchers, and students to exchange their experiences and
knowledge, as well as, to collaborate to their peers to mature Software Engineering
teaching-learning methods, considering the Brazilian characteristics which include our
national and regional market.
Thus, the Software Engineering Education Forum (FEES 2014) aims be this space and
moment, wherein, through the publications and apresentations of ours research
results and experience reports, we can advance of Software Engineering Education as
cientifical and educational comunity, in particular in the Brazilian context.
FEES
Comits Tcnicos / Program Committee

Comit do programa / Program Committee
Abraham Lincoln Rabelo - Centro Universitrio La Salle (LaSalle-RS)
Alexandre Gomes de Lima - Instituto Federal do Rio Grande do Norte (IFRN)
Ana Paula Terra - Pontifcia Universidade Catlica do Rio Grande do Sul (PUCRS)
Andr Gustavo Duarte - Instituto Federal do Rio Grande do Norte (IFRN)
Antonio Terceiro - Colivre
Auri Vincenzi - Universidade Federal de Gois (UFG)
Bruno Carreiro - Universidade Federal da Bahia (UFBA)/SENAI-CIMATEC
Carlos Machado - Servio Federal de Processamento de Dados (SERPRO)
Claudia Werner - Universidade Federal do Rio de Janeiro (UFRJ)
Clovis Fernandes - Instituto Tecnolgico de Aeronutica (ITA)
Edmundo Spoto - Universidade Federal de Gois (UFG)
Eduardo Guerra - Instituto Nacional de Pesquisas Espaciais (INPE)
Edson Alves - Universidade de Braslia (UnB)
Ellen Francine Barbosa - Universidade de So Paulo (USP)
Emlio Francesquini - Universidade de So Paulo (USP)
Fellipe Aleixo - Instituto Federal do Rio Grande do Norte (IFRN)
Hilmer Neri - Universidade de Braslia (UnB)
Igor Steinmacher - Universidade Tecnolgica Federal do Paran (UFTPR)
Ingrid Nunes - Universidade Federal do Rio Grande do Sul (UFRGS)
Jorge Audy - Pontifcia Universidade Catlica do Rio Grande do Sul (PUC-RS)
Leonardo Leite - Servio Federal de Processamento de Dados (SERPRO)
Leonardo Minora - Instituto Federal do Rio Grande do Norte (Instituto Federal do Rio
Grande do Norte (IFRN))
Lenidas Brando - Universidade de So Paulo (USP)
Marcelo Yamaguti - Pontifcia Universidade Catlica do Rio Grande do Sul (PUC-RS)
Marcelo Pimenta - Universidade Federal do Rio Grande do Sul (UFRGS)
Marcelo Werneck - Pontifcia Universidade Catlica de Minas Gerais (PUC-Minas)
Marco Aurlio Gerosa - Universidade de So Paulo (USP)
Marco Aurlio Graciotto - Universidade Tecnolgica Federal do Paran (UFTPR)
Marco A. Wehrmeister - Universidade Tecnolgica Federal do Paran (UFTPR)
Maurcio Aniche - Universidade de So Paulo (USP)
Milene Serrano - Universidade de Braslia (UnB)
Rafael Messias - Universidade de So Paulo (USP)
Rejane Figueredo - Universidade de Braslia (UnB)
Rodrigo Santos - Universidade Federal do Rio de Janeiro (UFRJ)
Rodrigo Quites Reis - Universidade Federal do Par (UFPA)
Sandro Andrade - Instituto Federal da Bahia (IFBA)
Thiago Souto Mendes - Instituto Federal da Bahia (IFBA)/Universidade Federal da
Bahia (UFBA)
FEES
Comit organizador / Organizing Committee

COORDENAO GERAL
COMIT LOCAL
Adilson Santos - Centro Universitrio Cesmac (CESMAC)
Elvys Soares - Instituto Federal de Alagoas (IFAL)
Francisco Dalton Barbosa Dias - Universidade Federal de Alagoas (UFAL)
COORDENADOR DO COMIT DO FEES 2014
FEES
ndice / Table of Contents

Artigos completos
Apoiando o Ensino de Qualidade de Software: Um Serious Game
para o Ensino de Usabilidade
Bruna Ferreira, Luis Rivero, Adriana Costa, Ana Beatriz Marques, Tayana
Conte
12
Aplicao de mtodos de avaliao da experincia do usurio na

utilizao de serious game em sala de aula
Anna Beatriz Marques, Adriana Lopes, Tayana Conte
22
Gamebok: jogo educativo para o ensino-aprendizagem do PMBOK

5 edio
Fabricio Pinto, Marcos Paulo Correia Azevedo
32
Avaliao por Meio de Questionrios de um Curso Online para

Engenharia de Software
Lucas Garcia, Ingridy Martins, Luiz Ferreira, Eduardo Figueiredo
40
Ambiente Integrado como Apoio ao Ensino da Engenharia de

Software
Simone Vasconcelos, Aline Vasconcelos
50
Artigos resumidos
DCCP: Uma Abordagem para Deteco de Colas em Provas de
Programao
Francisco Rodrigues Santos, Methanias Colao Jnior, Jos Neto
58
O uso do dojo na prtica pedaggica do ensino de

lgica de programao
Fabio Rocha, Rosimeri Sabino, Josephine Esan
62
Um Jogo Educacional para o Ensino de Metodologias geis

Giani Petri, Rogrio Paulo Marcon Junior
66
Formao de Equipes de Alto Desempenho para Desenvolvimento

de Software
Alessandra Dutra, Rafael Prikladnicki
70
ARPostIts: Mobile Application for Agile Software Engineering using

Augmented Reality
Dhiana Deva Rocha, Thaiana Lima, Claudia Werner, Claudia Susie Rodrigues
74
FEES
Aprendendo Programao Concorrente em Java com o Objeto de

Aprendizagem Quero Bolo
Fagner Silva Martins e Ayla Dantas
78
O uso de questionrios para elicitao de informaes sobre uma

estratgia didtica em Engenharia e Requisitos
Joanna Pivatelli Bistene, Roxana Quintanilla Portugal, Priscila Engiel, Edgar
Alexander, Julio Cesar Sampaio do Prado Leite
82
Relatos estudos de casos

Prticas de colaborao no desenvolvimento de Software com o
Governo: impactos na aprendizagem de alunos de graduao
Camila Ferreira, Aline Gonalves, Marisa Santos, Paulo Meirelles, Hilmer Neri
86
Experincia no Projeto Framework de Solues de TI

Thatiany Lima de Sousa, Rejane Maria da Costa Figueiredo, Elaine Venson,
Ricardo Ajax Koslovisk
90
Uma Ferramenta de Apoio Criao e Gerenciamento de Laudos

Patolgicos Veterinrios
dylle Landy Oliveira, Luiz Venicio P. Conceio, Marcos Csar da Rocha
Seruffo
94
Sesso de psteres
Um Estudo de Caso sobre a Adoo de Mtodos geis na Gesto de
Contratos de Fornecedores de Desenvolvimento de Software em
uma Organizao Pblica Brasileira
Aline Gonalves, Hilmer Neri
97
Um estudos sobre mtricas de produto e vulnerabilidades para

tomada de decises
Arthur Del Esposte, Carlos Bezerra, Paulo Meirelles, Hilmer Neri
99
A Platform Fed by Software Industry Problems to Learn Software

Development
Luiz Ferreira, Eduardo Figueiredo
101
Um estudo sobre bibliotecas digitais no contexto da participao

social
Luiz Matos, Fernando Cruz, Paulo Meirelles
103
Aspectos da Validao de Software em Metodologias geis

Aplicveis Terceirizao do Desenvolvimento de Software
Eduardo Pinto Barbosa, Elaine Venson
104
10
FEES
Mezuro, Evoluo de Software Livre: Da Arquitetura Experincia

do Usurio
Renan Costa, Vincius Vieira, Paulo Meirelles
107
Tcnicas de usabilidade e testes automatizados em processos de

desenvolvimento de software emprico
Rodrigo Medeiros, Jnatas Medeiros, Paulo Meirelles
109
O desenvolvimento do Novo Portal do Software Pblico Brasileiro

Camila Ferreira, Aline Gonalves, Marisa Santos, Paulo Meirelles, Hilmer Neri
111
Rede de colaborao social para universidades brasileiras: um

estudo de caso de implantao e desenvolvimento distribudo de
uma plataforma livre na Universidade de Braslia
Daniel Costa Bucher, Paulo Meirelles
113
11
FEES
Apoiando o Ensino de Qualidade de Software

Um Serious Game para o Ensino de Usabilidade
Bruna Ferreira, Luis Rivero, Adriana Lopes, Anna Beatriz Marques e Tayana Conte
Grupo de Usabilidade e Engenharia de Software
Instituto de Computao Universidade Federal do Amazonas
Manaus - Brasil
{bmf, luisrivero, adriana, anna.beatriz, tayana}@icomp.ufam.edu.br
Abstract Usability inspection is a key activity for ensuring

software development with quality. One of the most applied
inspection techniques for evaluating the usability of software
artifacts is the Heuristic Evaluation (HE). However, the
performance of an inspector (number of identified defects and
time spent during the inspection) highly depends on the
ropriate for
experienced inspectors. In that context, it is necessary to invest in
teaching the HE technique, so novice inspectors can achieve
better results. In order to facilitate the learning process of the
developed
UsabiliCity, an educational game which uses analogies to explain
how the heuristics can help detect and solve specific usability
problems. Besides introducing the game, this paper shows its
evaluation process through an experiment. In that experiment, 37
students tried the game while observers identified improvement
I. INTRODUO
Usabilidade um dos fatores estratgicos de qualidade de
software,
cuja
importncia
tem
aumentado
no
desenvolvimento de aplicaes interativas [7]. De acordo com
os critrios de qualidade de software, a norma ISO/IEC9126
define usabilidade como um conjunto de atributos
relacionados com o esforo necessrio para o uso de um
sistema interativo e relacionado com a avaliao individual de
tal uso por um conjunto especfico de usurios [3].
A avaliao de usabilidade uma atividade fundamental
em qualquer processo de desenvolvimento que busque
produzir um sistema interativo com alta qualidade de uso [3].
Ela permite que um avaliador faa um julgamento sobre a
qualidade de uso do software desenvolvido (ou seus artefatos)
e identifique problemas que possam prejudicar a experincia
de uso [3]. Inspeo de usabilidade um tipo de avaliao de
usabilidade onde um inspetor examina a interface verificando
se esta respeita padres de usabilidade [5]. A vantagem de
utilizar inspees no lugar de outros tipos de avaliaes de
usabilidade (como teste com usurios) que as inspees
possuem baixo custo e alto benefcio [5], diminuindo os custos
da identificao de problemas de usabilidade.
learning to verify if the game can assist them in better learning

experience. The results showed that overall, students found that
the analogies made it easier to understand the heuristics and that
the game was found educational and entertaining.
Resumo
A inspeo de usabilidade uma atividade
fundamental para garantir o desenvolvimento de um software de
qualidade. Uma das tcnicas de inspeo de usabilidade mais
aplicadas para avaliar a usabilidade de artefatos de software a
Avaliao Heurstica (AH). No entanto, o desempenho dos
inspetores (nmero de defeitos identificados e tempo gasto na
inspeo) depende da sua expertise, tornando a tcnica mais
indicada para inspetores experientes. Desta forma, torna-se
importante investir no ensino da tcnica AH para aumentar o
desempenho dos inspetores novatos. Com o intuito de facilitar o
processo de aprendizagem das heursticas da tcnica AH por este
tipo de inspetores, foi desenvolvido o jogo educacional
UsabiliCity que mostra, atravs de analogias, como as heursticas
podem ajudar a detectar e resolver problemas especficos de
usabilidade. Alm de introduzir o jogo, este artigo mostra a sua
avaliao atravs de um experimento. Neste contexto, 37 alunos
testaram o jogo, enquanto observadores identificaram
oportunidades de melhoria. Foi medida a percepo dos alunos
sobre o aprendizado para verificar se o jogo ajuda a entender
melhor as heursticas. Os resultados mostraram que, de um modo
geral, as analogias facilitaram o entendimento das heursticas e
que o jogo contribuiu para o processo de aprendizagem.
Uma das tcnicas de inspeo de usabilidade mais

adotadas para avaliar a usabilidade de softwares [12] a
Avaliao Heurstica (AH), proposta por Nielsen [14]. A AH
utiliza um conjunto de heursticas que so diretrizes que
orientam o inspetor a encontrar problemas de usabilidade na
interface. No entanto, apesar de permitir identificar um grande
nmero de problemas de usabilidade em pouco tempo, a
experincia do inspetor influencia no resultado da inspeo
[12].
Para melhorar o desempenho do inspetor ao aplicar a
tcnica AH, necessrio que o mesmo entenda os atributos de
usabilidade avaliados pelas heursticas. No entanto, apesar da
importncia do ensino de tcnicas de inspeo de usabilidade
para a identificao de problemas que afetam a qualidade de
software, estas tcnicas raramente so ensinadas como um
elemento indispensvel no processo de desenvolvimento de
software nos cursos de computao [4]. indispensvel que o
profissional de computao entenda os conceitos de
usabilidade para conseguir projetar e desenvolver sistemas
com maior qualidade de uso, diferenciando os seus produtos
perante o mercado e aumentando sua aceitao [10].
Keywords Usability Evaluation; Software Quality; Serious

Games; Heuristic Evaluation, Usability Inspection Methods
12
FEES
Uma forma de estimular o aprendizado de conceitos

relacionados com a computao e outras reas (histria,
geografia, matemtica, literatura etc.) atravs do uso de
Serious Games (SGs), que so jogos com outras finalidades
alm do entretenimento [19]. SGs utilizam entretenimento
para promover treinamentos, educao, sade e polticas
pblicas [19]. Na educao, o uso de jogos pode tornar o
processo de ensino-aprendizagem mais atrativo e proveitoso
[10], permitindo reforar conceitos atravs da prtica [14]. A
utilizao de jogos aumenta o envolvimento emocional de um
estudante, ocasionando variaes de estmulos e ajudando-o a
reter novos conhecimentos [11].
atributos de usabilidade para prever se ocorrer ou no um

problema de interao.
Ao executar uma avaliao de usabilidade, as duas abordagens
possuem vantagens e desvantagens. O teste com usurios
mais eficaz na identificao de problemas de usabilidade que
afetam usurios finais [12]. No entanto, segundo Matera et al.
[13], ele possui alto custo, pois requer muitos recursos para
cobrir os diferentes perfis de usurio. Alm disso, para aplicar
um teste com usurios, muitas vezes necessrio o uso de
laboratrios especficos de usabilidade. Mtodos de inspeo
de usabilidade, por outro lado, podem ser usados nas primeiras
etapas do processo de desenvolvimento. Adicionalmente,
esses mtodos requerem menos recursos e consequentemente,
podem diminuir os custos de encontrar problemas de
usabilidade [12]. Entre os mtodos de inspeo de usabilidade
est a avaliao heurstica.
Com o intuito de melhorar o entendimento das regras de

usabilidade descritas pela tcnica AH, neste artigo proposto
o uso de um Serious Game chamado UsabiliCity. O jogo
utiliza analogias para reforar os conceitos das heursticas da
AH. Desta forma, os inspetores novatos podem entender
melhor que tipos de problemas podem ser identificados e
solucionados. E assim obter melhores resultados na realizao
de inspeo de usabilidade aplicando a tcnica AH. Alm
disso, para obter indcios da viabilidade do uso do jogo
UsabiliCity em um ambiente acadmico, foi realizada uma
avaliao experimental inicial. Nesta avaliao, o jogo foi
testado por alunos de um curso de Cincia da Computao,
para verificar o grau de aprendizado das heursticas aps a sua
aplicao.
B. Avaliao Heurstica
A avaliao heurstica um mtodo de avaliao de
usabilidade criado por Nielsen [15], para apoiar a identificao
de problemas de usabilidade durante um processo de design
interativo. Este mtodo orienta os avaliadores a inspecionarem
sistematicamente a interface, em busca de problemas que
prejudiquem a qualidade do software em termos de
usabilidade [5]. Para isso, a avaliao heurstica utiliza como
base um conjunto de diretrizes de usabilidade que guiam os
inspetores durante o processo de avaliao. A TABELA I
apresenta a listagem completa das heursticas propostas por
Nielsen [15] e suas descries.
O restante deste trabalho est organizado da seguinte

forma: Na seo II so mostrados conceitos relacionados
Inspeo de usabilidade, a tcnica Avaliao Heurstica e a
Jogos para Ensino de Qualidade de Software. Na seo III,
apresentado o jogo UsabiliCity e como este utiliza analogias
para facilitar o processo de aprendizado das heursticas da AH.
Na seo IV, descrito o processo de avaliao experimental
do jogo e seus resultados. Por fim, so mostradas as
consideraes finais e trabalhos futuros decorrentes desta
pesquisa.
Durante o processo de inspeo cada avaliador percorre

inicialmente a interface inspecionando os diferentes
componentes de interface em busca de problemas. Para cada
problema identificado, o avaliador deve anotar qual heurstica
foi violada, em que local o problema foi encontrado, a
gravidade do problema e uma justificativa de por que aquilo
um problema. O local em que o problema foi encontrado
indica quais partes da interface devem ser modificadas [12].
Depois que todas as inspees individuais so concludas, os
avaliadores se renem para consolidar os resultados. Em
seguida eles realizam um novo julgamento, onde decidem
quais problemas de usabilidade devem ser corrigidos e
sugestes de solues.
II. BACKGROUND E TRABALHOS RELACIONADOS

A. Inspeo de Usabilidade
Mtodos de Avaliao de Usabilidade so procedimentos
compostos por um conjunto definido de atividades que so
utilizadas para avaliar a usabilidade de um sistema. Os
mtodos de avaliao podem ser divididos em duas categorias
[5]: teste com usurios e inspees. Um teste com usurios
uma avaliao centrada no usurio, na qual mtodos
experimentais, observacionais e tcnicas baseadas em
perguntas podem ser usados para avaliar a usabilidade do
sistema. O teste com usurios captura dados de uso de
usurios reais enquanto estes fazem uso do produto para
completar um conjunto definido de atividades. A anlise dos
resultados oferece informaes que podem ser usadas para
detectar problemas de usabilidade e assim melhorar o modelo
de interao do sistema. Inspees, por outro lado, foram
propostas como uma alternativa com baixo custo e alto
benefcio em comparao com os testes de usabilidade. Neste
contexto, inspees so avaliaes em que inspetores
verificam a conformidade dos artefatos de software com
C. Jogos no Ensino de Qualidade de Software

Apesar da importncia da Usabilidade no desenvolvimento
de softwares de qualidade, tcnicas de avaliao de
usabilidade raramente so ensinadas como um elemento
indispensvel do processo de desenvolvimento de software
nos cursos de computao [4]. Como consequncia,
profissionais da indstria de desenvolvimento de software
precisam dedicar mais tempo durante seu cotidiano
profissional para o aprendizado de tcnicas de avaliao de
usabilidade [4].
A forma tradicional de ensino excessivamente centrada no
professor faz com que falte aos estudantes oportunidade para
aplicao prtica dos conceitos [4]. Alm disso, os mtodos
tradicionais de ensino com base em livros texto e aulas
expositivas tm se mostrado insuficientes [6]. O uso de jogos
13
FEES
para treinar, aprender e executar atividades reais de

desenvolvimento de software em ambientes realsticos pode
melhorar o desempenho dos alunos, pois possibilita a vivncia
de experincias de aprendizagem que no so fornecidas de
forma terica [14]. Dentre os jogos existente para o apoio do

ensino de conceitos relacionados qualidade de software
podemos citar o UsabilityGame [18], o Inspsoft [11] e o
InspectorX [16].
TABELA I RELAO ENTRE HEURSTICAS [15] E ANALOGIAS COM PROBLEMAS MOSTRADOS NA CIDADE
Heurstica
Descrio da Heurstica
Analogia Aplicada no Jogo
Visibilidade do
status do sistema
O sistema precisa manter os usurios informados sobre o

que est acontecendo, fornecendo um feedback adequado
dentro de um tempo razovel.
Locais da cidade no possuem nome, desta forma os

habitantes no sabem onde esto.
Concordncia do
sistema com o
mundo real
O sistema precisa falar a linguagem do usurio, com

palavras, frases e conceitos familiares ao usurio, ao invs
de termos orientados ao sistema. Seguir convenes do
mundo real, fazendo com que a informao aparea numa
ordem natural e lgica.
Os smbolos e palavras que so mostrados nas placas

da cidade no fazem sentido.
Controle e
liberdade do
usurio
Os usurios frequentemente escolhem por engano funes

do sistema e precisam ter claras sadas de emergncia para
sair do estado indesejado sem ter que percorrer um extenso
H muitas ruas sem sada, o que dificulta a circulao

dos veculos.
Consistncia e
padres
Os usurios no precisam adivinhar que diferentes

palavras, situaes ou aes significam a mesma coisa.
Seguir convenes de plataforma computacional.
H sinais de trnsito diferentes (fora do padro) em

vrios locais da cidade, deixando os Users confusos.
Preveno de erros
melhor que o sistema possua um design cuidadoso o qual

previna o erro antes dele acontecer.
Quando h obras na cidade, nunca so colocados

avisos para evitar acidentes.
Reconhecer ao
invs de lembrar
O sistema deve tornar objetos, aes e opes visveis. O

usurio no deve ter que lembrar informao de uma para
outra parte do dilogo. Instrues para uso do sistema
devem estar visveis e facilmente recuperveis quando
necessrio.
As prateleiras do supermercado e das lojas no

possuem nomes indicando o que vendido em cada
seo da loja, desta forma, toda vez que o habitante da
cidade volta ao local tem que lembrar onde se localiza
o que ele deseja comprar.
Flexibilidade e
eficincia de uso
Os usurios novatos se tornam peritos com o uso. O

sistema deve prover aceleradores de formar a aumentar a
velocidade da interao. O sistema deve permitir aos
usurios experientes "cortar caminho" em aes frequentes.
Na cidade preciso fazer caminhos muito longos para

chegar a um local, a cidade no possui atalhos.
Esttica e design
minimalista
Os dilogos no devem conter informao irrelevante ou

raramente necessria. Qualquer unidade de informao
extra no dilogo ir competir com unidades relevantes de
informao e diminuir sua visibilidade relativa.
Na cidade h nomes de locais muito detalhados sem

necessidade.
Ajudar os usurios
a reconhecer,
diagnosticar e
corrigir erros
As mensagens de erro devem ser expressas em linguagem

clara (sem cdigos) indicando precisamente o problema e
construtivamente sugerindo uma soluo.
Quando ocorre um problema (como um incndio), no

h um bom servio de bombeiros disponvel para
ajudar na recuperao dos prdios.
Ajuda e
documentao
necessrio prover ajuda e documentao embora seja

melhor um sistema que possa ser usado sem documentao.
Essas informaes devem ser fceis de encontrar,
focalizadas na tarefa do usurio e no muito extensas.
No h um servio de ajuda para o User saber onde

pode obter determinado documento ou servio.
O UsabilityGame [18] um jogo simulador que aborda

aspectos do ciclo de vida de usabilidade. O jogo tem como
cenrio uma empresa de desenvolvimento de software fictcia
que, aps enfrentar problemas devido falta de usabilidade de
seus produtos, est contratando engenheiros de usabilidade.
Assim, o jogador (aluno) ao ser contratado assume o papel de
engenheiro de usabilidade e deve buscar um bom desempenho
em cada uma das fases do jogo, que possuem relao com as
fases do ciclo de vida proposto.
InspSoft [11] um jogo que tem por objetivo proporcionar

o aprendizado ao processo de inspeo de software, papis dos
participantes em uma inspeo e na atividade de deteco de
defeitos atravs de um ambiente ldico, com a finalidade de
entreter os jogadores atravs de seu enredo e dos personagens,
simulando uma inspeo de software em uma empresa. Assim,
possvel aprender sobre os papis de cada participante no
processo de inspeo e saber os tipos de defeitos existentes.
O jogo InspectorX [16] foi construdo com o objetivo de
desenvolver a percepo do jogador na identificao e
14
FEES
classificao de defeitos em artefatos de software, por meio do

condicionamento da observao dos padres apresentados.
Cada questo do jogo composta de um ou mais trechos de
artefatos de software (documentos de requisitos ou cdigo
fonte). Cada trecho contm um ou mais defeitos que devem
ser corretamente identificados e classificados pelo jogador, de
forma a acumular pontos. Visando permitir um aumento
gradual na complexidade das tarefas, obedecendo teoria do
esforo cognitivo, o jogo varia gradualmente o nvel de
dificuldade [16].
interface do sistema. As dez governantes da cidade,

representam as diretrizes (heursticas) utilizadas durante o
processo de inspeo com a tcnica de Avaliao Heurstica.
O uso de analogias tem por objetivo familiarizar o inspetor
novato com as heursticas, de forma que ele tenha um melhor
entendimento das heursticas e assim possa obter melhores
resultados ao realizar uma inspeo de usabilidade utilizando a
Avaliao Heurstica. A TABELA I apresenta as analogias que
foram criadas para cada uma das heursticas de Nielsen [15].
Apesar do grande uso de jogos educacionais na rea de

computao, o nico jogo para ensino de qualidade de
software em termos de usabilidade encontrado nesta pesquisa
foi o UsabilityGame. Alm de ser o nico jogo de usabilidade
identificado pelos autores deste trabalho, este jogo no foi
avaliado experimentalmente. Os outros dois jogos Inspsoft e
InspectorX tambm so utilizados para o ensino de inspeo
de software, mas no possuem foco em inspeo de
usabilidade. Sendo assim, existe a necessidade de propor
novos jogos para apoiar ensino de usabilidade, visto que os
jogos so uma forma de tornar o ensino mais atraente e
divertido. Para minimizar estes problemas, est sendo
proposto o jogo UsabiliCity, que ser descrito a seguir.
III. USABILICITY
Fig. 1. Tela de contextualizao do jogo UsabiliCity.
UsabiliCity um Serious Game, desenvolvido para Web,

que tem por objetivo apoiar o entendimento do aluno sobre as
heursticas propostas por Nielsen [15] para inspeo de
usabilidade. No jogo, problemas tpicos de usabilidade que
podem ocorrer em um sistema so exemplificados por meio de
analogias com problemas em uma cidade, tentando tornar os
problemas descritos pelas heursticas mais familiares aos
inspetores novatos. Atravs do uso de analogias com situaes
do cotidiano, o jogo tenta ajudar o aluno a entender melhor
quais so os problemas que uma determinada heurstica pode
ajudar a identificar para melhorar a usabilidade da interface de
um software.
A Fig. 2 apresenta a tela do jogo que mostra a cidade, onde

o jogador dever selecionar qual fase ir jogar. No incio do
jogo, apenas a fase inicial est habilitada (uma fase est
habilitada quando o nmero da fase est em vermelho).
Conforme o jogador for concluindo as fases, ele ter acesso s
prximas fases do jogo, totalizando cinco fases. Caso o
jogador queira, ele poder revisitar as fases que j concluiu.
A interface do jogo UsabiliCity foi definida com base em

ideias da primeira autora deste artigo de forma a estimular o
aprendizado e torn-lo divertido para os alunos. A Fig. 1
mostra como a histria do jogo apresentada ao aluno. A
criao de uma histria busca envolver o aluno com o jogo, de
forma a tornar o aprendizado mais divertido. Na histria, o
aluno tem o papel de um inspetor (representado por um
menino com uma lupa) que deve ajudar a identificar quem
pode solucionar alguns problemas da cidade. A cidade,
chamada de UsabiliCity, um lugar com muitos problemas na
sua estrutura que dificultam a realizao das tarefas dirias dos
seus moradores (os Users). Desta forma, UsabiliCity
governada e organizada pelas dez heursticas de Nielsen [15].
Fig. 2. Tela de seleo de fase do jogo.
Ao acessar uma fase, o jogo apresenta uma tela como a da

Fig. 3. Nesta figura, o Elemento 1 indica: (a) o nmero da
fase, e (b) o ttulo da fase em termos de
problemas/propriedades tpicos de usabilidade. J o Elemento
2 da Fig. 3 apresenta a descrio dos problemas presentes na
cidade que devem ser resolvidos na fase do jogo. Em cada fase
so descritos dois problemas distintos. Para cada um dos
problemas, o jogador deve selecionar uma heurstica que ser
a responsvel pela sua soluo. Finalmente, na Fig. 3
Elemento 3 so apresentadas as dez heursticas para seleo
pelo jogador. Para chamar a ateno do jogador, as heursticas
so representadas em forma de personagem. Durante o jogo, o
O objetivo do jogo descobrir quais heursticas podem

ajudar a encontrar os problemas descritos para reorganizar a
cidade e torn-la um lugar melhor para os Users. No contexto
de desenvolvimento de software, a cidade seria o sistema em
si, os problemas na estrutura da cidade seriam os problemas de
usabilidade que ocorrem nos sistemas. Os habitantes da cidade
representam os usurios do sistema, que tm suas atividades
dificultadas devido aos problemas de usabilidade existentes na
15
FEES
jogador deve selecionar as duas heursticas adequadas que

ajudam a identificar os problemas descritos na fase corrente
(ver Fig. 3 - Elemento 2).
encontrar na interface. Quando o aluno tiver certeza das

heursticas que podem ajudar a resolver o problema na
UsabiliCity, este pode selecion-las clicando nelas (ver Fig. 4
Parte B). O aluno pode selecionar apenas duas das dez
heursticas disponveis em cada fase. Se o aluno quiser
modificar sua resposta, ele pode reiniciar a fase. Finalmente,
quando o aluno tiver certeza da sua escolha, pode validar sua
Fig. 3). Caso o jogador
escolha as heursticas corretas, este poder passar para a
prxima fase.
A Fig. 4 apresenta o processo de escolha das heursticas

atravs do qual o aluno pode fixar melhor que tipo de
problemas de usabilidade cada heurstica pode ajudar a
resolver. Nesse sentido, o aluno pode checar a descrio da
heurstica como mostra a Fig. 4 (Parte A).
Ao passar o mouse sobre as heursticas, apresentado um
balo informando que tipo de problemas a heurstica ajuda a
Fig. 3. Tela de uma das fases do jogo UsabiliCity.
Fig. 4. Processo de Seleo da Heursticas do Jogo.
16
FEES
A Fig. 5 mostra as diferentes telas que podem ser

apresentadas ao jogador dependendo do seu desempenho em
cada fase. A Fig. 5 (Elemento A) apresenta a tela de sucesso,
ou seja, o jogador conseguiu identificar todas as heursticas da
fase corretamente. J a Fig. 5 (Elemento B) apresenta a tela de
fracasso, quando o jogador errou uma ou duas heursticas na
fase. Nesse caso, o jogador ainda pode verificar as respostas
da fase, o que leva o jogo a apresentar a tela da Fig. 5
(Elemento C). Nesta tela so indicados os motivos pelos quais
uma determinada heurstica foi escolhida para solucionar um
problema. Desta forma, o aluno pode entender melhor para
que tipo de problemas uma determinada heurstica mais
adequada.
O questionrio fornecido por Savi et al. [17] dividido em

duas etapas. Na primeira etapa, o participante deve indicar sua
opinio em relao a itens de avaliao que esto divididos em
trs categorias Motivao, Experincia do Usurio e
Aprendizagem. Para indicar sua opinio, o participante avalia
os itens do questionrio de cada categoria em uma escala de
cinco itens: ( 2) discordncia forte, (-1) discordncia, (0) nem
concorda nem discorda, (+1) concordncia e (+2)
concordncia forte. Na segunda etapa do questionrio, o
participante faz uma autoavaliao em relao aos objetivos
de aprendizagem. Para isso, o participante atribui uma nota
obtido antes e depois do jogo. Os itens avaliados nesta parte
do questionrio so: (a) Lembrar o que ; (b) Compreender
como funciona; e (c) Aplicar na prtica. A Fig. 6 apresenta um
exemplo da segunda etapa do questionrio aplicado aps o uso
do jogo Usabilicity com o intuito de avaliar o aprendizado em
relao s heursticas da AH.
Fig. 6. Parte do questionrio para autoavaliao em relao aos objetivos de

aprendizagem.
Finalmente, foi acrescentada uma terceira etapa ao
ao acrescentar estas questes foi permitir um melhor

entendimento das respostas dos participantes em relao s
categorias do modelo.
Fig. 5. Telas de sucesso, fracasso e respostas das fases.
IV. AVALIAO DO JOGO USABILICITY

A efetividade dos jogos propostos como ferramenta de
apoio ao processo de ensino e aprendizagem deve ser avaliada
para garantir que os mesmos tenham um efeito positivo no
aprendizado do jogador [21]. Desta forma, torna-se necessrio
avaliar o jogo UsabiliCity como ferramenta de aprendizagem,
verificando se o mesmo tem um efeito positivo na
aprendizagem dos conceitos das heursticas. Nesta seo
descrito o processo de avaliao do jogo e seus resultados.
O modelo proposto por Savi et al. [17] fornece uma

planilha configurada para anlise dos itens de avaliao
respondidos pelos participantes. Vale ressaltar, que este
modelo j foi utilizado na avaliao de vrios outros jogos
educacionais na rea de Computao [11][20][21].
A avaliao do jogo foi realizada atravs de um estudo de
observao cujos participantes foram 37 alunos do 5 perodo
do curso de Cincia da Computao da Universidade Centro
Universitrio do Norte (UNINORTE). Antes da avaliao do
jogo, todos os alunos assistiram aulas sobre inspeo de
usabilidade utilizando a tcnica Avaliao Heurstica [15] e
assinaram um termo de consentimento, onde concordavam em
participar do estudo. Para apoio ao processo da avaliao
experimental, foram selecionados 11 monitores: 9 monitores
agiram como observadores e 2 verificaram a completude das
respostas aos questionrios.
A. Materiais e Procedimentos
Para avaliao do aprendizado com o jogo UsabiliCity, foi
utilizado o modelo proposto por Savi et al. [17] que permite
avaliar jogos educacionais. Este modelo fornece um
questionrio que considera: (a) os programas de treinamento
de Kirkpatrick [9], (b) as estratgias motivacionais do modelo
ARCS (Ateno, Relevncia, Confiana e Satisfao) [8], (c) a
experincia do usurio que mede o engajamento do jogador ao
utilizar o jogo, e (d) a taxonomia de objetivos educacionais de
Bloom [2].
A avaliao ocorreu em duas etapas: (a) Utilizao do

jogo; e (b) Preenchimento do questionrio. Durante a
utilizao do jogo, cada um dos monitores que agiram como
observadores acompanhavam um aluno. Cada monitor tinha
17
FEES
um computador com o jogo Usabilicity instalado e o

apresentava ao aluno, convidando-o a jogar. Enquanto o aluno
jogava, o monitor tomava notas sobre o tempo de interao do
aluno com o jogo, as dificuldades encontradas e as reaes do
aluno em relao ao jogo.
itens de avaliao de cada categoria. Desta forma, considerase concordncia em um determinado item se as notas +1 e +2
forem mais frequentes; e discordncia se notas -1 e -2
apresentarem maior frequncia.
Para avaliao da segunda parte do questionrio,
relacionada ao aprendizado que o aluno julga ter obtido antes
e depois do jogo, foi calculada uma mdia para cada conceito
explorado. No caso do jogo UsabiliCity, os conceitos
explorados foram as heursticas de Nielsen [15] para resolver
problemas de usabilidade. Aps o clculo das mdias, foram
gerados grficos do aprendizado percebido pelos alunos antes
e depois da utilizao do jogo para cada heurstica.
O tempo mdio de utilizao do jogo pelos participantes

foi de 10,91 minutos, sendo o maior tempo identificado igual a
27 minutos, indicando que vivel a utilizao do jogo
durante uma aula normal, que geralmente tem durao de 2
horas. Na TABELA II feito um resumo das principais
observaes feitas pelos monitores enquanto os jogadores
utilizavam o jogo.
TABELA II RESULTADOS DAS OBSERVAES FEITAS PELOS MONITORES
ID
01
02
03
04
05
06
07
08
A terceira parte do questionrio, relativa s perguntas

respondidas livremente, sobre pontos fortes, pontos fracos e
sugestes de melhorias para jogo, foram utilizadas para
complementar as respostas obtidas nas outras partes do
questionrio. A seguir, so relatados os resultados relativos a
cada categoria e percepo do aprendizado dos alunos antes
e depois do jogo.
Observaes dos Monitores

No ficou claro para os alunos como selecionar as respostas (indicar
as heursticas) nas fases.
Os alunos no percebiam que deviam ser escolhidas duas
heursticas por fase.
Para alguns alunos a fonte no era agradvel.
No era possvel desmarcar uma heurstica aps ter sido
selecionada, o aluno precisava reiniciar a fase.
A seleo da heurstica com a cor vermelha assustou os alunos,
estes pensavam que tinham cometido um erro.
Um aluno se divertiu ao ver boneco chorar quando perdia a fase.
Os alunos gostaram dos bales com informaes sobre a heurstica.
Alguns alunos acharam que a tela continha muita informao.
1) Anlise de Resultados da Categoria de Motivao

Na categoria de motivao, foram avaliadas as dimenses
de confiana, relevncia e ateno. O grfico da Fig. 7,
mostra as afirmativas relacionadas a cada uma das dimenses
e as porcentagens relativas a cada afirmativa. Sobre a
dimenso de Confiana, 95% dos participantes afirmam sentir
confiana sobre o aprendizado obtido ao passar pelas etapas
do jogo. Entre os alunos, 82% concordam que o jogo foi fcil
de entender e comear a jogar, como mostra o comentrio
Do que voc gostou no jogo?
B. Resultados da Avaliao
Para a interpretao das respostas dos participantes na
primeira parte do questionrio de avaliao do modelo
proposto por Savi et al. [17], foi utilizada a planilha que o
mesmo modelo disponibiliza para apoiar a anlise das
categorias: Motivao, Experincia do Usurio e
Aprendizagem. Nesse contexto, foram gerados grficos das
frequncias das notas atribudas pelos participantes para os
Da interao e facilidade ao jogar, tambm a ateno

que o sistema oferece para o usurio, mostrando que ao
praticar o game, ele aprende de uma forma mais atraente.
Participante 5
Fig. 7. Grfico de Avaliao da categoria Motivao.
18
FEES
Na dimenso Relevncia houve afirmao de 91% dos

participantes sobre o contedo relacionado com outros
conhecimentos que j possuam, 91% dos participantes
avaliam o jogo adequado com a maneira de aprenderem e 95%
afirmam que o contedo do jogo relevante para seus
interesses, sendo esta ltima afirmativa reforada pelo
comentrio descrito abaixo:
que atingiram os objetivos do jogo por meio de suas

habilidades.
Na dimenso de Diverso, 93% dos participantes afirmam
que gostariam de utilizar o jogo novamente, sendo que 2
participantes no responderam a esta afirmativa. E 88% dos
participantes recomendam o jogo para seus colegas. O
comentrio a seguir refora o resultado obtido para a primeira
afirmativa desta dimenso:
interessante para minha formao, pois trata de

conhecimentos que uso na faculdade na matria de IHC que
estou estudando atualmente. Participante 15
S tem uma verso, j estou esperando as prximas.

Participante 5
Sobre a dimenso da Ateno, 67% dos participantes

afirmam que a variao do jogo ajudou a mant-los atentos.
No item que avalia se o participante achou algo interessante
no incio do jogo que capture sua ateno, houve concordncia
entre 51% dos participantes Em relao ao design do jogo,
64% consideram o design atraente. Os comentrios descritos a
seguir reforam os resultados obtidos:
Para o item que avalia se os participantes ficaram

desapontados com a interrupo do fim do jogo, houve uma
concordncia com apenas 48% dos participantes. A baixa
concordncia quanto a este item pode ser justificada por
alguns itens do jogo que no agradaram aos alunos. Alm
disso, como o estudo foi realizado em uma turma noturna,
alguns alunos j estavam cansados e com desejo de ir para
casa. Dentro dos itens que afetaram a avaliao dos
participantes podem ser citados: falta de udio, animaes ou
pontuao no jogo, conforme relatado no comentrio descrito
abaixo:
Gostei do jogo, pois ele me fez dar mais ateno a ele,

pois deixou um mistrio, me fez querer descobrir as
respostas
Participante 26
As perguntas so de acordo com o dia a dia, desperta o
interesse pessoal.
Participante 27
Deveria ter algo mais dinmico, que deixasse a tela com

mais movimento. Participante 31
2) Anlise de Resultados da Categoria de Experincia do

Usurio
Na categoria sobre Experincia do Usurio so avaliadas
quatro dimenses: Competncia, Diverso, Desafio e Imerso.
A Fig. 8 apresenta o grfico dos resultados obtidos para a
categoria de Experincia do Usurio em relao s perguntas
de cada uma das dimenses. Desta forma, sobre a avaliao da
dimenso de Competncia, 88% dos participantes tiveram
sentimentos positivos de eficincia no jogo e 69% afirmam
No entanto, apesar dos problemas encontrados, 79% dos

alunos afirmam que se divertiram com o jogo, sendo que um
aluno no respondeu a esta afirmativa. O comentrio abaixo
refora os indcios obtidos:
Linguagem fcil e intuitiva, grficos parecidos com
nintendo wii, isso causou certo estmulo. Foi legal jogar e
aprender. Participante 8
Fig. 8. Grfico de Avaliao da categoria Experincia do Usurio.
19
FEES
Para a dimenso do Desafio 67% concordam que o jogo

no fica montono ao oferecer novos obstculos ou variao e
66% afirmam que as tarefas do jogo so adequadamente
desafiadoras. Os itens da dimenso Desafio tiveram baixa
concordncia devido ao fato de que, quando o aluno erra a
fase, mostrada a resposta. Vrios alunos afirmaram que isto
acaba tirando a vontade de continuar jogando, pois aps a
mensagem, j se sabe a resposta, conforme ilustra o
comentrio abaixo:
Eu tiraria a mensagem que informa qual heurstica
deveria ser usada ao errar. Isso acaba tirando a vontade de
continuar jogando.
Participante 1
Fig. 9. Grfico de Avaliao da categoria Aprendizagem.
No entanto, outros alunos gostaram, pois se sentiram

estimulados a continuar jogando, como indica o comentrio a
seguir:
Outra forma utilizada para avaliar a aprendizagem, foi

atravs da autoavaliao do aluno em relao ao seu
aprendizado. Os conceitos avaliados no jogo foram em relao
s dez Heursticas de Nielsen [15]. Em relao
aprendizagem do conceito das Heursticas, foram avaliados
trs objetivos, antes e depois de utilizar o jogo: (a) Lembrar o
que , (b) Compreender como funciona e (c) Aplicar na
Prtica. A Fig. 10 apresenta o grfico com as mdias de
autoavaliao dos alunos em relao aos objetivos de
aprendizagem, antes e depois do jogo, onde se observa um
aumento do nvel de conhecimento em todos os objetivos de
aprendizagem do jogo para todas as heursticas da AH. Este
resultado positivo, pois indica que o jogo oferece
oportunidade para os alunos colocarem em prtica os assuntos
estudados durante as aulas tericas e contribui para o
aprendizado da Avaliao Heurstica.
Gostei porque ele deixa o usurio evoluir durante o jogo,

mesmo errando, ele mostra a resposta e deixa passar de fase
- Participante 4
Para a ltima dimenso avaliada na categoria, a Imerso, o
item que avalia se o participante se sentiu mais no ambiente do
jogo do que no mundo real, houve confirmao de 48%. Alm
disso, 60% dos alunos no perceberam o tempo passar
enquanto jogavam e 61% afirmam que esqueceram as
preocupaes enquanto estavam jogando. Novamente, a falta
de udio, animaes e pontuao afetou a opinio dos
participantes, de acordo com os seguintes comentrios:
Poderia citar mais situaes do mundo real e colocar
fundo musical para atrair mais os usurios - Participante 13
Colocaria algumas animaes
- Participante 17
Faria o jogo por pontuao de acertos. Acima de 50% a

cidade no seria destruda
Participante 21
3) Anlise de Resultados da Categoria de Aprendizagem
O grfico dos resultados da categoria de Aprendizagem
apresentado na Fig. 9. Houve concordncia de 86% dos
participantes sobre o item que avalia se o jogo traz
contribuies para a vida profissional. Para o item que avalia
se os participantes consideram o jogo eficiente em
comparao com outras atividades da disciplina, houve 92%
de concordncia e 91% dos participantes afirmam que o jogo
trouxe contribuies na aprendizagem sendo que 7 alunos no
assinalaram resposta a esta ltima afirmativa.
Os comentrios relatados
reforam os porcentuais obtidos:
por
alguns participantes
Gostei do contedo dado atravs do jogo, refora o

aprendizado no assunto - Participante 13
Gostei da correo dos erros, ajudando a relembrar os
assuntos ensinados em sala de aula - Participante 18
Ajudou a
Participante 24
melhorar os meus
conhecimentos
Fig. 10. Grfico das medidas de autoavaliao sobre os objetivos de

aprendizagem.
V. CONSIDERAES FINAIS E TRABALHOS FUTUROS

Este trabalho apresentou o jogo UsabiliCity para apoio ao
ensino das heursticas da Avaliao Heurstica e sua avaliao
20
FEES
experimental. Para avaliao do jogo foi utilizado o Modelo

de Savi et al. [17]. Em relao a este modelo, atravs dos
resultados fornecidos, foi possvel obter as opinies dos
usurios sobre o aprendizado, motivao e experincia do
usurio.
Alfabetizao Infantil. Anais do Simpsio Brasileiro de Informtica na

Educao, 2013.
[2] Anderson, L., Krathwohl, D., Airasian, P., Cruikshank, K., Mayer, R.,
Pintrich, P., Raths, J., Wittrock, M.: A Taxonomy for Learning, Teaching,
and Assessing: a Revision of Bloom's Taxonomy of Educational
Objectives. Longman, NewYork, pp. 336, 2001.
Apesar dos indcios sobre a utilidade do jogo para o ensino

das Heursticas de Nielsen [15] a inspetores novatos, foram
identificadas oportunidades de melhorias na interface do jogo
para facilitar o seu uso. Dentre as possveis melhorias,
pretende-se incorporar udio e animaes, de forma a
melhorar a experincia do usurio e tornar o jogo mais atrativo
e dinmico. Alm disso, pretende-se melhorar o design de
interao do jogo, principalmente com relao forma em que
as heursticas so escolhidas em cada fase, e a forma de ver a
resposta das fases. Adicionalmente, conforme sugerido pelos
participantes, ser feito um estudo sobre que elementos de
ludicidade podem ser incorporados ao jogo para torn-lo mais
atraente como: pontuao, perfil de jogador, entre outros.
Tambm sero revisadas as analogias feitas para as heursticas
de forma a alinh-las corretamente no contexto da cidade
UsabiliCity e sero adicionadas mais fases ao jogo,
descrevendo mais problemas, para que inspetores novatos
possam praticar mais e ter maior aprendizado dos problemas
que as heursticas da tcnica Avaliao Heurstica podem
ajudar a identificar nas interfaces de software.
[3] Barbosa, S., Silva B.: Interao Humano-Computador, Rio de Janeiro:

Elsevier, 2010.
[4] Benitti, F., Sommariva, L.: Investigando o ensino de IHC no contexto da
computao: o que e como ensinado?. In: Workshop sobre Ensino de
IHC, 2012.
[5] Conte, T., Vaz, V., Zanetti, D., Santos, G., Rocha, A., Travassos, G.:
Aplicao do Modelo de Aceitao de Tecnologia para uma Tcnica de
Inspeo de Usabilidade. Simpsio Brasileiro de Qualidade de Software,
pp. 367-374, 2010.
[6] Desurvire, H., Faster, C.: Are Usability Inspection Methods as Effective
as Empirical Testing?. In: Nielsen, Jakob. Usability Inspection Methods
Computer. John Wiley & Sons, New York, NY, 1994.
[7] Juristo, N., Moreno, A., Sanchez-Segura, M.: Analyzing the impact of
usability on software design. Journal of Systems and Software, Volume
80, Issue 9, 2007.
[8] Keller, J.: Development and Use of the ARCS Model of motivational
Design. Journal of Instructional Development, Volume 10, Issue 3, pp. 2
10, 1987.
[9] Kirkpatrick, D.: Evaluating Training Programs - The Four Levels. BerrettKoehler Publishers, pp. 289, 1994.
[10]Kochanski, D.: Um framework para apoiar a construo de experimentos
na avaliao emprica de jogos educacionais. Dissertao apresentada
Universidade do Vale do Itaja como requisito para a obteno do ttulo
de Mestre em computao. So Jos, Brasil, 2009.
Uma limitao deste trabalho que o jogo foi avaliado

segundo o Nvel 1 (Reao), do modelo de quatro nveis para
avaliao de aprendizagem proposto por Kirkpatrick [9].
necessrio continuar a avaliao do jogo nos outros nveis
(aprendizado, comportamento e resultados) para garantir que o
efeito do mesmo seja positivo em todos os nveis de
aprendizado do aluno. Consequentemente, pretende-se realizar
uma nova avaliao para verificar se o jogo proporciona
aumento nas competncias do inspetor novato, permitindo um
melhor desempenho na aplicao da tcnica da Avaliao
Heurstica. Alm disso, pretende-se utilizar outros mtodos de
avaliao de jogos educacionais (como o proposto por An et
al. [1]) para verificar a viabilidade do uso do UsabiliCity em
sala de aula. Espera-se desta forma, contribuir para o ensino
de Qualidade de Software em termos de usabilidade em cursos
de computao no Brasil.
[11]Lopes, A., Marques, A., Conte, T.: Avaliao do Jogo InspSoft: Um Jogo
para o Ensino de Inspeo de Software. In: XII Simpsio Brasileiro de
Qualidade de Software, 2013.
[12]Maciel, C., Nogueira, J., Ciuffo, L., Garcia, A.: Avaliao heurstica de
stios na web. Anais do 9 Congresso Regional de Informtica e
Telecomunicaes - SUCESU-MT. Cuiab : PAK Multimdia, 2004.
[13]Matera, M., Rizzo, F., Carughi, G. T.: Web Usability: Principles and
Evaluation Methods. Mendes, E., Mosley, N. (eds), Web Engineering,
2006.
[14]Monsalve, E., Werneck, V., Leite, J.: SimulES-W: Um Jogo para o
Ensino de Engenharia de Software. Anais do FEES 2010/ CBSoft 2010.
SBC, 2010. v.1. pp. 17 26, 2010.
[15]Nielsen, J.: Usability engineering. Morgan Kaufmann Pub, 1994.
[16]Ptter, H., Schots, M.: InspectorX: Um Jogo para o Aprendizado em
Inspeo de Software. IV Frum de Educao em Engenharia de Software
(FEES'11), So Paulo, 2011
AGRADECIMENTOS
Os autores agradecem a todos os participantes do estudo,
aos monitores que colaboraram durante a execuo do estudo.
Alm disso, os autores agradecem aos revisores deste artigo
no Frum de Educao em Engenharia de Software pelas
sugestes propostas para a melhoria do jogo UsabiliCity.
Finalmente, os autores agradecem o apoio financeiro do CNPq
e da Fundao de Amparo Pesquisa do Estado do Amazonas
(FAPEAM) atravs do Projeto ProTI
Pesquisa sob o
processo n. 062.00578/2014.
[17]Savi, R., Wangenheim, C., Borgatto, A.: Um Modelo de Avaliao de

Jogos Educacionais na Engenharia de Software. Anais do XXV Simpsio
Brasileiro de Engenharia de Software (SBES 2011), So Paulo, 2011.
[18]Sommariva, L., Benitti, F., Vavassori, D.: UsabilityGame: jogo simulador
para apoio ao ensino de usabilidade. In: Proceedings of the 10th Brazilian
Symposium on on Human Factors in Computing Systems and the 5th
Latin American Conference on Human-Computer Interaction. Brazilian
Computer Society, pp. 61-65, 2011.
[19]Vargas, J., Garca-Mundo, L., Genero, M., Piattini, M.: A Systematic
Mapping Study on Serious Game Quality, 2011.
REFERNCIAS
[20]Wangenheim, C., Savi, R., Borgatto, A.: SCRUMIA An Educational

Game for Teaching SCRUM in Computing Courses. Journal of Systems
and Software, Volume 86, Issue 10, 2013.
[1] An, D., da Silva, C. , Ribeiro, D., da Rocha, P., Maltinti, C., Nunes, V.,
Fvero, R.: Digita-um Jogo Educativo de Apoio ao Processo de
[21]Wangenheim, C., Savi, R., Borgatto, A.: DELIVER! An Educational

Game for Teaching Earned Value Management in Computing
Courses. Information and Software Technology, Volume 54, Issue 3,
March 2012.
21
FEES
Aplicao de mtodos de avaliao da experincia

do usurio na utilizao de serious game em sala de
aula
Anna Beatriz Marques, Adriana Lopes, Tayana Conte
Grupo de Usabilidade e Engenharia de Software
Instituto de Computao Universidade Federal do Amazonas
Manaus Brasil
{anna.beatriz, adriana, tayana}@icomp.ufam.edu.br
corporativo, educao, sade, polticas pblicas e objetivos
estratgicos de comunicao. Serious games esto sendo
projetados, desenvolvidos e avaliados para uma populao
diversificada de usurios e abrangem um amplo espectro de
variados contedos [5].
Resumo Serious games so jogos com outras finalidades alm

do entretenimento, e tm sido utilizados como apoio ao ensino de
diversos tpicos da Engenharia de Software. Porm no o bastante
que estes jogos sejam apenas didaticamente adequados e provedores
do aprendizado, necessrio que eles proporcionem uma boa
experincia aos alunos. Portanto, torna-se importante avaliar a
experincia de uso destas aplicaes. Neste artigo, relatada a
avaliao do jogo uTest atravs de dois mtodos de avaliao da
experincia do usurio: Game Experience Questionnarie e as 10
Heursticas da Emoo. Alm disso, os resultados permitiram
identificar possveis melhorias nos mtodos de avaliao aplicados
que poderiam enriquecer os resultados obtidos.
A experincia do usurio um conceito mais amplo de

qualidade de uso que engloba tambm a usabilidade,
explorando como uma pessoa se sente em relao a um produto
e est mais relacionada a aspectos subjetivos tais como a
motivao, a expectativa e a satisfao no uso de um produto
[6]. Geralmente, um serious game adotado em sala de aula
como forma de motivar os alunos no ensino de um determinado
tpico. Por esta razo, muito importante que a experincia do
usurio proporcionada pelo serious game seja positiva.
Portanto, ao selecionar um serious game, seria interessante
dispor de resultados anteriores da experincia de usurios para
evitar que a tentativa de motivao resulte em uma experincia
contrria, tal como a frustrao dos alunos.
Abstract Serious games are games for purposes other than

entertainment and have been used to support the teaching of various
disciplines in software engineering. However, it is not enough to be
didactic adequate and learning providers but it is necessary to provide
a good experience for students. Therefore, it becomes important to
assess the students' use experience with serious game. In this paper,
we report the evaluation of uTest game using two user experience
evaluation methods: Game Experience Questionnaire and the 10
heuristics of Emotion. Furthermore, the results allowed identify
possible improvements in user experience of serious game that could
enrich the results.
Uma iniciativa de incluir a avaliao da experincia do

usurio para serious game foi realizada por Savi et al. [7] ao
propor um modelo de avaliao para jogos educacionais de
Engenharia de Software. No modelo existem trs subescalas de
avaliao, e uma das subescalas a experincia do usurio, que
foi composta a partir de quatros modelos encontrados na
literatura [1][8][9][10]. Os conceitos considerados na subescala de experincia do usurio so: Imerso, Interao Social,
Desafio, Diverso, Controle e Competncia [7]. Considerando
que o enfoque do mtodo no apenas avaliar a experincia do
usurio, torna-se interessante a utilizao de mtodos prprios
para a avaliao da experincia do usurio, de modo a
enriquecer os resultados obtidos.
KeywordsSoftware Engineering education, serious games;

user experience; software testing.
I.
INTRODUO
Um dos problemas relacionados capacitao de mtodos e

tcnicas de Engenharia de Software (ES) se deve ao fato de que
as iniciativas de treinamento muitas vezes possuem um enfoque
terico [1]. Uma forma de motivar o aprendizado e diminuir o
enfoque terico atravs do uso de jogos que estimulem o
aprendizado [2]. O termo atualmente adotado para jogos que
possuem, alm do entretenimento, o foco na aprendizagem
serious game [3].
Este artigo apresenta uma discusso sobre os resultados

obtidos na avaliao da experincia do usurio para o serious
game uTest [2], que apoia o ensino de teste de software. Para a
avaliao do serious game, foram utilizados os mtodos Game
Experience Questionnarie [11] e as 10 Heursticas da Emoo
[12]. Atravs destes mtodos foi possvel analisar diferentes
aspectos da experincia dos alunos durante a utilizao do
uTest.
Ritterfeld et al. [3] definem serious games como jogos para

um ou mais jogadores, cujo objetivo no somente o
entretenimento. De maneira mais ampla, Zyda [4] descreve um
serious game como uma disputa mental atravs de um
computador, com regras especficas definidas, que utiliza
entretenimento para promover treinamento governamental ou
O restante deste artigo est organizado da seguinte forma:

primeiramente, so apresentados os mtodos de avaliao da
22
FEES
TABELA I.
experincia do usurio utilizados. Em seguida, so descritas a

avaliao do serious game uTest e a anlise dos resultados
obtidos sob o enfoque da experincia do usurio. Na seo
seguinte, apresentada uma discusso a respeito dos resultados
obtidos e mtodos aplicados. Por fim, so abordadas as
consideraes finais e trabalhos futuros decorrentes deste
estudo.
Mdulo principal
Mdulo
II. EXPERINCIA DO USURIO E MTODOS DE AVALIAO

Segundo Vermeeren et al. [6], como a experincia do
usurio subjetiva, as mtricas objetivas de usabilidade, tais
como o tempo de execuo da tarefa e o nmero de cliques ou
erros no so medidas suficientes: precisamos saber como o
usurio se sente sobre o sistema. Neste sentido, diversos
mtodos para avaliao da experincia do usurio tm sido
propostos com foco em diversos tipos de aplicaes, tais como
aplicativos mveis, aplicaes desktop, web services.
COMPONENTES DOS MDULOS DO GEQ.
Componente
Competncia
Imerso sensorial
e imaginativa
Fluxo
Tenso
/
Aborrecimento
Desafio
Afeio negativa
Mdulo Aspecto Social
Afeio positiva
Mdulo ps game
Porm, em sua reviso da literatura sobre mtodos de

avaliao da experincia do usurio, Vermeeren et al. [6] no
identificaram a categoria games nos tipos de aplicaes para as
quais tem sido propostos mtodos de avaliao da experincia
do usurio, o que pode ser um indcio da necessidade de
mtodos especficos para este tipo de aplicao. Para a
avaliao do serious game objeto deste estudo foram
selecionados dois mtodos da avaliao da experincia do
usurio. O primeiro mtodo especfico para jogos, mas no
especificamente para serious game o Game Experience
Questionnarie [11]. O segundo mtodo permite analisar
respostas emocionais dos usurios As 10 heursticas da
emoo [12]. Os dois mtodos so apresentados a seguir.
A. Game Experience Questionnarie (GEQ)
O mtodo Game Experience Questionnarie (GEQ) um
questionrio contendo afirmativas em relao experincia do
usurio durante a interao com jogos digitais. O usurio
responde ao questionrio assinalando o seu grau de
concordncia em relao a como se sente sobre cada afirmativa
[13]. O grau de concordncia foi definido segundo a escala de
Likert e definido da seguinte forma: (0) De modo algum, (1)
Levemente, (2) Moderadamente, (3) Bastante e (4)
Extremamente.
Envolvimento
psicolgico
empatia
Envolvimento
psicolgico
sentimentos
negativos
Envolvimento
comportamental
Experincia
positiva
Experincia
negativa
Cansao
Retorno
realidade
Descrio
Percepo do jogador sobre sua habilidade
e competncia no jogo.
Avalia o quanto o jogador se sentiu no jogo
e se imaginou no jogo.
Percepo do jogador em relao ao curso
e enredo do jogo.
Avalia se o jogo causou tenso ou
aborrecimento no jogador.
Percepo do jogador em relao aos
desafios apresentados no jogo.
Avalia se o jogo causou antipatia no
jogador.
Avalia se o jogo causou simpatia no
jogador.
Avalia se o jogo leva os jogadores a
compartilharem sentimentos e afinidades
durante o jogo.
Avalia se o jogo promove a rivalidade
entre os jogadores.
Avalia se o jogo promove a participao
colaborativa
dos
jogadores
na
aprendizagem.
Avalia se o jogador obteve uma experincia
positiva durante o jogo.
Avalia se o jogador obteve uma experincia
negativa durante o jogo.
Avalia se o jogo causou cansao no
jogador.
Avalia como o jogador se sentiu ao se
desconectar do jogo.
B. As 10 Heursticas da Emoo
A emoo um aspecto fundamental na experincia do
usurio, uma vez que permite compreender o nvel de
engajamento e motivao do usurio durante a interao com
um produto [12]. Com base em teorias que relacionam reaes
expressivas a diferentes emoes, Lera e Domingo [12]
propuseram as 10 heursticas da emoo: (H1) Testa franzida,
(H2) Levantar as sobrancelhas, (H3) Olhar distncia, (H4)
Sorrir, (H5) Comprimir os lbios, (H6) Mexer a boca, (H7)
Expresso vocal, (H8) Mo tocando a face, (H9) Ir para trs na
cadeira, (H10) Inclinar para frente o tronco. A H4 a nica
heurstica positiva e representa o objetivo que o design da
aplicao deseja alcanar. A TABELA II. apresenta uma breve
descrio de cada heurstica proposta por Lera e Domingo.
O questionrio dividido em diferentes mdulos: (1)

mdulo principal, que aborda a experincia do usurio durante
o jogo e contm 33 afirmativas (2) mdulo de aspecto social,
que aborda a experincia entre jogadores e contm 17
afirmativas e (3) mdulo ps-game, que diz respeito
experincia do usurio aps o trmino do jogo e tambm possui
17 afirmativas [1]. Alm desta diviso do questionrio, o
mtodo analisa a experincia do usurio atravs de diferentes
dimenses da experincia do jogador, conforme detalhado na
TABELA I. O questionrio deve ser aplicado logo aps o
trmino do jogo. O mdulo principal pode, ainda, ser aplicado
aps pausas durante o jogo e avaliar cada etapa da utilizao.
Para a avaliao do uTest foram utilizados apenas os mdulos
principal e ps game. O mdulo principal foi utilizado uma
nica vez, ao trmino do jogo. O mdulo de aspecto social no
foi utilizado, pois o jogo no permite a interao entre
jogadores.
A anlise do estado emocional dos usurios realizada

atravs da observao de seus comportamentos. Esta
observao feita com base em um vdeo com a captura da face
dos usurios durante a interao. A interao de um usurio ser
considerada negativa se pelo menos cinco heursticas negativas
forem identificadas durante a observao.
TABELA II.
DESCRIO DAS HEURSTICAS DA EMOO.
Heurstica
(H1) Testa franzida
(H2) Levantar as sobrancelhas
23
Descrio
Pode ser um sinal da necessidade de
concentrao, desgosto ou percepo de
falta de clareza.
Sinal de incerteza, descrena, espanto e
exasperao.
FEES
Heurstica
(H3) Olhar distncia
(H4) Sorrir
(H5) Comprimir os lbios
(H6) Mexer a boca
(H7) Expresso vocal
(H8) Mo tocando a face
(H9) Ir para trs na cadeira
(H10) Inclinar para frente o

tronco
III.
do jogador no projeto sob o enredo do jogador estar

procurando um projeto para trabalhar. Aps este cenrio, a
prxima etapa esta relacionada a uma entrevista de emprego
que inicialmente o jogador deve realizar.
Descrio
Pode ser um sinal de decepo. Olhar para
baixo tende a transmitir uma atitude de
derrotado mas pode ser tambm culpa ou
vergonha.
Sinal de satisfao.
Pode ser percebido como um sinal de
frustrao ou confuso.
Se o usurio visto falando ou
gesticulando com si mesmo, sinal de
estar perdido ou de incerteza.
Suspiros e tosses, bem como o volume, o
tom e a qualidade da expresso podem ser
sinais de frustrao ou decepo.
Pode ser percebido como um sinal de
frustrao ou confuso.
Ir para trs na cadeira pode estar
mostrando um desejo de fugir daquela
situao.
Pode ser um sinal de depresso ou
frustrao. Mas ao contrrio da heurstica
anterior, o usurio no demonstra recusa,
pois inclinar-se para frente um sinal de
chegar mais perto.
Para fazer parte da equipe de teste, o jogador deve responder

corretamente pelo menos trs das cinco perguntas que o jogo
disponibiliza na primeira etapa como apresenta a Fig. 1. Ao
obter resultado positivo para os primeiros desafios, o jogador
recebe o feedback de sua aprovao na entrevista conforme a
Fig. 2. Caso o resultado seja negativo, ou seja, o jogador no
obteve a pontuao mnima, o jogo disponibiliza a opo para
tentar novamente ou procurar outro projeto.
AVALIAAO DA EXPERINCIA DO USURIO NO SERIOUS

GAME UTEST
Avaliar a experincia do usurio permite identificar as

percepes e reaes de um usurio que resultam do uso ou do
uso previsto de um produto, sistema ou servio. [14] Com o
intuito de analisar a experincia de alunos na interao com
serious game uTest em sala de aula, foi realizada uma avaliao
da experincia do usurio.
Fig. 2. Tela com feedback da aprovao do jogador.
Assumindo que o jogador obtenha o resultado positivo, o

mesmo encaminhado para a segunda etapa, que inicia sob o
enredo do jogador ser contratado para o projeto. Os desafios
desta etapa esto relacionados ao artefato que o jogador
recebe, que contm informaes para criar um teste unitrio
no projeto. Os desafios so:
A. O serious game uTest

O serious game uTest proposto por Silva [2], utiliza
simulao atravs de cenrios com o objetivo de apoiar o ensino
de teste de software, especificamente ao teste de unidade,
atravs de questes tericas e prticas.
1. Classes de equivalncia - Para este desafio, o jogador

deve selecionar as parties de equivalncia com base na
descrio de um cenrio.
2. Valor Limite - Com base na resposta informada pelo
desafio 1, o jogo solicita que o usurio informe os valores
limites para as classes identificadas.
3. Dados de Entrada - O jogo permite que o jogador indique
os dados de entrada com base nos desafios anteriores. O jogador
deve selecionar uma das parties ou valores limites
disponveis no painel esquerda, e ento selecionar um valor
correspondente.
4. Grafo de Causa e Efeito ou rvore de Deciso - Neste
desafio, o jogador seleciona e arrasta os objetos para montar o
grafo. Caso o objeto seja selecionado para o local correto, a
posio alterada para a cor verde, caso contrrio, alterado
para a cor vermelha.
Fig. 1. Tela com a primeira etapa de desafios.
A tela inicial do jogo disponibiliza ao jogador trs opes:

visualizar instrues, informaes sobre o jogo e jogar.
Aps a opo jogar ser selecionada, exibida uma tela onde o
nome do usurio e senha devem ser inseridos. Caso seja a
primeira vez que o usurio utiliza seus dados de cadastro no
jogo, o jogador encaminhado para uma tela para que o mesmo
escolha um personagem. O jogo apresenta duas etapas com
desafios. O cenrio da primeira etapa do jogo introduz a seleo
Aps a concluso de todos os desafios no jogo, a tela de

encerramento e feedback do final do projeto exibido para o
jogador, exibindo sua pontuao total atravs do cenrio em que
o responsvel pelo projeto o informa sobre seu desempenho. O
responsvel neste cenrio o mesmo personagem que realizou
a entrevista do jogador no inicio como ilustra a Fig. 3. Aps a
tela de encerramento ser exibida, o jogador encaminhado a
tela de ranking, onde o resultado confrontado com a
24
FEES
pontuao dos demais jogadores sob o cenrio "Hall da Fama",

que exibe os melhores resultados e os nomes dos jogadores.
dados para posterior anlise. Cada participante utilizou

individualmente o jogo em sala de aula atravs de notebooks
com o software Debut Video Capture instalado para possibilitar
a captura da face de cada participante durante a interao com
o jogo.
Como objetivos educacionais, o jogo proposto tem como

finalidade: reconhecer e entender os principais conceitos de
testes de software de maneira geral e entender e aplicar as
tcnicas para a seleo de dados de entrada, tais como
particionamento em classes de equivalncia, anlise de valor
limite e grafo de causa e efeito [2].
Durante a interao com o jogo, os participantes no podiam

interagir uns com os outros. Aps o fim do jogo, os
participantes recebiam os formulrios do mtodo GEQ para
preenchimento de acordo com o seu grau de concordncia em
relao a cada afirmao do questionrio.
C. Anlise dos Resultados da Avaliao
Na anlise dos resultados, primeiramente os dados obtidos
com o formulrio do GEQ foram analisados quantitativamente
para obteno de percentuais na escala do grau de concordncia.
Para a anlise quantitativa dos resultados, IJsselsteijn et al. [13]
definem uma diviso para cada mdulo do questionrio em
componentes. Cada componente possui afirmaes do
questionrio associadas, conforme detalhado a seguir em
relao ao mdulo principal: Competncia (2, 10, 15, 17 e 21),
Imerso sensorial e imaginativa (3, 12, 18, 19, 27 e 30), Fluxo
(5, 13, 25, 28 e 31), Tenso/Aborrecimento (22, 24 e 29),
Desafio (11, 23, 26, 32 e 33), Afeio negativa (7, 8, 9 e 16) e
Afeio positiva (1, 4, 6, 14 e 20).
Fig. 3. Tela de encerramento do jogo.
O uTest foi avaliado em relao aos efeitos de

aprendizagem de jogos educacionais aplicados ao ensino de
Engenharia de Software, atravs de experimentos que visavam
responder hipteses levantadas para as perguntas [11]:
A TABELA III. apresenta os resultados obtidos para cada

afirmativa do mdulo principal do GEQ separados por
componentes.
"A utilizao do jogo proposto como apoio para o ensino de

teste de software permite uma melhor fixao e compreenso
dos conceitos abordados em aula?"
TABELA III.
RESULTADOS QUANTITATIVOS DO MDULO PRINCIPAL.
Componente Competncia
"O jogo proposto permite, por parte do aluno, a aplicao

dos conceitos e tcnicas de teste, possibilitando a criao de
um conhecimento do nvel de aplicao?"
2. Eu me senti habilidoso
10. Eu me senti competente
15. Eu fui bem no jogo
17. Eu me senti bem sucedido
21. Eu atingi as metas do jogo de
forma rpida
Componente Imerso Sensorial e
Imaginativa
3. Eu estava interessado na histria
do jogo
12. Foi esteticamente agradvel
18. Eu me senti criativo
19. Eu senti que podia explorar
coisas
27. Eu achei impressionante
30. Pareceu uma rica experincia
"O jogo proposto considerado uma atividade motivante?"

A anlise dos experimentos confirmou que os objetivos
especficos planejados para o uTest foram alcanados. Porm,
com a avaliao proposta neste artigo pode-se verificar a
experincia do usurio em relao ao uTest.
B. Planejamento e Execuo da Avaliao
Durante o planejamento, os formulrios para avaliao do
uTest segundo o mtodo GEQ foram elaborados, bem como o
Termo de Consentimento Livre e Esclarecido (TCLE). Como
mencionado anteriormente, apenas os mdulos principal e psgame foram aplicados. O mdulo de aspecto social no foi
aplicado, pois o jogo no previa a interao entre jogadores.
Componente Fluxo
5. Eu estava completamente ocupado
com o jogo
13. Eu esqueci de tudo ao meu redor
25. Eu perdi a noo do tempo
28. Eu fiquei profundamente
concentrado no jogo
31. Eu me desconectei do mundo
exterior
Componente
Tenso/Aborrecimento
22. Eu me senti aborrecido
24. Eu me senti irritado
29. Eu me senti frustrado
Os participantes da avaliao foram 21 alunos do 6 perodo

do curso de Cincia da Computao da disciplina Engenharia
de Software. E, para apoio ao processo da avaliao, foram
selecionados 5 monitores que preparavam os notebooks para
iniciar a captura da face dos participantes e verificavam a
completude das respostas aos questionrios.
Todos os alunos haviam assistido a aulas sobre teste de
software e tcnicas para seleo de dados de entrada em testes
de unidade e assinaram devidamente o termo de consentimento,
onde concordavam em participar do estudo e disponibilizar seus
25
0
(%)
5
0
14
14
1
(%)
24
19
24
29
2
(%)
52
33
38
19
3
(%)
14
33
24
24
4
(%)
5
10
0
10
24
33
24
14
0
(%)
1
(%)
2
(%)
3
(%)
4
(%)
14
14
19
52
10
10
14
24
19
38
10
24
43
5
10
14
14
48
14
5
5
0
(%)
29
14
1
(%)
24
19
2
(%)
38
33
3
(%)
5
29
4
(%)
10
24
19
48
33
19
19
19
19
14
5
24
24
24
19
24
29
19
33
10
24
10
24
0
(%)
33
33
19
1
(%)
29
38
38
2
(%)
10
5
33
3
(%)
19
19
5
4
(%)
5
10
5
FEES
Componente Desafio
11. Eu achei o jogo difcil
23. Eu me senti pressionado
26. Eu me senti desafiado
32. Eu senti a presso do tempo
33. Eu tive que me esforar bastante
Componente Afeio Negativa
7. O jogo me deixou de mau humor
8. Eu pensei em outras coisas
durante o jogo
9. Eu achei o jogo cansativo
16. Eu me senti entediado
Componente Afeio Positiva
1. Eu me senti contente
4. Eu achei o jogo divertido
6. Eu me senti feliz
14. Eu me senti bem
20. Eu me diverti
0
(%)
5
48
0
33
0
0
(%)
38
1
(%)
29
19
5
19
24
1
(%)
24
2
(%)
19
14
14
24
24
2
(%)
14
3
(%)
38
14
33
19
24
3
(%)
5
4
(%)
10
5
48
5
29
4
(%)
14
38
19
24
14
33
29
0
(%)
19
5
10
10
19
24
43
1
(%)
5
5
24
14
19
19
24
2
(%)
33
19
29
38
10
14
0
3
(%)
43
38
19
19
29
TABELA IV.
RESULTADO QUANTITATIVOS DO MDULO PS GAME.
Componente Experincia Positiva

1. Eu me senti renovado.
5. Eu me senti vitorioso.
7. Eu me senti estimulado.
8. Eu me senti satisfeito.
12. Eu me senti poderoso.
15. Eu me senti orgulhoso.
Componente Experincia Negativa
2. Eu me senti mal.
4. Eu me senti culpado.
6. Eu achei um desperdcio de
tempo.
11. Eu acho que poderia ter feito
coisas mais teis.
14. Eu fiquei arrependido.
16. Eu fiquei envergonhado.
10
5
4
(%)
0
29
19
19
24
Componente Cansao
10. Eu me senti exausto.
13. Eu me senti cansado.*
O mdulo ps-game tambm possui afirmativas associadas

a cada um de seus componentes, da seguinte forma: Experincia
positiva (1, 5, 7, 8, 12 e 15), Experincia negativa (2, 4, 6, 11,
14 e 16), Cansao (10 e 13) e Retorno realidade (3, 9 e 17). A
TABELA IV. apresenta os resultados obtidos para cada
afirmativa do mdulo principal do GEQ separados por
componentes.
Componente Retorno Realidade

3. Eu achei difcil voltar realidade.
9. Eu me senti desorientado.
17. Eu tive a sensao de ter
retornado de uma viagem.
0
(%)
24
24
5
14
33
24
0
(%)
62
76
1
(%)
19
10
10
19
29
10
1
(%)
19
10
2
(%)
33
29
33
19
19
24
2
(%)
10
0
3
(%)
14
19
24
29
14
24
3
(%)
5
14
4
(%)
10
19
29
19
0
14
4
(%)
5
0
67
24
29
24
19
19
57
38
0
(%)
33
0
(%)
85
43
14
19
1
(%)
33
1
(%)
5
33
14
19
2
(%)
10
2
(%)
10
10
5
10
3
(%)
19
3
(%)
0
10
5
10
4
(%)
5
4
(%)
0
5
57
19
10
*Durante a traduo do questionrio, a afirmativa 13 no foi inserida

por uma falha na preparao do questionrio.
Como forma de visualizar os resultados quantitativos de

forma mais adequada, optou-se por gerar grficos de barras que
representassem a porcentagem de participantes que
selecionaram cada grau de concordncia em cada afirmao do
questionrio. O eixo X representa a escala do grau de
concordncia para cada afirmativa. O eixo Y representa a
porcentagem de participantes que assinalaram o respectivo grau
de concordncia para uma determinada afirmativa. As legendas
descrevem as afirmativas que compem o componente em
anlise.
A seguir so apresentados os grficos de resultados para

alguns dos componentes do GEQ.A Fig. 4 ilustra os resultados
quantitativos obtidos para o componente do mdulo principal
Competncia, que aborda como o participante avalia sua
habilidade e desempenho no jogo. possvel analisar que para
este componente como um todo, houve um menor percentual de
concordncia em relao s afirmativas, pois as subescalas De
modo algum e Levemente obtiveram maior percentual de
respostas. Isto pode indicar a ocorrncia de dificuldades durante
o jogo.
Fig. 4. Resultados quantitativos para o componente Competncia.
A Fig. 5 ilustra os resultados quantitativos obtidos para o

componente do mdulo principal Imerso sensorial e
imaginativa, que investiga o quanto o jogador se imaginou no
jogo. Para este componente, houve um maior percentual de
concordncia em relao s afirmativas, o que fornece indcios

de que a maioria dos participantes achou interessante a histria
simulada no jogo e que o jogo permitiu ter uma experincia
criativa e agradvel no aprendizado de teste de software.
26
FEES
Fig. 5. Resultados quantitativos para o componente Imerso Sensorial e Imaginativa.
Na Fig. 6 so apresentados os resultados quantitativos

obtidos para o componente do mdulo principal Tenso /
Aborrecimento, que avalia se o jogo causou tenso ou
aborrecimento no jogador. Em relao a este componente, a
maioria das respostas foi para as subescalas de discordncia.

Isto ilustra um resultado positivo, indicando que o jogo pode ter
provocado tenso ou aborrecimento em poucos participantes.
Fig. 6. Resultados quantitativos para o componente Tenso / Aborrecimento.
A Fig. 7 apresenta os resultados quantitativos obtidos para

o componente do mdulo principal Desafio, que identifica a
percepo do jogador em relao aos desafios apresentados
durante o jogo. Foi obtido um maior ndice de concordncia s
afirmativas relacionadas dificuldade e esforo exigido pelo
jogo (itens 11, 26 e 33), indicando que o jogo foi desafiador e

exigiu esforo dos participantes para alcanar as metas. Porm,
a maioria dos participantes discordou das afirmativas
relacionadas presso que o jogo causou sobre eles (itens 23 e
32), indicando que no se sentiram pressionados durante o jogo.
27
FEES
Fig. 7. Resultados quantitativos para o componente Desafio.

componente do mdulo principal Afeio negativa, que avalia
se o jogo causou antipatia nos jogadores. Este componente
obteve maior discordncia em relao s afirmativas, indicando

que o jogo no causou um nvel significativo de tdio, cansao
e mau humor nos participantes.
Fig. 8. Resultados quantitativos para o componente Afeio Negativa.

componente do mdulo principal Fluxo, que avalia a
percepo do jogador em relao ao enredo do jogo. Houve
pouca diferena em relao concordncia e discordncia dos
participantes em relao aos itens de "Eu me desconectei do

mundo exterior" e "Eu fiquei profundamente concentrado no
jogo", isto indica que a imerso dos participantes no enredo do
jogo pode ser considerada como mdia.
Fig. 9. Resultados quantitativos para o componente Fluxo
28
FEES

componente do mdulo ps game - Experincia Negativa. A
maioria das respostas representou discordncia sobre a
ocorrncia de experincias negativas durante o jogo. O que
demonstra um resultado positivo para o uTest, indicando que o

jogo causou o mnimo de mal-estar, culpa, vergonha ou
arrependimento durante o jogo.
Fig. 10. Resultados quantitativos para o componente Experincia Negativa.

componente do mdulo ps-game Retorno realidade, que
aborda como o jogador se sentiu ao se desconectar do jogo. A
maioria das respostas representou discordncia sobre a
dificuldade de retornar realidade aps o jogo. Isto pode ter
sido influenciado pelo fato de que o jogo foi aplicado em uma

turma do turno noturno e ainda no ltimo horrio de aula. Nesta
turma, a maioria dos alunos trabalha durante o dia e noite j
esto bem cansados.
Fig. 11. Resultados quantitativos para o componente Retorno Realidade.
Uma maior investigao sobre os resultados negativos

poderia auxiliar em futuras melhorias para o jogo, porm o
mtodo GEQ no possibilita este detalhamento, uma vez que
no aborda a coleta de dados qualitativos.
fortes PFT03, PFT08 e PFT09 relacionados ao componente

Competncia, pois abordam aspectos que afetam a habilidade
do participante no jogo.
TABELA V.
Para melhor compreenso dos resultados, foram

adicionadas aos questionrios duas perguntas exploratrias que
solicitava ao jogador que descrevesse trs pontos positivos e
trs pontos negativos no uTest. Como as respostas foram
pontuais, foram elaboradas tabelas para a apresentao dos
pontos fortes (PFT) e pontos fracos (PFC) do uTest do ponto de
vista dos participantes. A TABELA V. descreve os pontos
fortes citados pelos participantes e a TABELA VI. lista os
pontos negativos.
PONTOS FORTES DO JOGO DO PONTO DE VISTA DOS
PARTICIPANTES.
Ponto Forte
PFT01
PFT02
PFT03
PFT04
PFT05
PFT06
PFT07
PFT08
PFT09
PFT10
Analisando a TABELA V. e relacionando os pontos a

alguns componentes do GEQ, possvel identificar os pontos
29
Descrio
A abordagem contextual do jogo interessante.
O jogo criativo.
Motivao, pois dava explicaes quando o jogador
comete um erro.
O jogo bastante interativo.
A forma de tratar a disciplina interessante.
O jogo bem animado.
O jogo prende a ateno do jogador.
O jogo estimula o conhecimento do jogador.
O jogo de fcil entendimento.
O hall da fama um recurso bem interessante.
FEES
PFT11
PFT12
O jogo no entediante, d vontade de ser aprofundar

mais no jogo.
Os desafios do jogo so bem elaborados.
desafio, sem sucesso. O ponto PFC05 no pde ser associado a

nenhum componente.
Os itens PFT01, PFT02, PFT05 e PFT07 podem ser

relacionados ao componente Imerso Sensorial e Imaginativa,
uma vez que descrevem fatores relacionados criatividade e
interesse do participante no enredo do jogo.
De posse do vdeo com a captura da face dos participantes

durante a interao, as ocorrncias das heursticas da emoo
foram identificadas. Vale ressaltar que um vdeo foi descartado
devido a uma falha na captura da interao. A TABELA VII.
apresenta a anlise quantitativa em relao ocorrncia das
heursticas.
J o item PFT04 est relacionado ao componente Fluxo,

pois um aspecto que afeta positivamente a concentrao do
aluno no jogo. Ao componente Desafio, esto relacionados os
pontos PFT10, pois o hall da fama visto como um desafio do
jogo, j que apenas so exibidos os nomes dos jogadores com
maior pontuao e PFT12, que menciona diretamente a
qualidade dos desafios do jogo.
TABELA VII. ANLISE DA OCORRNCIA DAS HEURSTICAS DA EMOO.

Heurstica
H1. Testa franzida
H2. Levantar as sobrancelhas
H3. Olhar distncia
H4. Sorrir
H5. Comprimir os lbios
H6. Mexer a boca
H7. Expresso vocal
H8. Mo tocando a face
H9. Ir para trs na cadeira
H10. Inclinar para frente o tronco
O ponto PFT06 diz respeito ao componente Afeio

positiva, pois permite que o jogador se divirta durante o jogo.
E, por fim, os pontos PFT08 e PFT11, so relacionados,
respectivamente, aos componentes Experincia positiva e
Experincia negativa. O ponto PFT08 possibilita que o jogador
se sinta estimulado durante o jogo. E o ponto PFT11 impede
que o jogador se sinta entediado.
TABELA VI.
De acordo com Lera e Domingo [12], a interao ser

considerada negativa se pelo menos cinco heursticas negativas
forem identificadas. Caso contrrio, a experincia considerada
positiva. Assim, a TABELA VIII. apresenta o resultado geral
obtido com base nesta anlise. Observa-se que 27% dos
participantes apresentam experincia positiva com o serious
game, devido quantidade de heursticas negativas observadas
por tais participantes serem menores que cinco.
PONTOS FRACOS DO JOGO DO PONTO DE VISTA DOS
PARTICIPANTES.
Ponto Fraco
PFC01
PFC02
PFC03
PFC04
PFC05
PFC06
PFC07
PFC08
PFC09
PFC10
PFC11
PFC12
PFC13
PFC14
Nmero de participantes
11
10
9
3
11
11
12
16
14
16
Descrio
As dicas do jogo poderiam ser mais explicadas.
As perguntas do jogo so complexas.
O jogo cansativo.
O jogo difcil.
O jogo precisa de conexo com a internet.
O jogo poderia ter mais opes de perguntas.
O jogo possui poucos artefatos a serem analisados.
A quantidade de chances para acertar uma questo
ilimitada.
O jogo poderia apresentar um resultado final para o
jogador, mostrando seus pontos fracos no jogo.
A forma de obteno da pontuao do jogo no est clara.
As perguntas no estavam bem explicadas.
Algumas telas do jogo eram muito coloridas.
O jogo poderia ser mais divertido.
O jogo apresentava muitas telas com texto.
TABELA VIII. RESULTADO GERAL DO MTODO HEURSTICAS DA EMOO.

Experincia Positiva
27%
Experincia
Negativa
73%
Avaliao Final
Negativa
A avaliao final do jogo uTest segundo as 10 heursticas

da emoo foi considerada negativa, pois a maioria dos
participantes apresentou uma experincia negativa. De maneira
similar ao mtodo GEQ, as heursticas da emoo no
disponibilizam prticas para avaliar os sinais da emoo de
maneira qualitativa, para uma melhor compreenso dos
resultados, podendo fornecer apenas uma avaliao geral da
experincia emocional.
Relacionando os pontos da TABELA VI. aos componentes

do GEQ, temos que os pontos PFC01, PFC02 e PFC09 esto
relacionados Competncia, pois afetam negativamente o
desempenho do jogador. J o ponto PFC03 est relacionado ao
Cansao, pois permite que o jogador fique cansado durante o
jogo.
Aps a utilizao do serious game, foi realizado um debate

entre os participantes e a professora que aplicou o uTest. Os
alunos comentaram que este jogo no auxilia tanto no
aprendizado inicial de teste, mas sim na avaliao deste
aprendizado. Isto se deve ao fato de que, em alguns desafios do
jogo, as dicas no so suficientes para que um aluno que no
domina o assunto consiga resolver o desafio, como ocorre em
outros jogos.
Em relao ao Desafio, temos os pontos PFC04 e PFC11,

que fazem com que o jogador ache o jogo difcil. Ao
componente Imerso sensorial e imaginativa podemos
relacionar os pontos PFC06, PFC12 e PFC14. Os pontos PFC12
e PCF14 afetam a experincia esttica agradvel. O item
PFC06, por sua vez, afeta negativamente o fato de o jogador
sentir que pode explorar coisas no jogo, j que as questes so
limitadas.
Assim, este jogo pode fornecer uma experincia mais

positiva quando os alunos j aprenderam e aplicaram as tcnicas
para seleo de testes unitrios em outro contexto. O jogo seria
uma ferramenta para avaliao do aprendizado dos alunos neste
tema.
Os pontos PFC07, PFC10 e PFC13 esto relacionados

Experincia positiva, pois influenciam a satisfao e estmulo
do jogador durante o jogo. Por fim, o ponto PFC08 pode ser
associado Afeio negativa, pois pode tornar o jogo
entediante quando o jogador tenta vrias vezes resolver um
IV.
DISCUSSO
O objetivo deste artigo no consiste em apenas apresentar

os resultados de uma avaliao, mas tambm apresentar a
30
FEES
variedade de perspectivas relacionadas experincia do usurio

a serem exploradas em serious game. Apesar de os mtodos
adotados no serem especficos para serious game, o GEQ em
especial, forneceu resultados interessantes em relao
experincia do usurio durante o jogo, permitindo a anlise de
diversos aspectos como competncia, imerso, desafio,
cansao, entre outros. Ainda em relao aos mtodos de
avaliao adotados, alguns aspectos podem ser destacados.
Agradecimentos
As autoras agradecem o apoio financeiro da FAPEAM
atravs do Edital N 016/2013 PROTI PESQUISA, processo
No 062.00578/2014. As autoras tambm agradecem a Antnio
Carlos Silva e ao Prof. Marcello Thiry da Costa por
disponibilizarem o serious game uTest.
Referncias
Em relao aos resultados obtidos atravs do GEQ, um

ponto fraco do mtodo foi o fato de se concentrar apenas em
dados quantitativos, pois quando se opta por realizar uma
avaliao da experincia do usurio em uma aplicao, o
objetivo no s avaliar se a aplicao apresenta uma boa ou
m experincia, como tambm identificar possveis melhorias
na aplicao. Em contrapartida, um ponto forte do mtodo a
facilidade da coleta de dados e a diviso da anlise em
dimenses, o que facilita a organizao dos resultados.
[1]
[2]
[3]
[4]
Um ponto importante em relao s 10 heursticas da

emoo o fato de que 5 heursticas so o suficiente para
considerar uma experincia negativa. Porm, em um serious
game algumas heursticas podem ocorrer no pelo fato de o
usurio estar experimentando uma m experincia e sim, pelo
fato de estar concentrado e empenhado no jogo. Outro ponto
o fato de que mesmo que um usurio no apresente a nica
heurstica positiva H4, sua experincia pode ser considerada
positiva pelo prprio usurio.
V.
[5]
[6]
[7]
CONCLUSES E TRABALHOS FUTUROS
[8]
Os resultados obtidos mostram principalmente dois pontos

principais: (1) a necessidade de analisar a validade dos
resultados da experincia do usurio para o contexto de serious
game, e (2) a necessidade de complementar os resultados
atravs de dados qualitativos. Em relao ao GEQ, uma
proposta de melhoria poderia ser a aplicao de entrevistas aps
o preenchimento dos formulrios para investigar resultados
negativos assinalados no questionrio pelos usurios. Desta
forma, seria possvel identificar as causas das experincias
negativas durante a interao e sugestes de melhorias advindas
dos prprios usurios. Como trabalho futuro, pretende-se
realizar avaliaes qualitativas para outros serious game
voltados para o ensino de tpicos em Engenharia de Software,
com o objetivo de compreender os dados quantitativos das
questes de pesquisa do mtodo GEQ.
[9]
[10]
[11]
[12]
[13]
J na perspectiva da anlise das emoes de usurios

durante a interao com serious game, uma investigao mais
aprofundada deve ser conduzida de forma a verificar a
necessidade de adotar uma perspectiva distinta de avaliao
para este tipo de aplicao. Os resultados deste estudo
permitiram identificar a necessidade da elaborao de mtodos
de avaliao da experincia do usurio voltados aos serious
games ou a necessidade de adequao de mtodos existentes,
como os mtodos aplicados neste estudo. Espera-se com estes
resultados contribuir para a melhoria da experincia do usurio
neste tipo de aplicao que tem sido amplamente adotada em
diversas disciplinas.
[14]
[15]
31
Thiry, M., Zoucas, A., Gonalves, R., Salviano, C. Aplicao de Jogos

Educativos para Aprendizagem em Melhoria de Processo e Engenharia de
Software, In: Anais do VI Workshop Anual do MPS, 2010.
Silva, A. C. (2010). Jogo Educacional para Apoiar o Ensino de Tcnicas
para Elaborao de Testes de Unidade. Dissertao de Curso de
Mestrado, Computao Aplicada, UNIVALI, So Jos.
Ritterfeld, U., Cody, M., and Vorderer, P. Serious Games: Mechanisms
and Effects. Routledge, London, 2009.
Zyda, M. From Visual Simulation to Virtual Reality to Games. Computer,
38 (9), 25-32.
Vargas, J.A., Garca-Mundo, L., Genero, M. e Piattini, M. A Systematic
Mapping Study on Serious Game Quality. In Proc. of 18th International
Conference on Evaluation and Assessment in Software Engineering.
(2014), 159-168
Vermeeren, A.P.O.S., Law, E.L.C., Roto, V., Obrist, M., Hoonhout, J. and
Mattila, K.V.V.User Experience Evaluation Methods: Current State and
Development Needs. In Proc. NordiCHi 2010, 521-530.
Savi, R.; Wangenheim, C., Borgatto, A., (2011). Um Modelo de
Avaliao de Jogos Educacionais na Engenharia de Software. Anais do
XXV Simpsio Brasileiro de Engenharia de Software (SBES 2011), So
Paulo.
Gmez, E. H. C. "On the Core Elements of the Experience of Playing
Video Games", Tese de doutorado - UCL Interaction Centre Department
of Computer Science, 2009.
Jennett, C., Cox, A. L., Cairns, P., Dhoparee, S., Epps, A., Tijs, T.,
Walton, A. "Measuring and defining the experience of immersion in
games", International Journal of Human-Computer Studies, v. 66, n. 9,
2008, p. 641-661.
Poels, K., Kort, Y. D., Ijsselsteijn, W. ""It is always a lot of fun!":
exploring dimensions of digital game experience using focus group
methodology", In: Proceedings of the 2007 Conference on Future Play.
Toronto, Canada: ACM, 2007.p.83-89.
IJsselsteijn, W.A., de Kort, Y.A.W. & Poels, K. Game Experience
Questionnaire - The English version.
Lera, E. e Domingo M. G. (2007) Ten emotion heuristics: Guidelines for
assessing the users affective dimension easily and cost-effectively, In
proc. of BCS-HCI 07, 163-166.
Ijsselsteijn, W., van der Hoogen, W., Klimmt, C., de Kort, Y., Lindley,
C., Mathiak, K. Poels, K., Ravaja, N., Turpeinen, M. & Vorderer,
P.(2008). Measuring the experience of digital game enjoyment. In A.J.
Spink, M.R. Ballintijn, N.D. Bogers, F. Grieco, L.W.S. Loijens, L.P.J.J.
Noldus, G. Smit, and P.H. Zimmerman (Eds.), Proc. of Measuring
Behavior 2008, 88-89.
Law, E.L-C., Roto, V., Hassenzahl, M., Vermeeren, A.P.O.S. and Kort. J.
Understanding, scoping and defining user experience: a survey approach.
In Proc. of the SIGCHI Conference on Human Factors in Computing
Systems (CHI '09), 2009, 719-728
Fu, F., Su, R., Yu, S. "EGameFlow: A scale to measure learners'
enjoyment of e-learning games", Computers & Education, v. 52, n. 1,
2009, p. 101-112..
FEES
Gamebok: jogo educativo para o ensinoaprendizagem do pmbok 5 edio

Marcos Paulo Correia Azevedo
Fabrcio de Sousa Pinto
Colegiado de Sistemas de Informao

Faculdade de Tecnologia e Cincias (FTC)
Vitria da Conquista-BA, Brasil
marcos.azevedo@izap.com.br
Colegiado de Sistemas de Informao

Faculdade de Tecnologia e Cincias (FTC)
Vitria da Conquista-BA, Brasil
fabbricio7@yahoo.com.br
aprendendo mais nada [1]. Ainda defende que aulas expositivas

infelizmente no estimulam um aprendizado profundo, apenas
algo superficial e que no motiva o estudante a aprender. Para
contornar isso e levar o estudante a exercitar a aplicao do
conhecimento necessrio buscar outras maneiras de ensino.
Resumo Os jogos educativo tem se tornado uma excelente

ferramenta de trabalho e veem sendo utilizados nas mais diversas
reas de ensino buscando dinamizar o aprendizado. Em gesto de
Projetos essa prtica pouco valorizada, pois se trata de uma rea
ampla, com vasto conhecimento terico, o que d margem para que
o aprendizado se torne deficiente e desmotivador para alguns
estudantes. Para contornar os problemas citados, este artigo props
o desenvolvimento do jogo educacional GameBOK para auxiliar no
ensino-aprendizagem dos contedos de gesto de projetos de
software utilizando o guia PMBOK 5 Edio. O jogo foi
desenvolvido nas linguagens HTML, JavaScript e PHP.
Questionrios foram aplicados aos estudantes da disciplina
Engenharia de Software aps aplicao do jogo, os dados foram
analisados e os resultados mostraram-se satisfatrios.
Levando em considerao os estudantes da gerao

atual que interagem muito e esperam um retorno imediato. Fazse necessrio que o professor busque recursos educacionais
mais atraentes, e motivadores, como o jogo educacional.
Assim, a utilizao dos jogos nas salas de aula poder se tornar
um elemento capaz de aumentar o interesse dos discentes, o
que por sua vez, aumentar o nvel de aprendizagem.
Em relao a gesto de projetos tem-se observado
uma carncia de jogos que auxilie os discentes e docentes nesta
rea, principalmente quando se trata no ensino de boas prticas
de gerenciamento de projetos. O PMI (Project Management
Institute) conseguiu compilar estas boas prticas, sendo
aplicadas em projetos de tamanhos e reas diferentes e montou
uma publicao, o PMBOK (Project Management Body of
Knowledge). Segundo o guia PMBOK [2], este contm
inmeros processos de trabalho, cada um com conjunto de
tcnicas e ferramentas para serem usadas ao longo de seus
cinco grupos de processos, totalizando dez reas de
conhecimento.
Palavras-chave pmbok; gesto de projetos; jogos educativos;

engenharia de software
AbstractThe educational games has become an excellent working
tool and see being used in several areas of education seeking to
boost learning. Project management practice that is undervalued
because it is a large area with vast theoretical knowledge, which
gives rise to that learning becomes deficient and demotivating for
some students. To circumvent the above problems, this paper
proposes the development of educational game GameBOK to assist
in the teaching and learning of content management software
projects using the PMBOK Guide 5th Edition. The game was
developed in HTML, JavaScript, and PHP. Questionnaires to
students in the discipline of Software Engineering were applied
after the game application, the data were analyzed and the results
were satisfactory.
Motivado em criar um jogo que possam contribuir

com os estudantes e professores, dando a eles uma forma
alternativa de facilitar o processo ensino-aprendizagem o
GameBOK foi desenvolvido utilizando uma estrutura de
organizao hierrquica de objetivos educacionais, baseando-se
na taxonomia de Bloom. Neste o jogador assume o papel do
personagem e vai se envolvendo no enredo de acordo com
algumas regras predeterminadas, onde o jogador ir aprender
boas prticas de gerenciamento de projetos de software,
utilizando-se do PMBOK 5.
Keywords pmbok; project management; educational games;

software engineering
I INTRODUO
No contexto atual de ensino possvel notar o frequente
uso de aulas expositivas pelos docentes em ambientes
educacionais. Este tipo adequado para a apresentao de
conhecimentos tericos de forma eficiente para turmas grandes,
porm possui diversas desvantagens. comum que em aulas
expositivas os estudantes percam a concentrao depois de dez
a quinze minutos, iniciando conversas com colegas, mandando
mensagens no telefone ou simplesmente adormecem, no
Este artigo est organizado da seguinte forma: Esta

seo apresenta uma viso geral do que foi abordado no
trabalho desenvolvido, fornecendo alguns conceitos principais
e o objetivo do trabalho. Na seo 2 e 3 feita uma reviso
bibliogrfica, onde so apresentados os conceitos de PMBOK e
Jogos Educacionais. A seo 4 a metodologia. Na seo 5
mostra o processo de desenvolvimento do jogo GameBOK. J
32
FEES
na seo 6 apresentado os trabalhos relacionados. Por fim, na

seo 7 as consideraes finais.
Todo projeto possui uma margem de riscos e nessa

rea possvel planejar o gerenciamento de riscos, o que
muito vantajoso j que possvel identificar e realizar anlises
qualitativas e quantitativas, assim como planejar respostas e o
monitoramento e controle para estes riscos [2].
II PMBOK
O gerenciamento de aquisies do projeto

considerado, por algumas pessoas, como uma das etapas mais
crticas do projeto, pois nela esto envolvidos os processos
envolvidos na aquisio de produtos, servios e resultados para
o projeto. Nesse quesito pode-se, planejar, conduzir e
administrar as aquisies [2].
O PMBOK um modelo na rea de Gesto de Projeto,

onde o mesmo descreve as reas de conhecimento, listagens de
processos e define as entradas, ferramentas, tcnicas e as sadas
de cada rea. Ele era concentrado em nove reas de
conhecimento, sendo elas: Gerenciamento de integrao,
Escopo, Tempo, Custo, Qualidade, Recursos humanos,
Comunicao, Riscos, Aquisies e a sua mais nova rea
Stakeholders (Parte Interessadas) que foi includa no PMBOK
5 Edio, totalizando dez reas. Iremos comentar de forma
resumida, cada rea a seguir.
A rea de conhecimento stakeholders (partes

interessadas), s aparece na quinta edio do PMBOK, pois at
ento o gerenciamento da mesma fazia parte de dois processos
da rea de conhecimento de gerenciamento das comunicaes
(identificar as partes interessadas e gerenciar as expectativas
das partes interessadas). Agora so documentados quatro
processos para o gerenciamento das partes interessadas:
Identificar as partes interessadas, planejar o gerenciamento das
partes interessadas, gerenciar o engajamento das partes
interessadas e controlar o engajamento das partes interessadas
[2].
No gerenciamento de escopo do projeto so descritos

os processos relativos garantia de incluso de todo o trabalho
necessrio, para o projeto que seja concludo com sucesso,
abordando categorias como a coleta de requisitos, definio do
escopo, criao da Estrutura Analtica do Projeto (EAP),
verificao e controle do escopo [2].
No que se diz respeito ao Gerenciamento do Tempo
do Projeto, tem-se que abordar os processos relativos ao
trmino do projeto no prazo correto, tais como a definio de
atividades, sequncias, durao de atividades, desenvolvimento
e controle do cronograma [2].
III JOGOS EDUCACIONAIS
Segundo [3], os jogos fazem parte da nossa vida desde os

tempos antigos, no s na nossa infncia como tambm em
outros momentos. So capazes de serem ferramentas
instrucionais eficientes, pois motivam enquanto proporcionam
diverso e ainda facilitam o aprendizado aumentando a
capacidade de absoro do que foi ensinado, exercitando o
intelecto e as funes mentais do jogador. Ao jogar, os
participantes entram em um mundo de faz de conta onde
possvel dispor-se s incertezas e enfrentar desafios em busca
de solues e entretimento. As pessoas quando jogam so
capazes de revelar autonomia, criatividade e vontade de
experimentar situaes perigosas e proibidas no nosso
cotidiano, fazendo com que elas tomem decises mais
calculadas a partir dos seus erros.
Em relao ao gerenciamento de custos do projeto so

descritos os processos envolvidos no planejamento, a
estimativa, a determinao do oramento e o controle de
custos. Isso possibilita que o projeto termine dentro do
oramento aprovado. Neste ponto busca-se estimar custos,
determinar o oramento e realizar o controle dos custos do
projeto [2].
O gerenciamento de qualidade do projeto corresponde
aos processos envolvidos no planejamento, monitoramento,
controle e na garantia de que o projeto ir satisfazer os
requisitos de qualidade especificados. Nessa etapa possvel
planejar a qualidade do projeto, realizar a garantia de qualidade
e o controle do mesmo [2].
Partindo da ideia atribuda por [3] os jogos so

baseados em uma abordagem autodirigida, onde o jogador
capaz de aprender por si s, atravs da interao e relao com
o jogo. Nesse cenrio o professor passa a ter o papel de
mediador do processo, dando orientaes e selecionando os
jogos adequados a sua prtica pedaggica, proporcionando que
o estudante aprenda de forma dinmica e motivadora.
Por meio da avaliao dos processos envolvidos no

planejamento,
na
contratao
e
mobilizao,
no
desenvolvimento e no gerenciamento do projeto, ocorre o
gerenciamento dos recursos humanos, onde possvel
desenvolver esse plano de recursos humanos, realizar a
contratao ou mobilizao da equipe de projetos, buscar o
desenvolvimento e gerenciamento da equipe do projeto [2].
Quando se fala sobre o enredo, torna-se interessante

mencionar que ele o elemento responsvel por manter o
jogador entusiasmado no decorrer do jogo. Dessa forma, podese dizer que o enredo o esqueleto da narrativa, ou seja, aquilo
que d sustentao histria, onde todos os fatos e
acontecimentos so desenrolados.
Ressalta-se que o gerenciamento das comunicaes

outro fator importante a ser considerado, tendo em vista que ele
o responsvel por buscar identificar os processos relativos
gerao, coleta, disseminao, armazenamento e destinao
final das informaes do projeto de forma oportuna e
apropriada. Dessa forma, essa rea pode planejar o
gerenciamento das comunicao, gerenciar as comunicaes e,
por fim, controlar as comunicaes [2].
Na Figura 01 so mostrados os elementos separados

de acordo [2]. So eles: Objetivos: usurio busca vencer, ser o
melhor entre os competidores, alcanar um maior nvel de
aprendizagem; Regras e Restries: regras para definir o que
pode ou no ser feito pelo jogador e restries que podem ser
33
FEES
ganhadas ou perdidas (exemplo: dinheiro); Narrativa:

Responsvel por motivar as aes dos jogadores dando um
pouco de fico, porm tambm existem jogos que no
possuem nenhum tipo de narrativa. Resultados, recompensas e
feedback: Responsvel por indicar ao jogador/competidor suas
proezas no jogo tais como acertos e erros; Desafio, competio
e conflito: Faz com que o jogo no se torne montono, levando
ao usurio o espirito de competio dando a ele mais um
elemento motivador; Interao: Considerado o elemento mais
importante do jogo.
IV METODOLOGIA
O GameBOK foi desenvolvido utilizando HTML
(HiperText Markup Language), PHP (Hypertext Preprocessor),
Banco de dados MySQL, CSS (Cascading Style Sheets) e
JavaScript. A linguagem de marcao HTML foi escolhida
pelo motivo de rodar em qualquer dispositivo que tenha um
navegador web. A linguagens de programao PHP foi
utilizada para manter a conexo com o banco de dados MySQL
gravando o desempenho do jogador de forma que possa ser
recuperada no ranking do jogo. Todos os outros eventos do
jogo como arrastar cones, selecionar e verificar respostas
foram feitas pela linguagem de programao JavaScript. Toda
a etapa de estilizao do jogo foi feita atravs do CSS.
Foi utilizado o Sublime Text, editor de texto com
gratuito, para a construo dos arquivos .php, .js e .css.
Para edio e criao das imagens exibidas do jogo foi
utilizada a ferramenta Adobe Photoshop CC em sua verso
licenciada.
Para realizar os testes do jogo, rotinas PHP e
JavaScript foram realizadas buscando encontrar falhas.
Tambm foi realizado testes manuais, visando rotinas
improvveis dos usurios.
V DESENVOLVIMENTO DO JOGO GAMEBOK
Figura 01: Principais elementos de um jogo
Nesta seo sero abordados todos os processos envolvidos

no desenvolvimento do jogo proposto, apresentando os
resultados obtidos. Como todo jogo, um nome foi escolhido
GameBOK, resultado da juno da palavra Game, com a sigla
do PMBOK, tendo alteraes nas iniciais PM, substituindo-as
por Game, dando ao usurio um rpido entendimento do que se
trata o jogo.
Fonte: [1]
Uma das formas de avaliar um jogo educacional

utilizando a Taxonomia de Bloom. Porm existe a Taxonomia
Revisada de Bloom [4] que uma verso atualizada da mesma
feita por Dr. Lorin Anderson, em 2001. Esta possui seis
capacitaes, conforme ilustrado na Figura 02.
O GameBOK foi desenvolvido para se tornar um

projeto Open Source. Os arquivos desse projeto encontram-se
disponvel em um servidor pblico que pode ser acessado
atravs
do
link
disponvel
em:
http://sourceforge.net/projects/gamebok/ .
A verso final do jogo tambm pode ser acessada de
forma livre atravs do link: http://itaz.com.br/gamebok.
O jogo narra uma adaptao da srie de TV Prison
Break, criada por Paul T. Scheuring, onde o personagem
Michael Scofield, um jovem de classe mdia americana, que
descobre que seu irmo foi preso depois de assassinar um
deputado importante nos Estados Unidos. Acreditando na
inocncia do irmo, Michael utiliza as boas prticas de
gerenciamento de projeto do PMBOK afim de consegui tirar
Lincoln do presdio.
Este jogo tem como pblico-alvo estudantes,
professores e pessoas interessadas em reforar os estudos sobre
o PMBOK.
Figura 02: Taxonomia revisada de Bloom

Fonte: adaptado de [4]
Para que possa jogar o estudante dever ter o

conhecimento bsico sobre gesto de projeto, conhecer os
ciclos de vida de um projeto, conceitos bsicos sobre o
34
FEES
PMBOK, tais como os grupos de processos e reas de

conhecimento.
Este jogo possui o objetivo de reforar os estudos
sobre o PMBOK visto em sala de aula e mostrar um exemplo
prtico de sua aplicao. Contudo ele tambm busca apresentar
aos estudantes outras formas de aplicar o gerenciamento de
projetos, mostrando a eficcia de se fazer um bom
planejamento antes de iniciar qualquer atividade.
O GameBOK um jogo single-play, onde o jogador
assume o papel de Michael Scoofield, um engenheiro civil que
ao descobrir que seu irmo foi preso por um crime que no
cometeu, faz de tudo para tir-lo do presdio. Michael ter que
solucionar os desafios propostos para que possa progredir no
jogo. Na Figura 03 temos a tela inicial do jogo.
Figura 04: Anlise de risco
Figura 03: Tela inicial do jogo
Entender: elemento capaz de fazer com que o jogador

busque fazer sua prpria interpretao do material educacional.
Com o enredo semelhante a uma situao real onde o jogador
inicia, planeja, executa, monitora e finaliza o projeto. O
jogador visualiza no enredo os ensinamentos aplicados,
fazendo com que o mesmo v compreendendo o que se passa
em cada fase. Na Figura 05, por exemplo, o jogador tem acesso
ao cronograma com a sequncia de atividades que sero feitas.
Na tela seguinte, o jogador ir entender em qual rea do
PMBOK est sendo aplicada e quais processos foram
atendidos, Figuras 05 e 06.
O GameBOK foi desenvolvido para corresponder ao

ciclo de vida de um projeto, tendo incio, meio e fim. Para
facilitar o aprendizado dos jogadores, o jogo foi dividido em
trs fases, onde ambas aplicam as reas de conhecimento de
projeto do PMBOK 5 Edio, so elas: Tatuar o corpo (1
Fase): O personagem Michael dever tatuar de forma
camuflada a planta do presdio em seu corpo; Assaltar banco
(2 Fase): Michael planeja o assalto de um banco, criando uma
emboscada para si mesmo para que possa ser preso; Fugir do
presdio (3 Fase): Com um plano de fuga planejado
anteriormente priso, Michael juntamente com seu irmo
busca fugir do presdio.
Figura 05: Planejamento
Pensando em se tornar um jogo agradvel e motivador

aos usurios, este utiliza quatro capacitaes da Taxonomia de
Bloom [4]: Lembrar, entender, aplicar e analisar. Distraes e
desafios foram adicionadas ao jogo evitando que o mesmo se
torne montono. A seguir ser comentado cada elemento da
Taxonomia de Bloom.
Analisar: o jogador passa a dividir o conhecimento em
partes e pensar como estas podem se relacionar com o todo.
Na Figura 04, o jogador ter que fazer a gesto de riscos,
atravs da anlise de risco qualitativa e quantitativa.
Figura 06: Aprendizado do jogador, atravs dos processos do PMBOK.
35
FEES
O jogador buscar reconhecer e recordar informaes.

Ele ter que lembrar dos conceitos bsico do PMBOK, como
por exemplo, os grupos de processo do ciclo de vida de um
projeto, conforme ilustrado na Figura 07. Assim como
responder corretamente algumas questes de desafios.
Figura 09: Desafio de quebrar a parede
Figura 07: Lembrar os ciclo de vida do projeto de acordo com a Taxonomia de

Bloom.
Na Figura 10 o jogador desafiado a arrancar e

arrastar os parafusos para a lixeira num curto perodo de tempo.
5.1 Distraes e Desafios

O GameBOK possui uma srie de distraes e
desafios para que o usurio possa jogar sem perder o nimo ou
at mesmo sentir que o jogo est ficando montono. Quando o
jogo comea a ficar cansativo distraes so exibidas ao
jogador. Na Figura 08 o jogador depois de responder algumas
perguntas, ter o desafio de montar um quebra-cabea da
imagem que ser tatuada no corpo do personagem Michael.
Figura 10: Removendo parafusos do sanitrio.
5.1 Validao do Jogo

O GameBOK foi disponibilizado aos estudantes do curso
de Sistemas de Informao da Faculdade de Tecnologia e
Cincias (FTC), Campus Vitria da Conquista BA que
cursam a disciplina Engenharia de Software. Posteriormente foi
aplicado um questionrio abordando questes referentes
utilizao, importncia, sugestes de melhoria e pontos fontes
do jogo.
Figura 08: Quebra-Cabea camuflando tatuagem
Os dezoito estudantes da disciplina Engenharia de Software

responderam o questionrio disponibilizado por [5]. As
respostas destes foram avaliadas da seguinte forma:
Outras distraes esto presentes no jogo, como por

exemplo, o jogador tem que clicar numa parede quebrado-a at
que o mesma esteja completamente destruda, Figura 09.
Afirmaes: Foram 27 questes onde o usurio pode

responder se ele concorda ou discorda destas. Esse mtodo
avaliativo tinha como opo de resposta: discordo
fortemente, discordo parcialmente, concordo parcialmente,
concordo, concordo Fortemente.
36
FEES
Conceitos: Para essa avaliao o estudante teve suas

respostas avaliadas no que ele sabia antes e depois de ter
jogado o GameBOK.
estudantes concordaram fortemente, 37,5% concordam e 25%

estudantes concordam parcialmente como mostra na Figura 12.
De acordo com a anlise feita sobre a eficincia do jogo na
aprendizagem em comparao outras atividades da disciplina,
37,5% dos estudantes concordaram plenamente, 37,5%
concordaram e 25% dos estudantes concordaram parcialmente
como se v na Figura 12 .
Questes abertas: O estudante pode avaliar o jogo com seu

ponto de vista, buscando informar quais foram os pontos
fortes do jogo e quais sugestes ele daria para a melhoria
do mesmo.
O questionrio foi dividido em quatro partes, avaliando o
jogo quanto a sua motivao, experincia do usurio,
aprendizagem e objetivos da aprendizagem.
Ao serem questionados se o jogo contribui na

aprendizagem da disciplina 50,0% dos estudantes concordaram
plenamente, 37,5% concordaram e 12,5% concorda
parcialmente que o jogo importante para o aprendizado da
disciplina. A Figura 13 apresenta essas informaes.
Para a motivao, conforme Figura 11 foram analisadas

perguntas que atendem requisitos como: Satisfao, confiana,
relevncia e a ateno do jogador durante e depois do jogo.
Questionados quanto a satisfao 50% dos estudantes
mostraram que concorda com o nvel de satisfao do jogo,
25% concordam parcialmente e os outros 25% concordam
fortemente. Quanto a confiana, relevncia e ateno
transmitida pelo jogo 62,5% dos estudantes disseram que
concorda com a forma de ensino do jogo.
Figura 11: Grfico Motivao
Ao avaliar os questionamentos dos estudantes sobre a

experincia do usurio ao jogo, obteve-se resultados
excelentes, principalmente tratando-se da diverso e desafios
propostos aos jogadores como apresenta na Figura 12. Os
outros requisitos como: Competncia, Interao e Imerso
obtiveram timos resultados.
Figura 12: Grfico Experincia do Usurio
Quando questionados sobre a experincia que o jogo

contribuiu para o desempenho na vida profissional 37,5% dos
37
FEES
Figura 14: Grfico objetivos da aprendizagem
Como mostrado na Figura 14, v-se a suma importncia

da aplicao de jogos de ensino-aprendizagem.
Figura 13: Grfico de Aprendizagem
Para finalizar a avaliao dos objetivos de aprendizagem os

estudantes, como dito anteriormente citaram trs pontos fortes
e sugestes de melhoria do mesmo, contribuindo com a maior
aceitao do jogo por todos.
Por fim foi feita uma avaliao dos resultados obtidos

depois de ter jogado o GameBOK. Foram abordados os
conceitos mais presentes no jogo, buscando identificar a
eficincia deste. Os conceitos avaliados foram: Grupos de
Processos do ciclo de vida do projeto; Conceitos bsicos
(Stakeholders, Entregveis, Premissas/Restries, Sponsor e
PMI); Habilidades do gerente do projeto; Gesto de Riscos;
Escopo do Projeto; Mudanas da 4 para a 5 edio do
PMBOK.
Pontos fortes: Estratgia, curiosidade, conhecimento, boa

explicao do contedo, torna o aprendizado mais fcil,
divertido, torna fcil a memorizao do contedo, designer,
Estimula o raciocnio lgico, ajuda memorizar o contedo e,
Interao com o usurio.
Sugestes de melhorias: Textos em udio, deixar as
perguntas mais simples, explicar mais cada fase, perguntas
aleatrias, no repetir pergunta ao errar ou reiniciar o jogo.
Diminuir o valor de perda ao errar as perguntas, animaes,
menos contedo e mais animaes
Cada conceito passou pela avaliao onde o estudante

atribuiu uma nota de 1 a 5 para seu nvel de conhecimento
antes e depois do jogo, como exposto na Figura 14. As notas
so avaliadas a partir de trs fatores:
Lembrar o que : o estudante avalia se o jogo foi

eficiente ao aprendizagem e se jogo ajuda na
memorizao dos conceitos aplicados;
Compreender como funciona: ponderada a

compreenso do estudante antes e depois de ter
jogado o GameBOK;
VI TRABALHOS RELACIONADOS
Uma anlise foi realizada entre os jogos j
desenvolvidos semelhantes ao jogo que este trabalho se props
a cumprir, onde a forma de avaliao dos jogos foi totalmente
direcionada ao PMBOK e todas as suas reas de processos. Os
critrios avaliativos foram interatividade do jogo com o
usurio e os conceitos aplicados. Trs jogos foram escolhidos:
Puzzle PMBOK [7], Jogo de Processos da Rita [6] e PMBOX
Tetris I [9].
Aplicar na prtica: O discente analisou os

conceitos quanto sua aplicao na disciplina e/ou
vida profissional.
O Puzzle PMBOK um jogo de tabuleiro criado pela

empresa KPO [7] com objetivo de oferecer solues efetivas e
completas para empresas e instituies, testando os
conhecimentos dos jogadores. No Puzzle PMBOK os
jogadores tem que possuir um conhecimento prvio sobre o
PMBOK, caso contrrio os jogadores no tero condies de
jogar ou sustentar o jogo at o final. O jogo contm dois nveis
de entretenimento, dando a possibilidade do jogador escolher
38
FEES
qual quer jogar. Desenvolvido para navegadores com suporte

arquivos Flash, o jogo se torna ultrapassado, pois est
tecnologia sendo substituda pelo atual HTML5.
VII CONSIDERAES FINAIS

Aps aplicao do jogo e posterior anlise dos resultados
obtidos, o GameBOK apresentou resultado satisfatrio,
cumprindo seu objetivo de auxiliar ao processo de ensinoaprendizagem das boas prticas de gerncia de processos
utilizando o guia PMBOK 5 edio. Alm disso, de acordo
com a Taxonomia de Bloom, nele possvel lembrar , aplicar,
entender e analisar, sendo um diferencial dos jogos educativos
existentes nessa rea, que atendem apenas ao lembrar.
Diferente do Puzzle PMBOK o Jogo de Processos da Rita

[10] (em ingls: Ritas Process Game), d ao usurio uma
melhor jogabilidade, tornando a experincia com o jogo mais
agradvel. Este foi traduzido e adaptado por [6] no idioma
portugus. O jogo sofreu modificaes, mas mantendo o
mesmo estilo de jogo de tabuleiro. O Jogo de Processos da
Rita, foi desenvolvido utilizando linguagens como JavaScript e
HTML. O jogo possui uma interface simples, mas assim como
o Puzzle PMBOK, este tambm exige que o usurio tenha um
bom conhecimento prvio sobre os Processos do PMBOK
Como sugesto de trabalho futuro proposto a

implementao de novas fases, perguntas randmicas, suporte
a dispositivos mveis e melhorias no cdigo e na estrutura do
jogo.
O Quadro 01 compara os jogos encontrados durante a

pesquisa e o jogo GameBOK. Neste realizado uma anlise
comparativa entre as funcionalidades propostas pelo jogo
GameBOK.
REFERNCIAS
[1] WANGENHEIM, Chistiane Gesse Von (2012). Como ensinar com
jogos?, XXXII Congresso da Sociedade Brasileira de Computao,
Curitiba.
[2] PMBOK (2013). Um Guia do Conjunto de Conhecimentos em
Gerenciamento de Projetos (Guia PMBOK), 5. Ed.. Project
Management Institute, Four Campus Boulevard, Newtown Square, PA
190073-3299
EUA.
Disponvel
em:
<
https://drm.pmi.org/Default.aspx?doc=PMBOK_Guide5th_Portuguese.p
df>
O jogo PMBOX Tetris I [7], um single-play onde o

jogador deve alocar os processos em suas devidas posies. No
jogo o usurio utilizando as setas do teclado para mover os
processos de um grupo de processos para o outro, alinhando-os
na sua devida posio, uma boa experincia do jogo que de
acordo o usurio vai acertando as posies a velocidade em que
os blocos vo aparecendo vo ficando cada vai mais rpidas,
transmitindo ao usurio uma sensao de adrenalina e aventura
na sua experincia com o jogo. Um dos ponto negativo do jogo
, assim como encontrado em todos os comentados
anteriormente, que o usurio precisa ter um bom
conhecimento sobre todos os processos do PMBOK antes de
jogar, outra dificuldade apresentada que este s est
disponibilizado no idioma ingls.
[3]
[3] BOTELHO, Luiz (2004). Jogos educacionais aplicados ao e-learning.

Disponvel em:
<http://www.elearningbrasil.com.br/news/artigos/artigo_48.asp.> Acessado
em: janeiro de 2004.
[4] FERRAZ, Ana Paula C.M. Taxonomia de Bloom: reviso terica e
apresentao das adequaes do instrumento para a definio de
objetivos institucionais.
Quadro 01: Comparao entre os jogos encontrados e o GameBOK.
Caracterstica
Puzzle
PMBOK
GameBOK
Sim
Baseado na WEB
Jogo de
processos
da Rita
Sim
PMBOX
Tetris I
Sim
[5] SAVI, R.; GRESSE VON WANGENHEIM, C.; BORGATTO, A (2011).

Um Modelo de Avaliao de Jogos Educacionais na Engenharia de
Software. 25th Brazilian Symposium on Software Engineering
(SBES)/So Paulo/Brazil.
Sim
Suporte nativo ao
portugus do Brasil
Sim
Sim
Sim
No
Personagens
Sim
No
No
No
Sistema de desafio
ao usurio
Sim
No
No
Sim
Fcil aprendizado
Sim
No
No
No
Aborda as reas do
PMBOK?
Sim
Sim
Sim
Sim
Taxonomia
Bloom
Lembrar,
Aplicar,
Enteder
Analisar
Lembrar
Lembrar
Lembrar
de
TAROUCO, L. et al. Jogos Educacionais. Novas tecnologias na

educao, Rio Grande do Sul, CINTED-UFRGS, 2004.
[6] GUINTER, Marco (2014). Jogo de processos da Rita (verso estendida)

v1.0. Disponvel em <http://www.viawebsite.com.br/jogoPMP/v2.htm>
Acesso em: 07 mar. 2014.
[7] KPO, Consulting and Educational Services (2014). PUZZLE PMBOK.
Disponvel em <http://www.kpocs.com.br/Game/pmbok.html> Acesso
em: 03 mar. 2014.
[8] PMI Book Service Center (2008). Um Guia do conhecimento em
Gerenciamento de Projetos. 4.Ed. Atlanta.
[9] RAD, Nader Khorrami (2014). PMarchy - PMBOX Tetris 1. Disponvel
em < http://www.pmarchy.com/pmbok-tetris-1/> Acesso em: 10 mar.
2014.
[10] AFRIDI, Samir. Ritas Process Game [UNOFFICIAL] v1.2. Disponvel
em <http://pmp.aamirafridi.com/_rpg/index-3.html> Acesso em: 07 mar.
2014.
39
FEES
Avaliao por Meio de Questionrios de um

Curso Online para Engenharia de Software
Lucas Garcia, Ingridy Martins, Luiz Ferreira, Eduardo Figueiredo
Laboratrio de Engenharia de Software (LabSoft), Universidade Federal de Minas Gerais (UFMG)
Belo Horizonte, Brasil
{lucas.sg, ingridymartins, luizpcf, figueiredo}@dcc.ufmg.br
Adeptos desse tipo de ensino argumentam que o suporte de

material online, tais como aulas em vdeo, permite aos alunos
acompanharem o curso no seu prprio ritmo e horrio. Desta
forma, o curso aberto constitui uma ferramenta importante no
processo de aprendizagem [2]. Tal inovao em termos de
educao permite, por exemplo, que o tempo em sala de aula
seja predominantemente voltado para discusses, solues de
dvidas e atividades de interao mais prximas entre alunos e
o professor. Alm de aulas em vdeo, alunos registrados em
um curso aberto podem desempenhar outras atividades, como
responder a questionrios de reviso e participar em fruns de
discusso. Em alguns casos, o aluno que completar o curso
aberto pode obter um certificado de concluso.
ResumoCurso aberto e online, tais como MOOC (Massive

Open Online Course), um mtodo emergente de ensino que no
limitado por restries de espao e localizao. A implantao
bem sucedida de um curso online exige mudanas conceituais na
forma como professores e alunos se comportam em um ambiente
aberto de ensino. Existem algumas iniciativas emergentes de
cursos online para a Engenharia de Software. No entanto, ainda
limitado o conhecimento sobre as vantagens de um curso online
para o ensino de Engenharia de Software. Este artigo avalia o
desempenho de alunos em um curso online de Engenharia de
Software. Mais de 230 alunos esto registrados neste curso online
que apoia um curso presencial de ementa equivalente. O curso
online composto de 44 aulas em vdeo, 140 perguntas em 14
questionrios de reviso e vrios tpicos de discusso. Para
avaliar o curso, foi comparado o desempenho de alunos nos
questionrios de reviso em relao : (i) participao destes
alunos em outras atividades do curso como vdeos assistidos, (ii)
frequncia dos alunos em aulas presenciais e (iii) desempenho dos
alunos em provas presenciais. Os resultados indicam baixa
correlao entre os vdeos assistidos e o desempenho nos
questionrios de reviso. Por outro lado, frequncia em aulas
presenciais e desempenho nas provas esto diretamente
relacionados ao sucesso em questionrios online de reviso.
Existem algumas iniciativas emergentes de cursos abertos

para o ensino de Engenharia de Software, como o curso de
Arquitetura de Software Orientada a Padres [24] e Software
como Servios [25]. Entretanto, estes cursos so restritos a
tpicos especficos de Engenharia de Software ou focam no
ensino de programao. Alm disso, no de nosso
conhecimento estudos sistemticos que investigam as
vantagens e desvantagens de cursos abertos para o ensino de
conceitos bsicos de Engenharia de Software, tais como
engenharia de requisitos, processos de software e reutilizao
de software. Portanto, ainda limitado o conhecimento sobre
quais as melhores prticas para o ensino de processos,
mtodos e ferramentas de Engenharia de Software em um
curso aberto.
Palavras-chaveEducao, MOOC, Engenharia de Software,

Avaliao.
I.
INTRODUO
A internet tem se tronado uma importante ferramenta para

modificar as formas de ensino atravs de cursos abertos e
online. Um curso aberto um mtodo de ensino online que
no limitado por restries de espao e localizao [19].
Cursos abertos tm particularmente se expandido na ltima
dcada atravs dos MOOCs (do ingls, Massive Open Online
Course) [18]. Vrias universidades dos principais centros
educacionais influentes ao redor do mundo criaram ou esto
criando cursos abertos com suporte total ou parcial via
internet. Por exemplo, a Universidade de Harvard e o MIT
(Massachusetts Institute of Technology) esto investindo na
criao de vrios MOOCs por meio do portal edX [12]. Outras
mais de 100 universidades, em sua maioria americanas e
europeias, esto envolvidas na criao de centenas de cursos
abertos em diversas reas do conhecimento pelo portal
Coursera [9]. Muitos outros cursos abertos so oferecidos em
portais similares, como no in Udacity [28] e no Udemy [29].
Por outro lado, no ano de 2013 foi criado um curso aberto

online para o ensino de Engenharia de Software [1] [14] [23] a
partir de um curso presencial equivalente da Universidade
Federal de Minas Gerais (UFMG). Este curso teve como
objetivo inicial atender os mais de 100 alunos anualmente
matriculados em 4 turmas (duas turmas por semestre) da
universidade. O material usado no curso online (e.g., livro
texto, apresentaes, exerccios, etc.) exatamente o mesmo
usado no curso presencial equivalente. Atualmente, o curso
online de Engenharia de Software composto de 44 aulas em
vdeo, 140 perguntas em 14 questionrios de reviso e vrios
tpicos para discusso em formato de frum. O curso online
conta hoje com mais de 230 alunos registrados, sendo que
aproximadamente metade deste nmero no so (nem foram)
alunos da UFMG.
Neste contexto, este artigo apresenta avaliao deste curso
online de Engenharia de Software que foi proposto em um
40
FEES
trabalho anterior [23]. Alm disso, outro estudo anterior [14]

apresentou uma avaliao preliminar baseada no desempenho
dos alunos em provas. Dando continuidade, este artigo
apresenta uma nova dimenso de avaliao investigando em
detalhes o desempenho dos alunos em questionrios de reviso
(do ingls, quiz) e correlacionando com outras variveis do
curso. Nesta avaliao, foram considerados dados de uma
amostra aleatria1 de 43 alunos que fizeram o curso em dois
semestres consecutivos (2013-II e 2014-I).
A estrutura do curso e os resultados do estudo piloto foram

apresentados comunidade por meio de estudo anteriores [14]
[23]. Nestes estudos preliminares, os autores avaliaram o
curso online comparando o desempenho dos alunos do curso
no primeiro semestre de 2013 com o desempenho de alunos
em turmas anteriores (2012), nas quais o curso era ofertado
somente de forma presencial. Os principais resultados dos
estudos anteriores foram os seguintes.
Os resultados deste estudo indicam que o desempenho dos

alunos nos questionrios de reviso melhorou de um semestre
para outro consideravelmente. Esta melhora pode ter sido
impactada por mudanas pontuais no programa do curso.
Observamos tambm que as questes com maiores taxas de
erros so praticamente as mesmas nos dois semestres. Por
outro lado, foi encontrada baixa correlao entre o
desempenho nos questionrios de reviso e o total de vdeos
assistidos no website do curso. Este artigo avalia tambm a
correlao entre o desempenho nos questionrios de reviso
em relao (i) frequncia em aulas presenciais e (ii) notas
nas provas. Em ambos os casos, a correlao baixa para a
turma 2013-II, mas moderada na turma 2014-I. A justificativa
para esta variao pode estar em mudanas no formato do
curso e/ou no perfil dos alunos de cada turma.
Os alunos se mostraram engajados e motivados a

participarem do curso online, especialmente como forma
de revisar para provas;
As notas das provas dos alunos no curso presencial com

apoio do curso online so estatisticamente maiores do
que as notas de alunos cursando a mesma disciplina
puramente presencial; e
A frequncia dos alunos no curso com apoio do curso

distncia no foi fator determinante para as suas boas
notas.
Esses resultados serviram de motivao para os autores

darem continuidade ao trabalho neste artigo. Nesse sentido,
este trabalho busca avaliar o curso em outras dimenses, com
foco principalmente nos questionrios de reviso. Para isso,
foram includos 8 novos questionrios de reviso no curso
online; sendo quatro em 2013-II e outros quatro em 2014-I.
Portanto, dos 14 questionrios atuais do curso, 10 deles so
comuns aos dois semestres considerados em nossa avaliao
(2013-II e 2014-I).
O restante do artigo est organizado da seguinte forma. A

Seo II revisita o curso online de Engenharia de Software que
objeto desta avaliao. A Seo III apresenta os resultados
da avaliao enquanto a Seo IV enumera algumas lies
aprendidas. A Seo V discute trabalhos relacionados, com
foto especial em educao aberta no contexto de Engenharia
de Software. A Seo VI apresenta algumas limitaes do
estudo. Finalmente, a Seo VII conclui este artigo e prope
direes para trabalhos futuros.
II.
A Tabela I apresenta uma breve descrio do assunto

abordado em cada um dos 10 questionrios de reviso. A
coluna esquerda dessa descrio representa a identificao
dos 10 questionrios (Q1 a Q10) comuns aos dois semestres
utilizada no artigo. O curso online de Engenharia de Software
passou por ajustes visando sua melhoria. Estes ajustes incluem
a incluso de novos questionrios (descrito acima) e alteraes
na ordem de algumas aulas e questionrios. Assim, a coluna
direita apresenta a correspondncia com a numerao atual
dos questionrios presentes no website do curso [1]. Por
exemplo, o questionrio sobre Mtodos geis [5] tratado no
artigo como Q3 e tm atualmente o identificador Quiz 3 no
website do curso.
O CURSO ONLINE DE ENGENHARIA DE SOFTWARE
Esta seo apresenta (A) um breve histrico de criao do

curso online, (B) o programa do curso e (C) as estatsticas de
acessos e registros de alunos.
A. Histrico de Criao do Curso Online
A criao do curso online de Engenharia de Software foi
motivada pela crescente disponibilidade de cursos abertos
online no formato de MOOCs em vrias universidades dos
principais centros influentes em educao ao redor do mundo.
Inicialmente, o objetivo do curso online de Engenharia de
Software era apoiar o aprendizado dos alunos matriculados na
disciplina presencial equivalente na Universidade Federal de
Minas Gerais (UFMG). Assim, em fevereiro de 2013, o curso
online foi criado, inicialmente com 44 aulas em vdeo e 6
questionrios de reviso. O primeiro semestre de 2013 serviu
como estudo piloto para a identificao de pontos para
melhoria do material do curso. Portanto, dados dos alunos de
2013-I no esto sendo considerados neste artigo.
TABELA I. CONTEDO E CORRESPONDNCIA DOS QUESTIONRIOS

Artigo Descrio
A amostra inclui alunos matriculados no curso presencial da

UFMG que se registraram no curso online e nos enviaram as
respostas dos questionrios de reviso.
41
Site
Q1
Introduo a Engenharia de Software
Quiz 1
Q2
Processos de Software
Quiz 2
Q3
Mtodos geis
Quiz 3
Q4
Arquitetura de Software e Padres Arquiteturais
Quiz 6
Q5
Idiomas de Programao
Quiz 9
Q6
Reutilizao de Software
Quiz 12
Q7
Engenharia de Software baseada em Componentes
Quiz 13
Q8
Desenvolvimento de Software Orientado a Aspectos
Quiz 14
Q9
Qualidade e Medio de Software
Quiz 15
Q10
Melhoria de Processos de Software
Quiz 16
FEES
O contedo abordado no curso envolve tpicos bsicos de

Engenharia de Software, tais como engenharia de requisitos e
processos de software [6]. Alm disso, so apresentados cinco
diagramas da UML [7]: Diagrama de Casos de Uso, Diagrama
de Classes, Diagrama de Sequncia, Diagrama de Colaborao
e Diagrama de Atividades. O curso tambm apresenta tpicos
relacionados a reutilizao de software [3], qualidade de
software [16] e melhoria do processo de software.
B. Programa do Curso Online de Engenharia de Software

O curso online de Engenharia de Software um curso
gratuito e baseado em dois livros texto: Engenharia de
Software de Sommerville [26] e UML Guia do Usurio de
Booch, Rumbaugh, Jacobson [7]. O curso possui atualmente
44 aulas em vdeo totalizando mais de 20 horas de contedo
gravado, alm de 14 questionrios de reviso (e dois em
construo) e vrios tpicos para discusso no formato de
frum. Cada questionrio contm 10 perguntas de mltipla
escolha. Uma figura que ilustra a tela principal do curso e
identifica seus principais elementos apresentada no Anexo I.
C. Estatsticas Resumidas do Curso

O curso online de Engenharia de Software (acessvel em
[1]) foi implantado no ambiente Udemy. Udemy [29] uma
plataforma de aprendizagem online e gerncia de contedo
que permite aos instrutores criarem cursos pagos ou gratuitos.
Utilizando o Udemy, os instrutores disponibilizam no curso:
aulas em vdeo, apresentaes, questionrios de reviso e
arquivos complementares. A plataforma permite ainda que os
alunos participem e interajam com os instrutores atravs de
fruns de discusso. Na verdade, os estudantes possuem uma
srie de recursos para apoiar o aprendizado, como fazer
anotaes durante as aulas em vdeo e ter acesso ao contedo
utilizando dispositivos mveis.
A Tabela II apresenta a lista de vdeos e um mapeamento

de cada vdeo (2 e 3 colunas) para a aula presencial
equivalente na primeira coluna. Note que mais de um vdeo
associado uma nica aula presencial, pois o primeiro tem no
mximo 30 minutos de durao enquanto um dia de aula
presencial dura 1 hora e 40 minutos.
TABELA II. PROGRAMA DE AULAS DO CURSO ONLINE.
Dia
I
II
III
IV
V
VI
VII
VIII
IX
X
XI
XII
XIII
XIV
XV
XVI
Vdeo
Contedo abordado
1
Apresentao do Curso
2
Introduo a Engenharia de Software
3
Desenvolvimento e Evoluo de Software
4
Atividades Comuns de Desenvolvimento de Software
5
Processos de Software
6
Processos de Software que Lidam com Mudanas
7
Desenvolvimento gil de Software
8
Programao Extrema (XP)
9
Scrum
10
Requisitos de Usurios e Requisitos do Sistema
11
Requisitos Funcionais e Requisitos No Funcionais
12
Processos de Engenharia de Requisitos
13
Introduo a UML
14
Diagramas de Casos de Uso
15
Arquitetura de Software
16
Padres Arquiteturais
17
Modelagem de Software Orientada a Objetos
18
Diagrama de Classes
19
Diagrama de Sequncia
20
Uso de Diagrama de Sequncia para Casos de Uso
21
Diagrama de Colaborao
22
Diagrama de Atividades
23
Programao Orientada a Objectos
24
Idiomas de Programao
25
Verificao e Validao de Software
26
Inspeo de Software
27
Testes de Software
28
Evoluo de Software
29
Refatorao e Reengenharia
30
Reutilizao de Software
31
Tcnicas de Reutilizao de Software
32
Linha de Produtos de Software
33
Engenharia de Software baseada em Componentes
34
Processos de Desenvolvimento de Componentes
35
Composio de Componentes
36
Separao de Interesses
37
Desenvolvimentos de Software Orientado a Aspectos
38
A Linguagem AspectJ
39
Qualidade de Software
40
Medio e Modelos de Qualidade
41
Mtricas de Produtos de Software
42
Melhoria de Processos de Software
43
Os Modelos CMM e CMMI
44
O Modelo Brasileiro MPS.Br
O Udemy permite que os instrutores visualizem algumas

estatsticas referentes aos seus cursos. Estas estatsticas so
processadas no prprio ambiente de administrao do curso e
esto relacionadas ao envolvimento e adeso dos alunos.
Todas as estatsticas que esto disponveis foram analisadas e
aquelas que foram consideradas relevantes para este estudo
esto apresentadas nesta seo em forma de grfico. Alm das
estatsticas do portal Udemy, tambm analisamos dados
coletados pelo Google Analytics2.
A Figura 1 apresenta um grfico sobre o consumo geral de
contedo do curso nos ltimos doze meses; i.e., agosto de
2013 a julho de 2014. Esse consumo medido em minutos de
acesso ao curso e o grfico apresenta os resultados
acumulados ms a ms. Nesse perodo, verificou-se que h um
menor consumo de contedo no perodo de frias escolares e
picos de consumo em finais dos respectivos semestres. Essas
caractersticas so explicadas pelo fato de que o curso online
de Engenharia de Software ser utilizado como forma de apoio
a disciplina presencial na universidade. Portanto, os alunos
buscam recursos disponveis no curso online, por exemplo,
para se prepararem para as provas em finais de semestre.
Fig. 1. Consumo geral de contedo
42
http://www.google.com/analytics/
FEES
Fig. 2. Estatstica de visualizao de pginas do curso online de janeiro a junho de 2014.
Rastreamos tambm o acesso s pginas do curso por meio

do Google Analytics. Esta ferramenta indica mais de 8 mil
visualizaes s pginas do curso online de Engenharia de
Software nos ltimos seis meses (janeiro a junho de 2014). A
Figura 2 detalha o nmero de pginas visualizadas neste
perodo. Os picos que aparecem nesta figura correspondem
tipicamente aos dias de aulas presenciais, nos quais os alunos
tambm acessam o contedo online. Os vales mais fundos so
normalmente finais de semana, feriados ou perodo de frias
(por exemplo, o ms de janeiro de 2014). Picos mais altos
correspondem principalmente a dias de exerccios ou provas
presenciais.
Yahoo. Este fato merece ateno dos instrutores que podem,

por exemplo, trabalharem na divulgao do curso online para
a sociedade alm das fronteiras da universidade que o
mantm.
As Figuras 3 e 4 apresentam dados em relao adeso ao

curso. Por exemplo, a Figura 3 apresenta o nmero de novos
estudantes registrados nos ltimos doze meses. Nesse grfico,
pode-se verificar que os meses que possuem os menores
ndices so os meses que esto no meio do semestre, tais como
abril e maio de 2014, ou no perodo de frias, como dezembro
e janeiro de 2013. Esse fato sugere uma relao entre o
nmero de novos estudantes e o andamento da disciplina no
curso presencial da universidade. Estranhamente, h um
grande nmero de novas adeses ao curso online no ms de
junho de 2014 (pico na Figura 3). Este caso intrigante, mas
pode estar associado ao fato de um artigo recente sobre o
curso ter sido aceito para publicao [14]. Outra explicao
possvel que algum professor tenha recomentado o curso
para seus alunos.
Fig. 4. Visitas pgina de destino por origem de trfego externa
III.
AVALIAO DO CURSO
Esta seo apresenta uma avaliao do curso considerando

vrios aspectos, focando principalmente no resultado dos
questionrios de reviso; ou questionrios, para simplificar o
texto). A Seo III.A apresenta a taxa de acerto dos alunos nos
questionrios. A Seo III.B investiga esta taxa em relao as
questes individuais. A Seo III.C discute a correlao entre
a taxa de acerto nos questionrios e o percentual de vdeos
assistidos por cada aluno. A Seo III.D faz similar anlise em
relao frequncia em aulas presenciais. Finalmente, a Seo
III.E correlaciona o desempenho nos questionrios online com
o aproveitamento em provas presenciais.
A. Taxa de Acerto dos Alunos nos Questionrios
O curso online de Engenharia de Software possui
atualmente mais de 230 alunos registrados. Uma parte destes
alunos refere-se a estudantes regularmente matriculados na
disciplina presencial em semestres anteriores. Estes estudantes
so, em sua maioria, estudantes de cursos oferecidos pelo
Departamento de Cincia da Computao da UFMG: Sistemas
de Informao e Cincia da Computao.
Fig. 3. Nmero de novos estudantes
Para a anlise e comparao de desempenho dos

estudantes nos questionrios, foram analisadas uma amostra
de 43 alunos das turmas academicamente matriculadas na
disciplina presencial em 2013-II e 2014-I. A primeira turma
possui 23 alunos enquanto a segunda possui 20 alunos. Esta
amostra inclui apenas os alunos que nos enviaram as suas
O grfico da Figura 4 apresenta o nmero de visitas

pgina do curso por origem do acesso. Das origens conhecidas
a que tem maior ndice o site da UFMG no qual os
instrutores normalmente divulgam o site do curso para os
alunos da universidade. Ainda pouco expressivo o nmero
de acesso providos de mecanismos de busca, como Google e
43
FEES
respostas para os questionrios, pois as mesmas no so

individualmente disponibilizadas aos instrutores.
Software (Questionrio 2) e Mtodos geis (Questionrio 3).

Uma possvel explicao que os alunos no deram devida
ateno aos questionrios no incio do curso. O ndice de erro
diminui com o avano do aluno no curso.
A Figura 5 mostra o desempenho mdio geral das

avaliadas. Turma A refere-se a 2013-II e Turma B
corresponde a 2014-I. Na Turma A, foram feitos 10
questionrios e na Turma B, foram feitos 14 questionrios
(vide Seo II.A). Para comparao, considerado somente os
dez questionrios respondidos por ambas as turmas. Em cada
questionrio so feitas 10 questes de mltipla escolha sobre
um assunto j visto anteriormente no curso. Vale ressaltar que,
como a amostra inclui apenas alunos academicamente
matriculados no curso presencial, os alunos tiveram a opo
de ler slides sobre o assunto e assistir s aulas em sala.
Turma A (2013-II)
TABELA III. QUESTES COM MAIOR NDICE DE ERRO DAS TURMAS A E B
Quest.
1
2
3
4
5
6
7
8
9
10
Turma A
Questo
% de Erro
6
1
7
1e4
2e3
5
10
2
1e3
2e9
64,71%
60%
66,67%
26,67%
23,53%
35,29%
11,76%
40%
40%
14,29%
Turma B
Questo
% de Erro
6
1
7
4e5
5
5
6e9
8
3e5
9
44,44%
61,11%
66,67%
28,57%
23,08%
42,86%
21,43%
35,71%
15,38%
35,71%
Observando tambm os dados da Tabela III, percebe-se

que 70% das questes que possuem o maior ndice de erro so
iguais em ambas as turmas. Uma explicao possvel que as
questes com elevadas taxas de erros no tm todas as
alternativas claramente explicadas no material do site
(necessitando consulta ao livro texto). Percebe-se tambm que
a maioria dos questionrios tem um ndice de erro baixo. Isso
se deve a quantidade de materiais disponveis para consulta no
website do curso.
Turma B (2014-I)
Fig. 5. Desempenho mdio geral da turmas avaliadas.
Os grficos da Figura 5 mostram um melhor desempenho

nos questionrios da Turma B em relao a Turma A. Esta
diferena de rendimento entre as duas turmas possivelmente
explicada pela alterao do programa da disciplina. Dentre as
alteraes mais relevantes de 2013 para 2014, houve uma
mudana de ordem de apresentao de alguns tpicos e a
adio de mais 4 novos questionrios a serem feitos pelos
alunos em 2014-1. Alm disso, os questionrios comearam a
ser feitos como reviso para as provas; ou seja, uma aula antes
da prova que trata o contedo. Esta prtica pode ter levado os
alunos de 2014-I a estudarem mais antes de responder os
questionrios.
C. Participao Online
Esta seo tem o objetivo de analisar se a participao
online dos alunos estabelece algum tipo de relao com suas
notas nos questionrios. As Figuras 6 e 7 apresentam,
respectivamente para as Turmas A e B, os grficos de
disperso com as duas variveis em questo: porcentagem de
vdeos assistidos e desempenho nos questionrios. Alm dos
grficos de disperso, procurou-se interpretar alguns ndices
importantes tais como mdia, coeficiente de variao e
coeficiente de correlao entre duas variveis [17].
B. Anlise das Questes

Como analisado na Seo III.A, a Turma B possui um
rendimento mdio superior ao da Turma A nos questionrios
de reviso. Por outro lado, ao analisar cada questionrio
individualmente, percebe-se que os ndices de erro em uma
mesma questo so muito parecidos. Por exemplo, existem
questes com ndices de erro inferior a 20% ou at mesmo
nulo. Por outro lado, h questes com ndices de erro acima de
50% em ambas as turmas.
As informaes sobre a porcentagem de vdeos assistidos

por cada aluno so calculadas a partir do total de vdeos
disponveis no curso. Essa estatstica foi retirada do prprio
ambiente educacional Udemy. Este ambiente considera um
vdeo assistido se um aluno iniciou a exibio daquele vdeo.
importante ressaltar que a existncia dessa funcionalidade
no foi informada aos alunos a fim de evitar distores por
alunos forjando seu percentual de vdeos assistidos. Por outro
lado, o desempenho do aluno nos questionrios foi calculado a
partir da mdia aritmtica simples das notas dos questionrios
aos quais ele respondeu.
A Tabela III mostra as questes que obtiveram maior

ndice de erro em cada questionrio considerando ambas as
Turmas A e B. Nesta tabela, Quest. se refere ao nmero de
cada questionrio. Questo e % de Erro indicam,
respectivamente, as questes com maior ndice de erros o
ndice de erro mdio da turma nesta questo. Os trs
questionrios que apresentaram as questes com o maior
percentual de erro so relacionados a Introduo da
Engenharia de Software (Questionrio 1), Processos de
Essas informaes foram coletadas a partir de uma

interao direta entre os instrutores e os alunos matriculados
na disciplina presencial. Isto tornou-se necessrio j que o
Udemy permite apenas uma visualizao geral do desempenho
dos mais de 230 alunos do curso online. Ou seja, ele no
44
FEES
disponibiliza meios para o estudo de

individualmente, como feito nesse estudo.
cada
aluno
D. Participao Presencial
Uma outra dimenso da anlise a participao presencial.
Para tal, foram utilizadas as mesmas tcnicas de estudo da
participao online descritas na seo anterior. Nessa
oportunidade foram coletadas informaes do dirio de classe
referentes a frequncia dos alunos em aulas presenciais.
Atravs dessas informaes se pde quantificar o nvel de
correlao entre a frequncia dos alunos nas aulas presenciais
e suas respectivas notas nos questionrios de reviso. Os
resultados desta correlao esto apresentados nas Figuras 8 e
9. A Figura 8 apresentam os dados da Turma A e a Figura 9 os
dados da Turma B
A Figura 8 apresenta uma linha de tendncia ligeiramente
inclinada positivamente e um grfico de disperso que refora
uma correlao fraca entre as variveis. Essa hiptese foi
quantificada pelo coeficiente de correlao de 0,07; i.e., ndice
baixo. Por outro lado, a Figura 9 apresenta uma linha de
tendncia mais inclinada. Alm disso, o coeficiente de
correlao calculado para esta turma tambm foi superior. O
valor de 0,35 pode ser considerado como um valor mdio de
correlao.
Fig. 6. Turma A: % de vdeos assistidos vs. Desempenho nos questionrios
Fig. 7. Turma B: % de vdeos assistidos vs. Desempenho nos questionrios
Em relao a Turma A foi observado, atravs do grfico de

disperso e da linha de tendncia da Figura 6, que h uma
relao positiva muito fraca entre a porcentagem de vdeos
que os alunos assistiram e seus respectivos desempenhos nos
questionrios de avaliao. O resultado dessa observao foi
reforado pelo clculo do coeficiente de correlao entre as
duas variveis, cujo resultado de 0,14. Este ndice de
correlao considerado muito baixo. Uma situao parecida
foi observada na Figura 7 para a Turma B. Porm, neste caso a
linha de tendncia aparece mais inclinada e o coeficiente de
correlao foi de 0,30 - caracterizando um nvel mdio de
correlao.
Fig. 8. Turma A: Frequncia vs. Desempenho nos questionrios
A partir desses resultados conclui-se que assistir s aulas

em vdeo do curso distncia foi fator pouco determinante
para o um desempenho do grupo de alunos estudados nos
questionrios de reviso. Esse quadro pode ser explicado pelo
fato desses alunos terem a possibilidade de assistir s aulas
presenciais ou estudar por meio de outros materiais
disponveis (por exemplo, pelos livros texto da disciplina).
Entretanto, o aumento no desempenho da Turma B em relao
a Turma A nos questionrios e um aumento no coeficiente de
correlao entre as variveis sugerem um crescente
engajamento dos alunos matriculados na disciplina no
ambiente online.
Fig. 9. Turma B: Frequncia vs. Desempenho nos questionrios
Apesar do desempenho nos questionrios estar mais

relacionado com a frequncia para a Turma B do que para a
Turma A, percebeu-se que a mdia de frequncia na Turma A
foi menor. Alm disso, verificou-se no grfico da Figura 8
(principalmente) que mesmo alunos com ndice de frequncia
muito baixo, obtiveram excelentes resultados nos
questionrios se comparados com seus colegas de turma. Esses
45
FEES
relao entre as variveis, e essa hiptese reforada com o

resultado do coeficiente de correlao que foi de 0,46 e a uma
inclinao bem visvel da linha de tendncia no grfico. Os
alunos do segundo perfil podem ser considerados como
outliers. Uma possvel explicao para esse ltimo caso seria
que esses alunos no se dedicaram tanto na realizao das
provas.
resultados sugerem que a participao online do aluno em

conjunto com sua participao presencial pouco contribui em
seu desempenho nos questionrios de reviso.
E. Desempenho em Provas
Esta seo investiga uma possvel relao entre o
desempenho dos alunos nos questionrios de reviso e o
desempenho desses alunos nas provas aplicadas no decorrer da
disciplina presencial. Essa dimenso de avaliao chamou
bastante ateno pois faz uma comparao direta entre duas
formas diferentes de avaliar os alunos dentro de um mesmo
domnio. Entretanto, como provas diferentes foram aplicadas
s Turmas A e B teve-se o cuidado de realizar o estudo
separadamente por turma. O critrio para calcular o
desempenho do aluno nas provas foi o mesmo para o
desempenho nos questionrios, calculando-se mdia aritmtica
simples entre as notas de todas as atividades avaliativas que o
aluno realizou. As tcnicas estatsticas utilizadas para esse
estudo foram as mesmas empregadas nas sees anteriores e
os resultados esto apresentados a seguir.
A Figura 10 apresenta um grfico de disperso com uma
linha de tendncia onde cada aluno da Turma A representado
por um ponto. Visualmente percebe-se que o desempenho nos
questionrios no variou muito entre os alunos, j em relao
as provas houve uma variao bem maior. Estatisticamente, a
linha de tendncia exibida no grfico apresenta uma baixa
inclinao e o resultado do coeficiente de correlao de
Pearson calculado foi de 0,06, que um ndice muito baixo.
Contudo, possvel observar que a maioria dos alunos dessa
turma teve desempenho mdio tanto nos questionrios quanto
nas provas. Esse fato refora a ideia da existncia de uma
relao entre as duas variveis apesar das estatsticas no
favorveis.
Fig. 11. Turma B: Desempenho nos questionrios e provas
IV.
LIES APRENDIDAS
Percebe-se atravs das anlises feitas na Seo III que os

questionrios so muito teis aos alunos para praticar o seu
aprendizado. Alm disso, eles so teis para os instrutores que
podem visualizar melhor a dificuldade dos alunos em cada
tpico dado em sala de aula. Aps visualizar as eventuais
dificuldades dos alunos, o professor pode tomar algumas
medidas, tais como explicar mais detalhadamente o tpico
com grande percentual de erro em sala de aula e nos materiais
disponveis no curso online.
Os materiais disponveis para os alunos no curso online
so de enorme importncia. Atravs deles, tanto os alunos
academicamente matriculados como os alunos online podem
aprender e melhorar o seu aprendizado sem sair de casa. Alm
disso, os alunos no academicamente matriculados no
precisam pagar um curso sobre Engenharia de Software j que
o curso online gratuito.
Alm dos materiais disponibilizados, uma boa ferramenta
para aprendizado o frum. O curso online mantm um frum
de discusso onde possvel que os alunos interajam entre si.
Existem 14 tpicos diferentes, no qual os alunos podem
discutir sobre a disciplina e retirar dvidas de outros colegas.
Este tipo de ferramenta muito importante, pois um aluno
pode aprender muito mais com outros alunos, alm de se sentir
motivado a continuar o curso e estudar.
Fig. 10. Turma A: Desempenho nos questionrios e provas
Para a Turma B foi feito o mesmo tipo de anlise feita para

a Turma A. O grfico equivalente est devidamente
representado pela Figura 11. Nesse grfico pode-se observar
trs perfis de alunos que tiveram desempenho parecido entre
si: o primeiro deles, que caracteriza a maioria dos alunos, teve
desempenho excelente nos questionrios e bom nas provas;
outro teve desempenho excelente nos questionrios e ruim nas
provas; e o ltimo, caracterizado por apenas um aluno, teve
desempenho mdio nos questionrios e ruim nas provas. A
observao do primeiro e do ltimo perfil sugerem uma
Analisando o comportamento dos alunos no frum,

possvel visualizar que a maioria dos alunos que participaram
de algum tpico do frum so alunos da Turma B. Isso se deve
ao fato de que o frum foi criado ao longo do segundo
semestre de 2013 e, portanto, houve uma maior visualizao
dos tpicos por parte dos alunos da Turma B. Outro fato a ser
citado que os alunos participantes do frum, mesmo da
Turma B so poucos, porm muito frequentes, ou seja, alunos
que postam em quase todos os tpicos.
46
FEES
V.
Finalmente temos a ameaa na identificao da causa e

efeito no experimento, nosso experimento avalia qual os
impactos na nota final dos alunos quando realizam os
questionrios corretamente, mas existe a possibilidade de na
verdade as notas dos alunos impactarem no resultado dos
questionrios, e no o contrrio, onde bons alunos conseguem
resolver os questionrios sem dificuldades por serem bons
alunos e no que eles so bons alunos por se prepararem para
os questionrios. Ou ento que a presena dos alunos em sala
de aula causa ambos os resultados, com boas notas nos
questionrios e na avaliao final. De qualquer maneira existe
claramente uma dificuldade de identificar qual ao gera o
efeito real na outra.
AMEAAS VALIDADE
Esta seo discute possveis ameaas a validade do estudo

[32]. A primeira ameaa a validade do experimento o fato do
experimento ter sido conduzido em 2 turmas diferentes. Como
os questionrios so um complemento das aulas em sala de
aula, a aula do professor em cada uma das turmas pode ter
sido levemente diferente, mesmo que tenha sido realizada pelo
mesmo professor, o que pode causar uma turma a possuir
notas mais altas que outra. O professor ao dar a mesma
disciplina em dois perodos seguidos acaba evoluindo em sua
didtica, tendendo a dar uma aula de qualidade superior para a
segunda turma em comparao com a primeira. As aulas
foram assistidas tanto online quanto presencial, onde as aulas
online no foram modificadas, mesmo com isso o impacto de
uma aula diferentes pode ser grande, principalmente para
alunos que no assistiram muitas aulas pelo computador.
VI.
TRABALHOS RELACIONADOS
Muitos trabalhos tm sido realizados com o objetivo de

melhorar o ensino de Engenharia de Software [8] [10] [13]
[14] [20] [21] [22]. Alm disso, trabalhos focados em
Engenharia de Software e educao aberta tem recebido um
grande destaque na academia [30]. Entretanto, estes trabalhos
no analisam o impacto que o ambiente online pode exercer
sobre o aprendizado dos alunos como descrito por Derwin
[11]. O que diferencia este trabalho dos demais a forma
como avaliamos o impacto que uma atividade realizada online
pode ter no desempenho e aprendizado de um aluno
regularmente matriculado em um curso presencial de
Engenharia de Software.
Outra ameaa que o prprio curso sofreu uma evoluo

nesse perodo, mais questionrios foram adicionados a
segunda turma e mais contedos diferentes foram
disponibilizados, entretanto isto no invalida o experimento
pois os contedos dos questionrios avaliados neste artigo
foram mantidos. O maior problema desta evoluo que o
aluno, ao responder mais questionrios, pode se preparar
melhor a esse tipo de avaliao, podendo ter um rendimento
superior nesses testes do que teria se tivesse realizado o
experimento na primeira turma.
Podemos acrescentar tambm que as aulas online no
foram realizadas em um ambiente controlado, onde que cada
aluno realizou suas atividades de sua residncia, desta forma
aceitvel que possamos ter desvios causados por distraes
durante as respostas dos alunos, uma vez que cada um realizou
a atividade em ambiente diferente, e em horrios diferentes.
Como a distribuio das possveis distraes no foram
escolhidas por ns, podemos dizer que elas foram aleatrias.
Entretanto essas distraes podem impactar no resultado de
cada aluno, podendo causar distores nos resultados e devem
ser destacadas nessa seo.
O trabalho mais semelhante ao que ns fazemos o

realizado por Ahmadi e Jazayeri [2]. Onde o autor discute o
processo de aprendizagem do aluno enquanto realiza
atividades online de ensino, analisando inclusive o resultado
dos alunos em questionrios e atividades realizadas por eles
durante os experimentos. Entretanto o autor no faz um
comparativo com os resultados dos alunos em mtodos
tradicionais de ensino, no traando um paralelo do resultado
obtido nas atividades online com as atividades presenciais.
O trabalho de Fox e Patterson [15] tambm possui
semelhanas com o nosso uma vez que os autores oferecem na
Universidade de Berkeley um curso hbrido (parte presencial
parte online) de Engenharia de Software. Diferentemente de
tal artigo, o nosso trabalho oferece um contedo mais
abrangente para uma disciplina de Engenharia de Software.
Como os questionrios foram aplicados por todos os

alunos das duas turmas, no possuindo ento um grupo de
controle, possvel que os fatos discutidos neste artigo sejam
consequncia de algum outro fator no controlado pelo
experimento, como o alto, ou baixo, interesse dos alunos do
grupo escolhido ou ento.
Trabalhos como o de Ahmadi e Jazayeri [2] e Ye e colegas

[31] utilizam a educao aberta como complemento ao ensino
de Engenharia de Software. Por outro lado, o nosso trabalho
focado na comparao do aprendizado em sala de aula com o
aprendizado online com a inteno de avaliar se no futuro um
curso poder substituir o outro de forma eficiente.
Outro ponto que no podemos desconsiderar que o

experimento foi realizado somente na matria de Engenharia
de Software, por isso os seus resultados podem no se repetir
em diferentes matrias, tanto sobre o mesmo tema ou temas
diferentes.
Vrios trabalhos anteriores, como o Ye et al. [31] e Potter

e Schots [22], utilizam a educao aberta como complemento
ao ensino de Engenharia de Software utilizando de jogos para
o melhor aproveitamento do contedo pelos alunos. Nosso
trabalho, entretanto, focado na comparao do aprendizado
em sala de aula com o aprendizado online com a inteno de
avaliar se no futuro um curso poder substituir o outro de
forma eficiente.
Alm disso os alunos avaliados no experimento so todos

de uma mesma instituio de ensino e, por isso, possuem o
mesmo perfil, podendo no ser igual ao perfil de alunos de
outras instituies de ensino. Estes alunos podem estar mais,
ou menos, acostumados a estudar por conta prpria ou a este
tipo de contedo, de acordo com os professores que tiveram
anteriormente no curso, portanto no podemos garantir que os
alunos de outras instituies tero resultados iguais no mesmo
experimento.
47
FEES
[8]
VII. CONCLUSES E TRABALHOS FUTUROS

Este artigo avaliou os desempenhos de alunos em um curso
aberto e online para ensino de Engenharia de Software. O
curso online foi proposto a partir de um curso presencial da
Universidade Federal de Minas Gerais (UFMG). Ele
composto de 44 aulas em vdeo, 140 perguntas em 14
questionrios de reviso e tpicos para discusso em formato
de frum. Apesar de possuir mais de 230 alunos registrados,
este estudo considerou uma amostra de 43 alunos da UFMG
academicamente matriculados no curso presencial e
registrados no curso online.
[9]
[10]
[11]
[12]
[13]
Os resultados deste estudo mostraram que o desempenho

dos alunos nos questionrios de reviso melhorou de um
semestre para o outro consideravelmente. Esta melhora pode
ter sido impactada por mudanas pontuais no programa do
curso. Alm disso, foi observado que: (i) as questes com
maiores taxas de erros so praticamente as mesmas nos dois
semestres, (ii) foi encontrada baixa correlao entre o
desempenho nos questionrios de reviso e o total de vdeos
assistidos pelo aluno, (iii) a correlao entre o desempenho
nos questionrios de reviso em relao frequncia em aulas
presenciais varia de baixa a moderada e (iv) a correlao entre
o desempenho nos questionrios de reviso e notas nas provas
presenciais tambm varia de baixa a moderada.
[14]
[15]
[16]
[17]
[18]
Como trabalhos futuros, pretendemos implementar

melhorias no material do curso online, incluir novos
questionrios de reviso, e fazer novas avaliaes. Uma das
melhorias a ser implementada criar vdeos mais elaborados
para aproximar a experincia do aluno no ambiente virtual ao
ambiente de sala de aula. Outra dimenso de trabalhos futuros
melhoria investigar em profundidade as possveis causas
para altos ndices de erro em determinadas questes,
possivelmente buscando apresentar o contedo de forma mais
clara para essas questes.
[19]
[20]
[21]
[22]
AGRADECIMENTOS
[23]
Este trabalho recebeu recursos financeiros da Universidade

Federal de Minas Gerais por meio da PROGRAD (Processo
PIQEG2013-41), do CNPq (Processo 485907/2013-5) e da
FAPEMIG (Processos APQ-02532-12 e PPM-00382-14).
[24]
REFERNCIAS
[25]
[1]
[2]
[3]
[4]
[5]
[6]
[7]
Open Software Engineering Course. Acessado em 08/07/2014:

http://www.udemy.com/engenharia-de-software-ufmg/
N. Ahmadi, M. Jazayeri. Analyzing the Learning Process in Online
Educational Game Design: A Case Study. In 23rd Australian Software
Engineering Conference (ASWEC), pp. 84-93, 2014.
S. Apel, D. Batory, C. Kastner, G. Saake. Feature-Oriented Software
Product Lines: Concepts and Implementation. Springer; 2013.
M. A. Ardis and P. B. Henderson. Software Engineering Education
(SEEd) - Is Software Engineering Ready for MOOCs?. ACM
SIGSOFT Software Engineering Notes, v. 37, n. 5, 2012.
K. Beck and C. Andres. Extreme Programming Explained: Embrace
Change, 2nd Edition. Addison-Wesley, 2004.
B. Boehm. A Spiral Model of Software Development and
Enhancement, IEEE Computer, 21(5), 61-72, 1988.
G. Booch, J. Rumbaugh, I. Jacobson. The Unified Modeling Language
User Guide, 2 edition. Addison Wesley, 2005.
[26]
[27]
[28]
[29]
[30]
[31]
[32]
48
J. C. Braga. Diretrizes para o Ensino interdisciplinar de Engenharia de

Software. Frum de Educao em Enge. de Software (FEES), 2009.
Coursera. Acessado em 08/07/2014: http://www.coursera.org/
B. Dasarathy, K. Sullivan, D. C. Schmidt, D. H. Fisher, A. Porter. The
Past, Present, and Future of MOOCs and their Relevance to Software
Engineering. In Proceedings of the on Future of Software Engineering,
pp. 212-224, 2014.
E. B. Derwin. Critical Thinking in Online vs. Face-to-Face Higher
Education. ProQuest, 2008.
edX. Accessed in 08/07/2014: http://www.edx.org/
E. Figueiredo, C. Lobato, K. Dias, J. Leite, C. Lucena. Um Jogo para o
Ensino de Engenharia de Software centrado na Perspectiva de
Evoluo. Workshop de Educao em Informtica (WEI), pp. 37-46,
2007.
E. Figueiredo, J. Pereira, L. Garcia, and L. Lourdes. On the Evaluation
of an Open Software Engineering Course. In proceedings of the 44th
Annual Frontiers in Education Conference (FIE). Madrid, Spain, 2014.
A. Fox and D. Patterson. Crossing the Software Education Chasm.
Communications of the ACM, 55(5), 4449, 2012.
E. Gamma, R. Helm, R. Johnson, J. Vlissides. Design Patterns:
Elements of Reusable Object-Oriented Software. Addison-Wesley,
Reading, 1995.
R. Jain. The Art of Computer System Performance Analysis:
Techniques for Experimental Design, Measurement, Simulation and
Modeling. Wiley and Sons. 1991.
T. R. Liyanagunawardena, A. A. Adams, and S. A. Williams. MOOCs:
A Systematic Study of the Published Literature 2008-2012. The
International Review of Research in Open and Distance Learning, 2012.
K. Masters. A Brief Guide to Understanding MOOCs. The Internet
Journal of Medical Education, 1(2), 2011.
L. Meirelles, D. Peixoto, E. Monsalve, E. Figueiredo, V. Werneck, J. C.
Leite, C. Pdua. Uso de Jogos para o Ensino de Engenharia de
Software. IV Frum de Educao em Engenharia de Software, So
Paulo, Brasil, 2011.
N. Papaspyrou, S. Retalis, S. Efremidis, G. Barlas, E. Skordalakis.
Web-based Teaching in Software Engineering. Advances in
Engineering Software, 30(12), 901-906, 1999.
H. Potter, M. Schots. InspectorX: Um Jogo para o Aprendizado em
Inspeao de Software. Frum de Educao em Engenharia de Software
(FEES), 2011.
J. Pereira, L. Garcia, E. Figueiredo. Proposta e Avaliao de Educao
Aberta para Engenharia de Software. Anais do Frum de Educao em
Engenharia de Software (FEES), Brasilia, 2013.
D. C. Schmidt and Z. McCormick, Producing and Delivering a
Coursera MOOC on Pattern-Oriented Software Architecture for
Concurrent and Networked Software. In Proc. of the Intl Conference
on Systems, Program., Languages and Applications (SPLASH), 2013.
Software as a Service (SaaS). Acessado em 08/07/2014:
http://www.edx.org/course/uc-berkeley/cs169-1x/software-service/691
I. Sommerville. Software Engineering, 9 edition. Pearson, 2010.
N. Tillmann, J. Halleux, T. Xie, S. Gulwani, J. Bishop. Teaching and
Learning Programming and Software Engineering via Interactive
Gaming. In Proc. of the International Conference on Software
Engineering (ICSE), pp. 1117-1126, 2013.
Udacity. Acessado em 08/07/2014: http://www.udacity.com
Udemy. Acessado em 08/07/2014: http://www.udemy.com/
T. Xie, N. Tillmann, J. De Halleux. Educational Software Engineering:
Where Software Engineering, Education, and Gaming Meet. In Intl
Workshop on Games and Software Engineering (GAS), pp. 36-39, 2013.
E. Ye, C. Liu, J. A. Polack-Wahl. Enhancing Software Engineering
Education using Teaching Aids in 3-D Online Virtual Worlds. Frontiers
in Education (FIE), 2007.
C. Wohlin, P. Runeson, M. Host, M. C. Ohlsson, B. Regnell, A.
Wesslen. Experimentation in Software Engineering, 2nd edition.
Springer, 2012.
FEES
ANEXO I TELA PRINCIPAL DO CURSO ONLINE DE ENGENHARIA DE SOFTWARE
49
FEES
Ambiente Integrado como Apoio ao Ensino da

Engenharia de Software
Simone Vasconcelos Silva
Instituto Federal Fluminense (IFFluminense)
Ncleo de Engenharia de Software (NES)
Rio de Janeiro/Brasil
simonevs@iff.edu.br
Aline Pires Vieira de Vasconcelos

Instituto Federal Fluminense (IFFluminense)
Ncleo de Engenharia de Software (NES)
Rio de Janeiro/Brasil
apires@iff.edu.br
AbstractThis paper proposes the use of an Integrated

Environment, designed to automate the processes of Software
Engineering (ES), as an aid to teaching and learning in the
area of ES in undergraduate and postgraduate courses. The
emphasis of this paper is the use of two tools of the
Environment, Integrated Management and Fermine, related
to the processes of Project Management and Requirements
Engineering. This environment can bring benefits to teaching
and learning in the area of ES, both in academic and
professional contexts. In the academic context, teaching can
be awarded by using the tools in the classroom, through case
studies that represent real cases. In the industrial context, the
tools can facilitate the training of new employees in the
processes adopted, and it can be used information from real
projects registered in the environment. It is also being
developed in this Integrated Environment, a "3D Simulation"
tool devoted to simulate real scenarios regarding the ES
procedures, raising the quality of the teaching-learning
process in this area.
software; gerncia de projetos; gerncia de requisitos; ensinoaprendizado
I. INTRODUO
Atualmente, a sociedade encontra-se cada vez mais
dependente do uso de software e esta dependncia ocorre
em diversos aspectos, tais como: pessoais, acadmicos e
profissionais. Portanto, a qualidade do software essencial
para melhor atender s necessidades do mundo moderno.
Desta forma tornou-se crescente e inevitvel a busca por
novas metodologias e ferramentas especficas para
melhoria do ensino da Engenharia de Software (ES).
A preocupao com a educao em ES reflete a
demanda por profissionais qualificados, as dificuldades de
abstrao, a necessidade de lidar com escalabilidade e
confiabilidade de sistemas na indstria [1].
O processo de ensino-aprendizagem de ES tem sido
amplamente analisado e discutido por diversos autores [2]
[3] [4] [5] [6] [7] [8]. Grande parte destes estudos apontam
para o seguinte problema generalizado: no ambiente
organizacional a rea de ES extremamente prtica e no
ambiente acadmico a rea de ES predominantemente
terica.
Keywordsintegrated environment; software engineering;

project management; requirements management; teachinglearning
ResumoEste artigo prope a utilizao de um Ambiente
Integrado, desenvolvido para automatizar os processos da
Engenharia de Software (ES), como um auxlio ao ensinoaprendizagem da rea de ES em cursos de graduao e de
ps-graduao. A nfase do artigo est no uso de duas das
ferramentas do ambiente, Gesto Integrada e Fermine,
relacionadas aos processos de Gerncia de Projetos e de
Gerncia de Requisitos. Este ambiente pode trazer benefcios
ao ensino-aprendizagem na rea de ES, tanto no contexto
acadmico quanto no contexto profissional. Na academia, o
ensino pode ser contemplado com o uso das ferramentas em
sala de aula, atravs de estudos de caso que representem casos
reais. No contexto industrial, as ferramentas podem facilitar a
capacitao de novos funcionrios nos processos adotados,
podendo-se utilizar as informaes dos projetos reais
cadastrados nas mesmas. Encontra-se em desenvolvimento,
ainda, neste Ambiente Integrado, Simuladores 3D com o
objetivo de simular cenrios reais referentes aos processos de
ES, elevando a qualidade do processo de ensino-aprendizagem
nesta rea.
Palavras-Chaveambiente
integrado;
engenharia
O processo tradicional de ensino de ES consiste na

apresentao de conceitos relevantes e indispensveis para
o aprendizado. Embora essencial, pesquisas mostram que
apenas esse conhecimento no suficiente para que o aluno
esteja preparado para a realidade de mercado,
principalmente com relao tomada de decises em
ambientes dinmicos [6].
A aula terica e os trabalhos abordados em sala de aula,
em sua maioria, no refletem a realidade do mundo
profissional, fazendo com que os alunos no consigam
visualizar claramente a utilidade e a aplicabilidade dos
conhecimentos adquiridos em sala de aula em relao ao
ambiente organizacional.
A literatura tcnica mundial registra vrias discusses
sobre problemas no processo de ensino-aprendizagem na
rea de ES, podendo ser facilmente observada a
necessidade de uma maior integrao entre as disciplinas
da rea [9]. Alguns trabalhos elaboraram pesquisas
relacionadas ao ensino da ES, podendo ser divididos em
dois grupos: o primeiro diz respeito a uma pesquisa de
de
50
FEES
opinio realizada com alunos e ex-alunos de disciplinas da

rea de ES em mais de 30 instituies brasileiras; o
segundo diz respeito a uma reviso sistemtica de diversos
trabalhos abordando pesquisas sobre o ensino de ES. Podese citar alguns dos principais problemas no processo de
ensino-aprendizagem em ES encontrados nestas pesquisas,
tais como [9][10]:
A existncia de grande distncia entre o que se

ensina e a realidade do mercado de trabalho;
Os discentes tm pouco interesse pelas aulas

extremamente tericas;
A maioria dos cursos de ES tm significativas

taxas de evaso e reprovao;
ndices de aprendizagem
questionveis;
Pouca nfase ao trabalho em grupo e pouca prtica

de interdisciplinaridade;
Em geral, o que se ensina e se aprende em uma

disciplina no apropriado pela comunidade
como um patrimnio intelectual para uso futuro;
Pouca ou nenhuma interao entre professores e

alunos fora da sala de aula.
efetiva
determinadas funes e resolverem possveis problemas

que encontrarem em um cenrio real [11]. Pesquisas na
rea de treinamento e educao sugerem o uso de jogos no
ensino, pois estes podem engajar o estudante, reforando
conceitos atravs da prtica, e aprofundando os
conhecimentos [12].
A utilizao de simulao e jogos educativos tem sido
abordada em muitos trabalhos na literatura, onde a
principal vantagem abordada na utilizao de jogos como
auxlio no aprendizado a de que os mesmos estimulam e
motivam o aluno atravs da simulao de diversas
situaes reais do desenvolvimento [13].
O envolvimento emocional de um estudante aumenta
conforme o entretenimento, e assim ocorre a variao de
estmulos, o que ajuda o estudante a reter novos
conhecimentos, e para isto as aulas palestradas no so
suficientes [14].
bastante
A pedagogia que utiliza o jogo como ferramenta de

apoio ao processo de aprendizagem oferece vantagens
como ludicidade, cooperao, participao, prazer e
motivao [15].
Na ES, o desenvolvimento e uso de jogos vem
crescendo cada vez mais, visto que ainda h um dficit
grande nesta rea, apesar da demanda por treinamento e
simulao de processos de ES [8].
Para apoiar o ensino, este trabalho prope a utilizao

de um Ambiente Integrado que possui ferramentas capazes
de proporcionar melhorias no processo de ensinoaprendizagem de diversas disciplinas da rea de ES. A
nfase est na utilizao de ferramentas para o ensino
prtico dos contedos das disciplinas relacionadas
Gerncia de Projetos e Gerncia de Requisitos. Alm
disso, est sendo desenvolvido um Simulador 3D para este
ambiente, com o intuito de simular cenrios reais, gerando
melhoria contnua do aprendizado.
Na rea da ES, algumas organizaes para minimizar a

curva de aprendizado de seus recm-contratados, junto aos
processos j estabelecidos nas equipes, tm investido no
treinamento e capacitao prvia nas prticas dos processos
adotados. Com isso, o uso de jogos como mecanismo
complementar
de
aderncia
de
conceitos
e
desenvolvimento de habilidades est se tornando cada vez
mais importante dentro dos processos educativos
organizacionais. O jogo serve assim como forma
complementar ao treinamento tradicional, ajudando a fixar
conceitos de forma ldica e criativa [16].
Partindo desta Introduo, o restante do artigo est

organizado da seguinte forma: a Seo 2 aborda o uso de
ferramentas e simuladores como facilitadores do processo
de ensino-aprendizagem de ES; a Seo 3 apresenta o
Ambiente Integrado, assim como suas ferramentas para
Gerncia de Projetos e Gerncia de Requisitos; a Seo 4
apresenta como estas ferramentas podem auxiliar no
processo de ensino-aprendizagem; e a Seo 5 apresenta as
consideraes finais deste trabalho.
Diversos trabalhos foram realizados para analisar o uso

de ferramentas (comerciais e acadmicas) para apoio ao
ensino-aprendizagem da Gerncia de Projetos e Gerncia
de Requisitos, podendo-se citar algumas delas, tais como:
eGroupware e GPAC [17], DotProject [18], Case Gemetrics
[19] [20].
Pode-se citar alguns ambientes de simulao/jogos para
auxlio no processo de ensino-aprendizagem da rea de ES,
onde muitos esto relacionados a Gerncia de Projetos e
Gerncia de Requisitos: SESAM [2], Incredible Manager
[21], Virtual Team [22], SimSE [5], SPARSE [23],
Kallango [16], Planegeri [24], SimProject [25], RE-O-Poly
[26], Quantum [27], Guess what we want [14], SimSE
[28], Ilha de Requisitos [29], UbiRE [30], SimulES-W
[31], SimVBSE [32].
II. FERRAMENTAS E SIMULADORES/JOGOS PARA

O ENSINO EM ES
Diversas ferramentas, tanto as desenvolvidas com fins
comerciais e disponibilizadas no mercado quanto as
desenvolvidas atravs de projetos acadmicos e de
pesquisa) podem ser utilizadas para apoio ao ensinoaprendizagem na rea de ES, onde muitas destas
ferramentas esto relacionadas com os processos de
Gerncia de Projetos e de Gerncia de Requisitos.
III. O AMBIENTE INTEGRADO
A simulao de modelos em computador pode ser

utilizada com diferentes objetivos: produzir dados e
situaes que conduzam a tomada de decises reais
imediatas, visando solucionar diferentes problemas; e
capacitar e treinar pessoas de maneira mais rpida, de
forma que estas se tornem mais aptas a realizarem
O Ambiente Integrado desenvolvido pelo Ncleo de

Engenharia de Software do Instituto Federal Fluminense
(IFFluminense) por pesquisadores e alunos de iniciao
cientfica que recebem apoio financeiro do prprio instituto
e do CNPq. Este ambiente possui ferramentas que j foram
utilizadas em projetos de software mantidos pelo
51
FEES
Ministrio da Educao (MEC) atravs da SETEC

(Secretaria de Educao Profissional e Tecnolgica) [33],
pelo Ministrio das Comunicaes (MC) atravs do projeto
Formao GESAC [34] e atualmente encontram-se em uso
no IFFluminense atravs de diversos campus e diretorias.
quais permitem a realizao de correes quando

houver desvios significativos no desempenho do
mesmo. Tambm proporciona a modelagem dos
processos da organizao com o objetivo principal
de integrar os processos aos projetos [42] [43];
Atualmente, o Ambiente Integrado considerado um

ambiente colaborativo composto de um conjunto de
ferramentas inter-relacionadas com o objetivo de
automatizar e integrar os seguintes processos para apoio ao
desenvolvimento de software: Gerncia de Requisitos,
Gerncia de Projetos, Gerncia de Configurao, e
Verificao e Validao. Estas ferramentas foram
desenvolvidas seguindo os princpios do modelo MPS.Br
[35].
As ferramentas desenvolvidas tm como base inicial a
plataforma Redmine [36], a qual desenvolvida atravs do
framework Ruby on Rails, possuindo como caractersticas
principais o cdigo aberto, a facilidade de extenso e
configuraes personalizadas. Estas caractersticas
facilitaram a implementao das ferramentas do Ambiente
Integrado e para tal foram elaboradas adaptaes atravs de
configuraes, implementao de formulrios eletrnicos e
de plugins especficos para atender de forma satisfatria
todos os processos envolvidos . Os plugins desenvolvidos
se integram no ambiente juntamente com os demais
plugins nativos da prpria plataforma.
Pode-se observar na Figura 1 que a metodologia
utilizada para o desenvolvimento do Ambiente Integrado
foi composta pelos seguintes mtodos e guias: modelagem
de processos com BPMN (Business Process Modeling
Notation) [37]; MPS.Br (Melhoria do Processo de
Software) [35]; PMBOK (Project Management Body of
Knowledge) [38]; Project Model Canvas [39]; ISO/IEC
25000 e Metodologias geis [40].
Fermine: atende Gerncia de Requisitos, visando

buscar tcnicas bem definidas para elicitar,
especificar, validar, documentar e rastrear
requisitos [44] [45];
RedSCoM: atende Gerncia de Configurao,

fornecendo subsdios para identificar e
documentar as caractersticas fsicas e funcionais
de um item de configurao, controlar as
alteraes nessas caractersticas, armazenar e
relatar o processamento das modificaes e o
estgio da implementao, alm de verificar a
compatibilidade com os requisitos especificados
[46];
WiseTest: atende parcialmente ao processo de

Validao atravs dos Testes Funcionais e possui
como principal funcionalidade a gerao
automtica de casos de teste [45];
QualiPSoft: proporciona a avaliao da qualidade

de produtos de software atravs da ISO/IEC
25000;
TotalMeasure: atende parcialmente ao processo de

Medio, contendo funcionalidades para clculo
de ponto por funo e por caso de uso.
A. Ferramenta Gesto Integrada

A ferramenta Gesto Integrada surgiu da necessidade das
organizaes, que trabalham com projetos, de integrar as
informaes atravs de um nico ambiente, onde o
planejamento seja realizado de forma colaborativa, com
reaproveitamento de dados, aumento da produtividade e
facilidade de monitoramento. Esta necessidade foi
fortalecida pela ausncia de ferramentas que atendessem
por completo estas demandas. Suas funcionalidades
contemplam os seguintes mtodos e guias [42] [43]:
As reas do conhecimento do PMBOK atravs de

plugins e formulrio eletrnicos, alm de fornecer
todos os resultados esperados para o processo
Gerncia de Projetos (GPR) do MPS.Br (Melhoria
do Processo de Software Brasileiro) no nvel G;
Ambiente para o Project Model Canvas (integrado

e com gerao automtica dos formulrios
eletrnicos necessrios s reas do PMBOK). E
tambm este mesmo ambiente no modo Quadro
Inteligente, ou seja, os componentes (canvas, postits e stakeholders) so manipulados atravs de
movimentos e toques na superfcie do quadro
inteligente. Este modo facilita a elaborao do
plano do projeto de forma interativa e colaborativa
atravs da participao das partes interessadas;
Gerncia de requisitos e tarefas atravs da

metodologia gil abordada no Lean utilizando o
Fig. 1. Metodologia Elaborada para o Ambiente Integrado (Adaptado de

[41])
De acordo com a Figura 1, as ferramentas que

compem o Ambiente Integrado so:
Gesto Integrada: atende Gerncia de Projetos,

cujo objetivo estabelecer e manter planos que
definem as atividades, prazos, recursos e
responsabilidades do projeto. Bem como prover
informaes sobre o andamento do projeto, as
52
FEES
mtodo kanban;
Modelagem de processos atravs do BPMN

(Business Process Modeling Notation) de forma
integrada aos projetos.
Esta ferramenta um projeto que se encontra em

constante melhoria, logo esto sendo desenvolvidas
funcionalidades que agregam o framework do Scrum,
simuladores 3D para apoio ao aprendizado e mapeamento
do planejamento estratgico integrado aos processos e
projetos. Muitas das funcionalidades da ferramenta deram
origem a diversos artigos cientficos e monografias de
cursos de graduao e ps-graduao.
IV. FERRAMENTAS DO AMBIENTE INTEGRADO NO

AUXLIO AO PROCESSO DE ENSINOAPRENDIZAGEM
O Ambiente Integrado e suas ferramentas so oriundos
de projetos de pesquisa, tornando-se possvel a integrao
entre as pesquisas realizadas pelo Ncleo de Engenharia de
Software e o processo de ensino-aprendizagem das
disciplinas relacionadas ES nos cursos de graduao e de
ps-graduao do IFFluminense. Ou seja, o ambiente
desenvolvido para automatizar os processos da ES para as
organizaes de software no mbito profissional tambm
pode ser perfeitamente utilizado para auxiliar o ensino da
ES no mbito acadmico.
A referida ferramenta recebeu o prmio de melhor

projeto do ano de 2013 na categoria inovao rela revista
Mundo Project Management [47].
B. Ferramenta Fermine
A Fermine uma ferramenta de apoio ao processo de
Gerncia de Requisitos capaz de realizar a manuteno de
diversos artefatos que contemplam a Engenharia de
Requisitos (ER). A ferramenta disponibiliza um conjunto
de formulrios eletrnicos que padronizam e otimizam o
preenchimento de diversos documentos da ER. Suas
funcionalidades so [44] [45]:
At o momento, duas das ferramentas do Ambiente

Integrado, Gesto Integrada e Fermine, j foram utilizadas
em sala de aula para facilitar o processo de ensinoaprendizagem, tendo sido utilizadas nas disciplinas e
monografias relacionados Gerncia de Projetos e
Gerncia de Requisitos, nos cursos de Bacharelado em
Sistemas de Informao e Ps-Graduao em Anlise e
Gesto de Sistemas de Informao do IFFluminense.
Atores: so cadastrados, sendo possvel definir

suas interfaces de comunicao com o sistema
(ICS), informando inclusive novos tipos de ICS
alm dos j existentes. A definio da ICS para
cada ator poder ser utilizada para o clculo de
mtricas referentes aos casos de uso. O ator
representa um artefato reutilizvel, que depois de
criado, pode estar associado a um ou mais projetos
no ambiente;
Requisitos: cadastro de requisitos funcionais e

no-funcionais, alm de checklists de validao da
descrio de requisitos;
Regras de negcio, Glossrio e Mensagens;
Casos de uso (CDU): no cadastro do CDU

possvel definir pr-condies, fluxos de eventos,
ps-condies, excees etc., alm de associar
atores, regras de negcio, mensagens, requisitos,
casos de uso includos (includes) e estendidos
(extends). Na descrio resumida do caso de uso,
os termos do glossrio so exibidos como links
que permitem consultar suas definies.
possvel ainda no caso de uso, adicionar imagens
dos prottipos das telas e associar tabela de
especificao de dados;
Rastreabilidade entre os artefatos: muito til na

avaliao dos impactos que mudanas nos
requisitos podem ocasionar e apoiando a
identificao de inconsistncias;
Gerao de cenrios: cadastro de cenrios com o

objetivo de possibilitar testes automatizados TDD
(Test Driven Development), esta funcionalidade
encontra-se em desenvolvimento;
Acompanhamento dos requisitos: possvel

acompanhar e alterar o status do requisito de
acordo com a execuo das tarefas relacionadas ao
mesmo. Esta funcionalidade encontra-se em
desenvolvimento e permite total integrao entre a
Fermine e a Gesto Integrada.
A. Ensino da Gerncia de Projetos com apoio da

ferramenta Gesto Integrada
Este processo ocorre atravs do uso da ferramenta
Gesto Integrada para elaborar/simular projetos de
desenvolvimento de software que so utilizados como
estudos de caso nas disciplinas e nas monografias.
O mtodo utilizado semelhante para graduao e psgraduao, onde so elaborados estudos de caso de forma
que estes se aproximem o mximo possvel da realidade
das organizaes que desenvolvem software. Para cada
aula terica encontra-se associada uma aula prtica, onde
os conceitos aprendidos so aplicados na ferramenta,
elaborando-se um projeto passo a passo.
As aulas prticas com uso da ferramenta so divididas
nas seguintes etapas:
53
Etapa 1 - diviso da turma em grupos, onde cada

grupo recebe um estudo de caso e seleciona um
aluno para o perfil de gerente do projeto. Aps
este processo, a ferramenta apresentada aos
alunos;
Etapa 2 - criao do projeto, stakeholders e seus

perfis;
Etapa 3 - elaborao de uma sntese do projeto

com o Project Model Canvas;
Etapa 4 - elaborao do Termo de Abertura de

Projeto;
Etapa 5 - elaborao da Estrutura Analtica do

Projeto (EAP);
FEES
Etapa 6 - elaborao do cronograma e oramento;
Etapa 7 - elaborao da matriz de

responsabilidades e gesto das partes interessadas;
Etapa 8 - elaborao do plano de comunicao;
Etapa 9 - elaborao do plano de riscos e de

mitigao;
Etapa 10 - controle das tarefas atravs de diversas

formas e mtodos;
Etapa 11 tratamento das aquisies e plano de

qualidade do projeto;
Etapa 12 - elaborao das lies aprendidas e

problemas encontrados;
Etapa 13 - avaliao do uso da ferramenta pelos

alunos.
Em relao ao uso da ferramenta Gesto Integrada na

sala de aula pode-se relatar que cerca de 35 alunos, que
utilizaram a ferramenta durante as aulas (uma turma do 6o
perodo da graduao com 15 alunos e uma turma da psgraduao com 20 alunos), demonstraram um aumento no
interesse pela disciplina de Gerncia de Projetos aps a
insero do uso da ferramenta, o que gerou uma maior
procura pelo tema para elaborao de monografias e
artigos.
Fig. 3. Uso da ferramenta para elaborao de uma EAP (Estrutura

Analtica do Projeto) na turma de Ps-Graduao
Na turma da ps-graduao com incio em 2010 no foi

utilizada a ferramenta em sala de aula, a mesma foi inserida
a partir da turma com incio em 2012. Esta ltima turma
apresentou uma maior procura por assuntos relacionados a
Gerncia de Projetos para elaborao das monografias. Este
fato pode ser observado comparando o nmero das
monografias da turma de 2010 com este mesmo indicador
da turma de 2012. Em relao as monografias defendidas
pela primeira turma, de 7 trabalhos apenas 2 foram
relacionados a disciplina de Gerncia de Projetos. Em
relao as monografias em desenvolvimento pela segunda
turma, de 11 trabalhos foram apontados 6 relacionados a
disciplina. Pode-se perceber que o percentual de 28,57%
referente ao ano de 2010 subiu para 54,55% em relao ao
ano de 2012.
Na turma da graduao, onde a carga horria da

disciplina maior do que na ps-graduao, os projetos
desenvolvidos pelos grupos foram transformados em
artigos de forma integrada com a disciplina de Qualidade
de Software, dando origem a 5 trabalhos. Destes artigos, 3
foram publicados: dois artigos na Revista Perspectivas
Online [48] [49] e um artigo no WAMPS (Workshop Anual
do MPS.Br) [50]. A utilizao da ferramenta em sala de
aula pode ser observada nas Figuras 2 e 3.
B. Ensino da Gerncia de Requisitos com auxilio da

ferramenta Fermine
Este processo se d atravs do uso da ferramenta
Fermine para elaborar/simular a Gerncia de Requisitos do
processo de desenvolvimento de software, utilizando
estudos de caso prximos da realidade das organizaes.
O processo ocorre de forma muito semelhante ao ensino
da Gerncia de Projetos, onde a cada aula prtica os alunos
aplicam na ferramenta os conceitos aprendidos nas aulas
tericas, gerando passo a passo todos os artefatos
necessrios.
As aulas prticas com uso da ferramenta so divididas
nas seguintes etapas:
Fig. 2. Uso da ferramenta para elaborao de um plano de projeto atravs

do Project Model Canvas na turma de Ps-Graduao
54
Etapa 1 - diviso da turma em grupos, onde cada

grupo recebe um estudo de caso. Aps este
processo, a ferramenta apresentada aos alunos;
Etapa 2 - cadastro dos atores e regras de negcio;
Etapa 3 - cadastro dos requisitos funcionais e no

funcionais;
FEES
Etapa 4 - cadastro das mensagens e glossrio;
Etapa 5 - elaborao dos casos de uso;
Etapa 6 - elaborao dos prottipos (em outra

ferramenta);
Etapa 7 - elaborao dos diagramas da UML

(Unified Modeling Language) (em outra
ferramenta);
Etapa 8 - associao dos arquivos referentes aos

prottipos e diagramas aos casos de uso
cadastrados na Fermine;
Etapa 9 - verificao da rastreabilidade;
Etapa 10 - avaliao do uso da ferramenta pelos

alunos.
informaes cadastradas na ferramenta, assim como

facilitar o aprendizado dos conceitos e prticas da Gerncia
de Requisitos.
Este simulador 3D ser composto de diversas
funcionalidades, podendo citar as consideradas principais:
Em relao ao uso da ferramenta Fermine na sala de

aula, a mesma foi utilizada na disciplina de Anlise
Orientada a Objetos do curso de graduao. Pode-se relatar
que as turmas (totalizando 32 alunos) se mostraram
satisfeitas com o uso da ferramenta. Alguns alunos
solicitaram a insero de mais recursos visuais e a
possibilidade de elaborar os diagramas da UML na prpria
ferramenta.
Foi elaborada uma pesquisa de opinio, atravs de
questionrios, com uma das turmas da disciplina de
Anlise Orientada a Objetos que no utilizou a Fermine
durante as aulas. Esta turma (15 alunos) foi convidada a
documentar os artefatos necessrios a Gerncia de
Requisitos (atores, requisitos funcionais e no-funcionais,
casos de uso, mensagens e regras de negcio) de um
pequeno estudo de caso utilizando a ferramenta. O objetivo
deste estudo foi verificar os pontos positivos e negativos
em relao ao uso da ferramenta, na viso do aluno que j
cursou a disciplina sem a ajuda de ferramentas para
documentao destes artefatos.
Cenrios simulando o ambiente organizacional:

semelhante ao ambiente visual de um jogo, onde
os alunos podero interagir com um ambiente
muito prximo ao de uma organizao de
desenvolvimento de software e participaro das
tomadas de decises de acordo com os perfis
adotados;
Objetos virtuais de aprendizagem: so utilizados

para representar de forma grfica e visual os
conceitos da disciplina;
Vdeos interativos abordando conceitos e prticas:

vdeos contendo objetos de aprendizagem, textos e
udio para facilitar o aprendizado do aluno;
Elaborao virtual e automatizada de documentos:

utilizado nos cenrios e tambm de forma
individual com o objetivo de demonstrar para o
aluno o preenchimento dos documentos
necessrios a prtica de cada disciplina;
Stakeholders virtuais: representam virtualmente os

alunos na participao nos cenrios, na
manipulao dos objetos virtuais e na elaborao
virtual dos documentos.
Em ambiente organizacional este simulador tambm

poder ser de grande importncia para a capacitao dos
novos funcionrios, pois poder facilitar o aprendizado dos
processos utilizados pela organizao.
VI. CONSIDERAES FINAIS
Pode-se concluir que a utilizao do Ambiente Integrado
como facilitador do ensino-aprendizagem, atravs de suas
ferramentas Gesto Integrada e Fermine, para as disciplinas
relacionadas aos processos de Gerncia de Projetos e
Gerncia de Requisitos, gerou os seguintes benefcios ao
ensino da ES:
Com o resultado desta pesquisa foi possvel verificar que

mais de 80% dos alunos apontaram como pontos positivos
no uso da ferramenta os seguintes itens: maior motivao;
maior satisfao com as aulas; maior conhecimento prtico
da disciplina; maior proximidade do mercado profissional;
maior rapidez na execuo dos exerccios prticos; e maior
facilidade para gerenciar as informaes. Os pontos
negativos mais citados foram: no software necessrio
seguir o padro dos formulrios e na forma manual a
escrita mais livre; dependncia do uso da ferramenta; e a
necessidade, mesmo que seja pequena, de aprender a
utilizar a ferramenta.
C. Simulador 3D
Encontra-se em desenvolvimento, no Ambiente
Integrado, um simulador 3D que contempla as
funcionalidades das ferramentas Gesto Integrada e
Fermine. O objetivo deste simulador elevar cada vez mais
a qualidade do ensino-aprendizado dos diversos mtodos e
guias utilizados para Gerncia de Projetos atravs das
55
As aulas foram dividas em teoria e prtica;
A prtica exercida aproximou-se da realidade do

mundo profissional;
O aprendizado foi facilitado atravs da vivncia

prtica dos conceitos abordados;
Foi incentivada a tomada de decises, por parte

dos alunos, durante as aulas;
Gerou motivao e satisfao nas aulas;
Proporcionou trabalhos em grupo;
Resultou no aumento do nmero de monografias e

artigos relacionados a gerncia de projetos e
FEES
Relatrio Tcnico. UFPB/CCEN, Joo Pessoa.
[10] Paiva, S. R. (2011) Pesquisa Nacional sobre Ensino de Engenharia
de Software. Relatrio Tcnico. UFPB/CCEN, Joo Pessoa.
[11] Hoover, S. V., Perry, R. F. (1989) Simulation: a problem-solving
approach. Massachusetts: Addison-Wesley, EUA.
[12] El-shamy, S. (2001) Training Games: Everything You need to
Know About Using Games to Reinforce Learning. Stylus
Publishing, Virginia.
[13] Law, A. M., Kelton, W. D. (2000) Simulation Modeling and
Analysis. 3 ed.: McGraw-Hill.
[14] Alexander, M.; Beatty, J. (2008) Effective Design and Use of
Requirements Engineering Training Games. Requirements
Engineering Education and Training, REET08, Barcelona.
[15] Borges, C. J. (2005) O Ldico nas Interfaces das Relaes
Educativas. Revista de Pedagogia, n. 12 vol. 6.
[16] Campos, A.M.C., Signoretti, A., Lima, P., Luis, E., Fontes, M.
(2011) Um jogo voltado prtica de gerenciamento de projetos.
XXII Simpsio Brasileiro de Informtica na Educao - XVII
Workshop de Informtica na Educao, Aracaju.
[17] Schmitt, M. A. R. (2011) Ferramentas de gerncia de projetos como
recurso de aprendizagem. Tese de Doutorado em Informtica na
Educao. Universidade Federal do Rio Grande do Sul, Porto
Alegre.
[18] Leito, V. L., Andrade, R. M. de C. (2008). Utilizando uma
ferramenta de gerncia de projetos para auxiliar no ensino de
Engenharia de Software. Simpsio Brasileiro de Engenharia de
Software Frum de Educao em Engenharia de Software
(FEES'08).
[19] Vavassori, B. F., Souza, E. W. De, Fiamoncini, J. C. (2001)
Ferramenta case gemetrics: aplicado ao ensino de conceitos de
gerenciamento de projetos e mtrica de software. III Workshop de
Investigadores en Ciencias de la Computacin. Rede de
Universidades con Carreras en Informtica (RedUNCI).
[20] Vavassori, B. F., Souza, E. W. De, Fiamoncini, J. C. (2001)
Ferramenta Case para Gerenciamento de Projetos e Mtricas de
Software. XV Simpsio Brasileiro de Engenharia de Software.
[21] Dantas, A. R., Barros, M. O., Werner, C.M.L. (2004) A SimulationBased Game for Project Management Experiential Learning.
Proceedings of the International Conference on Software
Engineering and Knowledge Engineering, Canada.
[22] Guedes, M. S. (2006) "Um Modelo Integrado Para Construo de
Jogos de Computador Aplicado Capacitao em Gesto de
Projetos". Dissertao de Mestrado de Cincia da Computao,
Universidade Federal de Pernambuco, Recife.
[23] Souza, M.M., Resende, R.F., Prado, L.S., Fonseca, E.F., Carvalho,
F.A., Rodrigues, A.D. (2010) SPARSE: Um Ambiente de Ensino e
Aprendizado de Engenharia de Software Baseado em Jogos e
Simulao. XXI Simpsio Brasileiro de Informtica na Educao,
Joo Pessoa.
[24] Prikladnicki, R., Rosa, R., Kieling , E. (2007) Ensino de Gerncia
de Projetos de Software com o Planageri. Workshop em
Informtica na Educao (SBIE ) - XVIII Simpsio Brasileiro de
Informtica na Educao.
[25] Hood, J. D.; Hood, C. S. (2006) Teaching software project
management using simulations. Proceedings of ACMs Eleventh
Annual Conference on Innovation and Technology in Computer
Science Education (ItiCSE). New York.
[26] Smith, R.; Gotel O. (2008) RE-O-Poly: A Customizable Game to
Introduce and Reinforce Requirements Engineering Good
Practices. Departament of Computer Science, Pace University,
EUA.
[27] Knauss, E., Schneider, K., Stapel, K. (2008) A Game for Taking
Requirements Engineering More Seriously. Leibniz Universitt
Hannover, Germany.
[28] Navarro, E.; Hoek, A. (2009) Multi-Site Evaluation of SimSE.
Proceedings of the 40th ACM Technical Symposium on Computer
Science Education, EUA.
requisitos;
Incentivou aos alunos a participarem de projetos

de pesquisa na rea de Engenharia de Software.
Pode-se relatar, tambm que, uma importante

contribuio do uso do ambiente para o ensino da ES a
facilidade proporcionada ao aluno na utilizao de diversos
processos (Figura 1) no nico ambiente, onde possvel o
reaproveitamento das informaes atravs da integrao
entre as ferramentas.
Como continuidade deste trabalho pretende-se:
Elaborar uma anlise mais detalhada do uso das

ferramentas de Gesto Integrada e Fermine em
sala de aula utilizando as novas funcionalidades
que encontram-se em desenvolvimento;
Apresentar dados que mostrem a melhoria do

desempenho acadmico dos alunos nas
disciplinas, e a relao do desempenho com o
Ambiente Integrado;
Elaborar um estudo do uso destas ferramentas

para capacitao em ambiente organizacional;
Concluir o desenvolvimento dos simulares 3D

para estas ferramentas e analisar os benefcios
obtidos no ensino-aprendizagem em sala de aula e
tambm no ambiente organizacional;
Utilizar as demais ferramentas do ambiente em

sala de aula e analisar os resultados.
REFERNCIAS
[1]
[2]
[3]
[4]
[5]
[6]
[7]
[8]
[9]
Dantas, A., Silva, I. (2005) Uma Introduo Computao Ubqua

e seus Desafios para a Engenharia de Software. Relatrio Tcnico,
PESC/COPPE/UFRJ, Rio de Janeiro.
Drappa, A., Ludewig, J. (2000) Simulation in Software Engineering
Training in Proceedings of the 22nd International Conference on
Software Engineering. ACM.
Pfahl, D., Laitengerger, O., Gunther R., Dorsch, J., Krivobokova, T.
(2004) Evaluating the learning effectiveness of using simulations in
software project management education: results from a twice
replicated experiment. Information and Software Technology.
Baker, A., Navarro, E. e Hoek, A. (2006) An Experimental Card
Game for TeachingSoftware Engineering Processes. Journal of
Systems and Software.
Navarro, E. (2006) SimSE: A Software Engineering Simulation
Environment for Software Process Education. Tese de Doutorado
do Departamento de Informtica da Universidade da Califrnia,
Irvine.
Damian, D., Hadwin, A., Al-Abni, B. (2006) Instructional Design
and Assessment Strategies for Teaching Global Software
Development: A Framework in Proceedings of the International
Conference on Software Engineering. ACM.
Chen, W., Wu, W., Wang, T., Su, C. (2008) Work in Progress A
Game-based Learning System for Software Engineering Education.
IEEE Frontiers in Education Conference.
Werner, C., Rodrigues, C., Santos, R., Costa, H., Santo, R., Castro,
W. (2009) Projeto Tec3ES: Tecnologias e Estratgias para
Educao em Engenharia de Software. XVII Congresso
Iberoamericano de Educao Superior em Computao, Pelotas.
Paiva, S. R. (2011) Uma Reviso Sistemtica das Pesquisas
Realizadas sobre a Melhoria no Ensino de Engenharia de Software.
56
FEES
[29] Thiry, M., Zoucas, A., Gonalves, R. (2010) Promovendo a
Aprendizagem de Engenharia de Requisitos de Software Atravs de
um Jogo Educativo. XXI Simpsio Brasileiro de Informtica na
Educao , Joo Pessoa.
[30] Campos, B., Lima T., Santos, R., Werner, C., Limoeiro, F. (2011)
Experincia de Projeto e Desenvolvimento de Jogo para Ensino de
Engenharia de Requisitos para Sistemas Ubquos. XXII Simpsio
Brasileiro de Informtica na Educao - XVII Workshop de
Informtica na Educao, Aracaju.
[31] Monsalve, E. S. (2010), Construindo um Jogo Educacional com
Modelagem Intencional Apoiado em Princpios de Transparncia,
Dissertao de Mestrado, PUCRio.
[32] Jain, A. e Boehm, B. (2006). SimVBSE: Developing a Game for
Value-Based Software Engineering. Proceedings 19th Conference on
Software Engineering Education and Training.
[33] BRASIL (2014). Ministrio da Educao (MEC) - Secretaria de
Educao Profissional e Tecnolgica (SETEC). Disponvel em
http://portal.mec.gov.br/index.php?
option=com_content&view=article&id=286&Itemid=353
[34] BRASIL (2014). Ministrio das Comunicaes - Programa Governo
Eletrnico - Servio de Atendimento ao Cidado (Gesac).
Disponvel em http://www.comunicacoes.gov.br/gesac
[35] SOFTEX - Associao Para Promoo da Excelncia do Software
Brasileiro (2012) MPS.Br Guia Geral: 2012. Disponvel em
http://www.softex.br/mpsbr/_guias/guias/MPS.BR_Guia_Geral_201
2.pdf.
[36] Redmine (2014). Redmine. Disponvel em http://www.redmine.org/
[37] ABPM Brasil (2013) BPM CBOK V3.0: Guia para o
Gerenciamento de Processos de Negcio - Corpo Comum de
Conhecimento - 2 edio. 2013.
[38] PMI - Project Management Institute (2013) A Guide to the Project
Management Body of Knowledge PMBOK . 5 Edio. EUA,
2013.
[39] Finocchio Junior, J. (2013) Project Model Canvas. Ed.Campus.
2013.
[40] Sabbagh, R. (2012) Scrum: Gesto gil para Projetos de Sucesso.
Editora Casa do Cdigo, 2012.
[41] Silva, S. V., Vasconcelos, A. P. V. de, Coutinho, J. L. (2012).
Ambiente
IntegradoUma
Abordagem
Automatizada
e
Colaborativa para Gesto de Processos do MPS.Br. Revista Programa Brasileiro da Qualidade e Produtividade em Software -3
Ediao. SEPIN-MCT.
[42] Silva, S. V., Coutinho, L. J., Vasconcelos, A. P. V. de, Barbosa, C.,
Reis, M., Leite, R., Barroso, L. (2011) Gesto Integrada Uma
Ferramenta para Atender aos Processos de Gerncia de Projetos e
Portflio do MPS.Br. IV Workshop de Gerenciamento de Projetos
de Software (WPGS 2011). SBQS 2011, Curitiba.
[43] Silva, S. V. ; Barroso, L. ; Paulino, E. (2013) Uma Ferramenta para
Integrao e Melhoria do Processo de Gerncia de Projetos. VI
Workshop de Gerenciamento de Projetos de Software (WSGP 2013).
SBQS 2013, Salvador.
[44] Almeida, G. T. de, Ramos, B. A., Neto, M. M. F., Reis, M. F.,
Barcelos, M.R. dos S., Vasconcelos, A. P. V. de, (2010) Ferramenta
de Apoio Engenharia de Requisitos Integrada a um Ambiente
Colaborativo de Cdigo Aberto. Congresso Brasileiro de Software:
Teoria e Prtica (CBSoft 2010), Volume 4, Salvador.
[45] Almeida, G., Ramos, B., Neto, M., Carvalho, J., Barcelos, M., Silva,
S., Vasconcelos, A., (2011) Apoio aos Processos de Gerncia de
Requisitos e Verificao e Validao em um Ambiente Integrado.
VII Workshop Anual do MPS (WAMPS), Sesso de Ferramentas,
Campinas.
[46] Carvalho, J., Amaral, M., Barcelos, M. R. dos S., Silva, V., S.,
Vasconcelos, A. P. V. de, (2010) Integrao da Gerncia de
Configurao com a Gerncia de Projetos e de Requisitos em um
Ambiente Colaborativo. VI Workshop Anual do MPS (WAMPS),
Sesso de Ferramentas, Campinas.
[47] Silva, S. V.; Barroso, L. (2013) Ferramenta Gesto Integrada.

Resumo dos projetos da premiao Melhor Projeto do Ano de 2013.
Revista Mundo Project Management. Ed. dez/jan, So Paulo.
[48] Paulino, E. dos S. (2011) Uma Anlise dos Processos do Portal do
Projeto Formao Gesac Em Relao Ao MPS.Br Nvel G. Revista
Perspectivas Online. V. 1, N. 2.
[49] Chaves, S., Mussa, M. (2011) Avaliao do Processo de
Desenvolvimento do Sistema Gesto dos Institutos de Acordo com a
ISO/IEC 15504. Revista Perspectivas Online. V. 1, N. 3.
[50] Valle, M. J. ; Motta, R. ; Barroso, L. ; Silva, S. V. (2013) Anlise da
Metodologia Lean - Kanban em Relao ao Nvel G do MPS.Br.
Workshop Anual do MPS.Br (WAMPS 2013). Campinas, 2013.
57
FEES
dccp: UMA ABORDAGEM PARA DETECO DE

COLAS EM PROVAS DE PROGRAMAO
Francisco Rodrigues Santos , Methanias Colao Jnior , Jos Francisco da Silva Neto
GRUFE
Grupo de Pesquisa no Desenvolvimento de Ferramentas Computacionais Educacionais

Instituto Federal de Educao, Cincias e Tecnologia de Sergipe (IFS)
Lagarto, Sergipe, Brasil
NUPIC Ncleo de Pesquisa e Prtica em Inteligncia Competitiva
Universidade Federal da Sergipe (UFS)
Itabaiana, Sergipe, Brasil
Email: frchico@gmail.com
uso de mtricas parametrizveis, auxilia o professor na correta
orientao e reduz a possibilidade do avano de alunos com
baixo rendimento, para disciplinas que possuam a programao
como pr-requisito [5] [8].
ResumoSoftware clones are source code fragments (similar

or exact) used in another part of the program code. In Software
Engineering, clones are kind of bad smell. In programming
exams, clones may represent shared code by students, attitude
popularly called cheating. Based on these principles, this paper
presents an approach and a tool for automatic detection of
"cheat"in exams of programming, with adjustable parameters
by levels of students. In a case study with teachers from the
Federal Institute of Sergipe and Tiradentes University, the initial
results showed that it is possible an automated analysis of the
resolutions of the students in exams of programming, in order
to identify clones of responses and to increase effectiveness in
correcting the tests.
I.
Partindo destes princpios, o presente artigo apresenta uma

abordagem e uma ferramenta para deteco automtica de
cpias em provas de programao, a partir da anlise do
cdigo. Tal ferramenta possibilitar ao docente definir qual
o nvel de rigorosidade da correo (quais componentes sintticos que sero analisados), assim como as provas a serem
analisadas. O objetivo principal proporcionar o aumento na
efetividade das correes de exerccios e provas aplicadas pelo
professor, buscando as possveis prticas incompatveis com as
diretrizes da instituio ou parmetros de avaliao. Um estudo
de caso foi realizado para avaliar a viabilidade da proposta ao
buscar clones de software em cdigos fontes, programados por
alunos dos cursos de Sistemas de Informao e Licenciatura
em Informtica que utilizaram a linguagem de programao
Java. Os resultados iniciais encontrados mostraram que existe
viabilidade tcnica de avaliao automtica no somente em
cdigos programados em Java, mas tambm em outras linguagens, oferecendo agilidade ao processo de correo de provas,
bem como diversas visualizaes dos clones encontrados.
I NTRODUO
Clones de Software, ou simplesmente clones, so fragmentos de cdigos utilizados em outra parte do programa [1].
[2] definem clone de software como um fragmento de cdigo
que idntico ou similar a outro fragmento de cdigo. Na
Engenharia de Software, um clone considerado um bad smell,
isto , partes de cdigos que possuem alta probabilidade de
problemas [1] [3].
A anlise automtica em busca de clones pode retornar
vrios resultados [4]. Portanto, detectar os bad smells requer
a aplicao de filtros, isto , a configurao de mtricas nos
analisadores. Um exemplo de mtrica, aplicada ao analisador,
a busca de clones que possuam mais de 5 linhas ou que
possuam o mesmo fragmento de cdigo [4].
O restante do artigo organizado da seguinte forma: a

prxima seo discute trabalhos relacionados. Na seo 3, so
descritas a abordagem, o funcionamento e arquitetura geral da
ferramenta. A seo 4 apresenta o estudo de caso. Finalmente,
a seo 5 discute aprimoramentos e oportunidades de pesquisas
futuras.
No contexto educacional, ao observar cdigos clonados

de alunos, comum encontrar bad smells, ou a tentativa de
disfarar o cdigo compartilhado ou copiado. Nestes cdigos,
possvel perceber as variveis renomeadas, comentrios
alterados e uma definio de varivel ou mtodos deslocados
para outro ponto no cdigo [5].
II.
T RABALHOS R ELACIONADOS
Diversos estudos e ferramentas esto sendo produzidos para

reduzirem e/ou identificarem cdigos clonados. [9] construiu
a GPLAG, uma ferramenta de deteco de clones utilizando
a tcnica de reconhecimento de clones baseada em grafos ou
PDG (Program Dependency Graph).
Sabe-se tambm que o aprendizado de programao

lento e gradual [6] e, portanto, requer um cuidado especial,
uma vez que muitos podem adotar meios ilcitos para a
resoluo de provas, por no compreenderem o assunto ou por
estarem desestimulados na disciplina, devido complexidade
da mesma [7].
Um survey sobre clones de softwares foi realizado por

[3]. A anlise comparativa das formas e tcnicas utilizadas
na identificao de clones, apresentando os seus tipos e destacando os que fazem por similaridade, foi elaborada por
[1]. Buscando encontrar erros similares ao que apresentado
Portanto, realizar a deteco de cdigos clonados em

avaliaes/exerccios de estudantes de programao, fazendo
58
FEES
como parmetro de entrada em um grande conjunto de cdigos

fontes, [10] propuseram um software para automatizar a tarefa.
J a Java Code Clone Detection API (JCCD), um framework
para auxiliar na busca de cdigos duplicados, foi elaborada por
[2] contudo, no faz uso do PDG.
A. Concepo da abordagem utilizada

Sabendo que um clone um bad smell e que possvel
utilizar anlise de similaridade de cdigos para acompanhar
os alunos na realizao de atividades prticas de programao
[8], foram aplicados procedimentos abaixo.
J [4] destacam que a aplicao de uma ferramenta automtica de deteco, em um grande pacote de software, pode
retornar vrios resultados. Para direcionar ou filtrar os resultados mais crticos/relevantes, [4] elaboraram uma ferramenta
que combina a busca de clones com as mtricas de engenharia
de software, tais como o tamanho do cdigo clonado e nmero
de clones no programa, com a finalidade de auxiliar as tarefas
de refatorao de cdigo.
Um experimento foi realizado por [5] com a finalidade de
identificar as principais mtricas que uma ferramenta de deteco de plgio em programao dever utilizar quando aplicada
em contexto educacional. Para o levantamento das mtricas,
foram analisados cdigos de estudantes com baixa maturidade
de programao em comparao com cdigos modificados
pelos alunos mais experientes. Em seu estudo, [5] puderam
concluir, por exemplo, que alunos seniors, em contraste com
os juniors, tendem a restringir acesso para as variveis de
instncia. Tal caracterstica explicada pela necessidade de
codificao mais extensa, para a efetiva restrio, o que no
era esperado para os alunos iniciantes, que preferiram plagiar
ao invs de escrever seu prprio cdigo.
A anlise de similaridade de cdigos foi aplicada por
[8] para acompanhar os alunos na realizao de atividades
prticas de programao que deveriam ser implementados
na linguagem C. Em seu artigo, [8] fez uso do Moodle 1
e mostrou que possvel identificar o comportamento dos
alunos atravs dos cdigos semelhantes, detectando, assim, os
possveis plgios atravs de parmetros estticos de anlise.
Alm destes, outras discusses, que tratam de Engenharia
de Software e de clones de cdigos, podem ser acompanhadas
em eventos como a conferncia anual especfica, o IWSC
International Workshop on Software Clones.
Levantamento de tcnicas para identificao de clone

de cdigos, realizado atravs de um estudo dos principais tipos de clones de cdigos e quais so os resultados que estes proporcionam, como os apresentados
por [1] e [3];
Levantamento de mtricas para configurao de clones

de cdigos: caracterizado pelo estudo das mtricas de
software que podem ser utilizadas em uma correo
de provas de programao, como as apresentadas por
[5];
Busca ou construo de ferramentas e/ou APIs que

identificam clones: Pesquisa de ferramentas e/ou bibliotecas de software que mapeiam os clones de
software com vistas integrao com a ferramenta
a ser construda. Nesta abordagem, inicialmente foi
utilizada a API descrita por [5] para realizar buscas por
similaridades entre os cdigos, em Java, dos alunos;
Identificao de tcnicas de visualizao/exibio de

clones e construo de mdulo de exibio de resultados: Com base nos resultados das duas etapas
iniciais, escolheram-se os tipos de clone e mtricas
que mais se adequam realidade de cpia de provas de
programao e como represent-las, isto , nesta etapa,
foi escolhida e implementada a representao tabular,
contendo o percentual de similaridade encontrado em
cada grupo de cdigos clonados, segmentados por
alunos.
Em suma, para avaliao da abordagem de combinao e

contextualizao educacional, este trabalho utilizou os conceitos sobre os tipos de clones apresentados por [3] e [2], fazendo
uso da API descrita por [2] para elaborar a estratgia de
busca por similaridades entre os cdigos dos alunos, utilizando
mtricas customizadas como as apresentadas por [5] para a
busca de clones de cdigos.
Neste contexto, este trabalho apresenta uma abordagem

para a deteco automtica de colas em provas de programao que possibilita a combinao de diversas APIs de anlise
de cdigo (pesquisas anteriores), com mtricas parametrizveis
ao escopo da avaliao e normas da instituio, resolvendo o
problema de estaticidade de outras pesquisas e possibilitando a
apresentao dos resultados em formatos customizados, como
o tabular.
III.
B. Arquitetura
A arquitetura proposta para a ferramenta composta de
quatro camadas bsicas e integradas (Figura 1), definidas
como: (a) mdulo de apresentao, para exibir os resultados
encontrados em diversas visualizaes; (b) mdulo de apurao
de resultados, responsvel por obter, dos grupos de similaridade, as mtricas necessrias para a visualizao escolhida;
(c) mdulo de instanciao de coleta de clones, que, dados os
parmetros de avaliao, realiza a instanciao das bibliotecas
necessrias para a identificao de grupos de similaridade e,
por fim, (d) Banco de dados, que armazena as configuraes
do projeto/avaliao, apoiando toda a aplicao.
A FERRAMENTA dccp
A dccp (ver Figura 2), um acrnimo para Detection Code

Clone Pupils, uma ferramenta multiplataforma elaborada
em Java capaz de analisar as respostas das provas de um
grupo de alunos, com base em configuraes pr-estabelecidas.
A abordagem da ferramenta verifica os cdigos dos alunos,
localizando grupos de similaridade, isto , trechos de cdigos
semelhantes entre os alunos, podendo oferecer agilidade na
correo de provas de programao, principalmente em matrias iniciais.
1) Mdulo de apresentao: Composto, inicialmente, de

um nico visualizador, a camada de apresentao tem por
finalidade instanciar o visualizador selecionado e exibir os
resultados para o usurio, neste caso, um professor. Sendo
1 https://moodle.org
2 https://dccp-frchico.rhcloud.com/
59
FEES
Figura 3. Em (a), tela de configurao de parmetros de avaliao de um

projeto e, em (b), tela de configurao de APIs de avaliao
Figura 1.
que seja possvel calcular o total de prova clonada, dado o

problema acima, necessrio remover as partes repetidas entre
os grupos de similaridade.
Arquitetura da dccp.
3) Mdulo de instanciao de coleta de clones: O mdulo de instanciao de localizadores de clones foi elaborado
para permitir a personalizao de APIs que analisam cdigos
buscando semelhanas. Foi criada uma interface que consulta
o banco de dados contendo os metadados de cada um dos
analisadores e suas caractersticas (vide Figura 3-a).
Assim, para que a dccp analise o cdigo de uma determinada turma, por exemplo, sem observar o tipo ou o nome da
varivel, faz-se necessrio um cadastro prvio do analisador no
banco de dados e sua habilitao na tela de configurao do
projeto, conforme pode ser observado na figura 3-b, atravs
do campo Category. J na figura 3-b, exibido como a
dccp armazena o local contendo as respostas dos alunos, para
uma determinada configurao. Assim, possvel aplicar os
mesmos parmetros de identificao para conjuntos de alunos
diferentes, oriundos de turmas diferentes.
Figura 2. (a) Exibio de resultados da anlise com (b) detalhes, em vermelho,

dos cdigos idnticos.
projetado para ser extensvel, este mdulo recebe um conjunto de resultados (mtricas e seus valores) e exibe-o ao
usurio. Na etapa atual do projeto, os resultados so expostos
em formato tabular e segmentados por arquivo/questo a ser
verificada a incidncia de cola (vide Figura 2). Alm disto, a
implementao atual exibe, ao ser clicado nos alunos 1 e 7, por
exemplo, o trecho do cdigo semelhante, dada as configuraes
de verificao.
4) API de identificao de clones de cdigo: Conforme

apresentado na seo II, diversos autores buscam entender e
encontrar semelhanas em cdigos. A dccp optou por flexibilizar o analisador de clones de cdigos com configurao em
banco de dados e instanciao dinmica (vide seo III-B2).
Neste contexto, foi utilizada, como primeira API de deteco
de clones, a Java Clone Code Detector (JCCD) por possuir
documentao, ser de cdigo aberto e possibilitar combinao
da parametrizao para as anlises. Assim, a dccp, ao utilizar
os parmetros da JCCD, oferece ao professor a escolha dos
elementos que sero analisados como, por exemplo, a exatido
dos nomes de mtodos e variveis nos cdigos Java. Alm
disto, caso a JCCD no oferea todos os recursos necessrios, o professor poder realizar a extenso do analisador,
adicionando-o dccp.
2) Mdulo de apurao de resultados: Para a apurao

dos resultados, foi definida uma camada que proporcionasse a
independncia, tanto de visualizadores, quanto de buscadores
de cdigos semelhantes (clones). Tal estratgia visa permitir,
no futuro, que as mtricas sejam adicionadas dinamicamente,
como plug-ins, sem a necessidade da compilao do cdigo.
A implementao atual recebe, para a obteno da mtrica,
grupos contendo a linha, coluna (ponto de incio e fim) e
o caminho dos arquivos clonados, ou seja, os grupos de
similaridades.
IV.
J a mtrica implementada, baseia-se na quantidade de

caracteres que aquele clone representa para um determinado
arquivo. Ento, se uma prova de um aluno contenha, no total,
1000 caracteres, com 300 caracteres fazendo parte de um ou
mais clones, ento, a prova foi 30% copiada, encontrando-se
o percentual que esse clone representa na prova do aluno.
E STUDO DE CASO
A. Objetivo
O objetivo do estudo foi avaliar a viabilidade do uso
da nossa abordagem na identificao automtica de clones
de software em cdigos fontes, programados por alunos de
primeiro perodo de cursos de Sistemas de Informao, que
utilizaram a linguagem de programao Java.
Entretanto, uma prova pode possuir mais de um grupo de

similaridade, logo, no se pode apenas somar os clones, pois
clones diferentes podem referenciar a mesma parte da prova.
Isso ocorre porque clones que difiram parcialmente podem ser
alocados em diferentes grupos de similaridades. Assim, para
B. Seleo de participantes e objetos

Foram realizadas parcerias com professores do curso de
Licenciatura em Informtica da Universidade Tiradentes 60
FEES
geralmente, no considerada como cola a cpia de parte

do cdigo, realizado pelo mesmo autor, na mesma questo.
Por fim, nota-se que a ferramenta auxiliar os professores em
turmas iniciais de programao, porm, so necessrios outros
testes e experimentos, com visualizaes e agrupamento de
anlises diferenciadas, para mensurar o grau de eficincia que
a dccp oferece, principalmente em perodos mais avanados
do curso de Sistemas de Informao.
Sergipe (UNIT) e de Sistemas de Informao do Instituto

Federal de Sergipe (IFS). Os professores selecionados deveriam ter lecionado a disciplina de "Introduo Programao
com Java". Os professores da UNIT forneceram dois grupos
de 2 alunos, com 2 questes em cada grupo e dois casos
confirmados de cola. J os professores do IFS, compartilharam
um conjunto de sete alunos, contendo trs questes para cada
aluno.
V.
C. Instrumentao
C ONCLUSO E TRABALHOS FUTUROS
Para a coleta dos dados, os arquivos dos alunos passaram

por uma normalizao em seus nomes e os dados pessoais
foram substitudos pelo texto Aluno X, sendo X um sequencial dado para cada aluno. Na sequncia, os arquivos foram
organizados em diretrios contendo a estrutura [Universidade
/ Aluno X / QuestaoY.java] , onde o Y representa o nmero
da questo respondida.
A abordagem modelada para a dccp mostrou que possvel oferecer uma ferramenta que proporcione o aumento na
eficincia das correes de exerccios e provas aplicadas pelo
professor, principalmente em perodos iniciais nos cursos de
informtica. Alm disto, existem diversos estudos voltados
para a identificao de cpias de cdigos, o que viabiliza a
configurao de analisadores e mtricas mais especficas a um
determinado semestre ou linguagem de programao.
D. Operao
Em trabalhos futuros, sero aplicadas novas mtricas, visualizadores de resultados e a aplicao de questionrios aos
professores, permitindo ao projeto a execuo de um experimento controlado para avaliar a efetividade da ferramenta.
1) Preparao: Para a execuo do estudo de caso, foi

necessria a configurao da ferramenta (Figura 3) para no
permitir clones dos tipos I e II. Os dois primeiros grupos
de respostas, oriundos da UNIT, sofreram uma anlise manual, para posterior comparao com os dados gerados pela
ferramenta. O grupo 1 foi considerado como clones do tipo
I (clones exatos/idnticos) e no grupo 2, foram encontrados
clone tipo II - cdigos idnticos em estrutura e sintaxe,
exceto por variaes nos identificadores, literais, tipos, layout
e comentrios [2].
Por fim, espera-se que os resultados obtidos neste projeto

tenham impacto direto no fortalecimento da linha de pesquisa
de Educao em Engenharia de Software no estado de Sergipe.
AGRADECIMENTOS
Ao Instituto Federal de Sergipe, pelo apoio financeiro
atravs do Programa de Bolsas de Iniciao Cientifica em
Desenvolvimento Tecnolgico e Inovao (PIBITI).
Numa abordagem inversa, o conjunto de respostas dos

alunos do IFS no passou por uma anlise prvia dos tipos de
clones contidos entre eles, nem a identificao do percentual
de cpia, isto para que a averiguao da eficcia pudesse ser
feita em um segundo momento (trabalhos futuros).
R EFERNCIAS
[1]
[2]
2) Execuo: Os professores foram consultados para confirmar se os cdigos encontrados eram considerados cola.
No total, a ferramenta alcanou uma acurcia de 75% (4
casos de cola detectados e 3 confirmados). Com os resultados
encontrados, foi aplicada uma anlise por amostragem para
averiguar os resultados obtidos pela ferramenta.
[3]
[4]
3) Validao dos dados: Aps a anlise dos dados fornecidos pela ferramenta, foi encontrado que o Aluno 6 havia
produzido cdigo duplicado na prpria questo, devendo este
ser excludo dos resultados. Sem esse falso positivo, a ferramenta teria atingido uma acurcia de 100%. Para os alunos de
nmeros 1 e 7, foi verificada a maior quantidade de cdigos
semelhantes entre si. Neste caso, os professores entrevistados
consideraram o contedo como a tentativa mais ntida de
fraude, por possurem em seu cdigo a mesma implementao,
com exceo apenas do tipo da varivel utilizada.
[5]
[6]
[7]
[8]
4) Resultados e Interpretao: A dccp poder auxiliar as

correes das provas ao apresentar, em termos percentuais, a
quantidade de linhas que so idnticas aos demais alunos,
organizadas por blocos que contm o mesmo cdigo, isto
, detectados como cola. Observou-se a necessidade de um
parmetro que anulasse, seja da anlise ou visualmente, os
clones identificados no mesmo arquivo. Tal procedimento reduzir os falsos positivos, pois, em provas do primeiro perodo,
[9]
[10]
61
E. Borges, Um estudo sobre abordagens e ferramentas de deteco de

clones de software, 2008.
B. Biegel and S. Diehl, Jccd: A flexible and extensible api for implementing custom code clone detectors, in Proceedings of the IEEE/ACM
international conference on Automated software engineering. ACM,
2010, pp. 167168.
C. Roy and J. Cordy, A survey on software clone detection research,
Queens School of Computing TR, vol. 541, p. 115, 2007.
E. Choi, N. Yoshida, T. Ishio, K. Inoue, and T. Sano, Extracting
code clones for refactoring using combinations of clone metrics, in
Proceedings of the 5th International Workshop on Software Clones.
ACM, 2011, pp. 713.
M. Ahmadzadeh, E. Mahmoudabadi, and F. Khodadadi, Pattern of
plagiarism in novice students generated programs: An experimental
approach, Journal of Information Technology Education, vol. 10, 2011.
E. W. Dijkstra, On the cruelty of really teaching computing science,
Communications of the ACM, vol. 32, no. 12, pp. 13981404, 1989.
E. S. de Almeida, E. d. B. Costa, K. d. S. Silva, R. d. B. Paes,
A. A. M. Almeida, and J. D. H. Braga, Ambap: Um ambiente de
apoio ao aprendizado de programao, in Anais do XXII Congresso da
Sociedade Brasileira de Computao, vol. 4, 2002, pp. 7988.
D. L. Maciel, J. M. Soares, A. B. Frana, and D. G. Gomes, Anlise de
similaridade de cdigos-fonte como estratgia para o acompanhamento
de atividades de laboratrio de programao, 2012.
C. Liu, C. Chen, J. Han, and P. Yu, Gplag: detection of software
plagiarism by program dependence graph analysis, in Proceedings
of the 12th ACM SIGKDD international conference on Knowledge
discovery and data mining. ACM, 2006, pp. 872881.
N. Yoshida, T. Hattori, and K. Inoue, Finding similar defects using
synonymous identifier retrieval, in Proceedings of the 4th International
Workshop on Software Clones. ACM, 2010, pp. 4956.
FEES
O uso do dojo na prtica pedaggica do ensino de

lgica de programao
Prof. Josephine Esan(154344)
Mapple Bear
Aracaju/SE Brasil
Prof. Fabio Gomes Rocha(59633)

Computao GPITIC - UNIT
Aracaju/SE - Brasil
fabio_gomes@unit.br
josephine_esan@hotmail.com
Profa. Rosimeri Ferraz Sabino(154343)

CCSA UFS
Doutoranda em Educao - UFS
Aracaju/SE - Brasil
rf.sabino@gmail.com
pela Resoluo n 4, de 6 de junho de 2012 [7] contemplando
220 cursos, distribudos em 13 eixos tecnolgicos, e
[constituindo]-se em referncia e fonte de orientao para a
oferta dos cursos tcnicos no pas [6]. Alocado no primeiro
catlogo na rea profissional 11, o curso Tcnico em
Informtica passou a constar no Eixo Tecnolgico Informao
e Comunicao da ltima resoluo, a qual acompanhada da
Tabela de Convergncia sobre as denominaes a serem
utilizadas nacionalmente para os cursos tcnicos brasileiros e
as denominaes anteriormente empregadas no pas [8]. De
acordo com esses documentos, o objetivo da formao tcnica
em informtica expresso na caracterizao do profissional
que
Abstract The objective of this article is to analyze the

contribution of the use of software for the teaching of logic, using
Dojo as a pedagogical practice. As an empirical research, the
research is a case study in the discipline of Programming Logic of
the Computer Technician Course of the National Industrial
Training Service of the State of Sergipe. Based on the verification
about the difficulties of students learning, a test using Dojo as a
methodology for teaching was developed. The analyzes were
performed with a qualitative approach, using and associating the
data obtained from the pedagogical activity, framework and
references adopted in the case study. The final results showed a
reduction in the number of absences, higher rate students
satisfaction, higher grades in the discipline, stating the possibility
of adopting the experiment done to success in learning.
Desenvolve programas de computador, seguindo as

especificaes e paradigmas da lgica de programao e
das linguagens de programao. Utiliza ambientes de
desenvolvimento de sistemas, sistemas operacionais e
banco de dados. Realiza testes de programas de
computador, mantendo registros que possibilitem anlises e
refinamento dos resultados. Executa manuteno de
programas de computadores implantados. [6].
Keywords Dojo, Professional Education, Programming

Logic, Pedagogical Practices
I. INTRODUO
A evoluo tecnolgica ocorrida entre as dcadas de 1980
e 1990, com o surgimento do micro computador e da Internet,
deu origem a novas ocupaes e impulsionou a de
programador de computador. A alta aplicabilidade dos
softwares, desde a gesto de usinas nucleares
disponibilizao de jogos eletrnicos para celulares [20],
proporcionou a expanso da demanda de mo-de-obra
qualificada para esse trabalho. A formao desses
trabalhadores, iniciada j em 1969, pelos cursos superiores e
tcnicos em computao [9], veio a receber diretrizes
especficas ao nvel tcnico com princpios, critrios,
definio de competncias profissionais gerais [4] a partir da
Resoluo no 4, de 08 de dezembro de 1999, do Conselho
Nacional de Educao. Esse documento recebeu diversas
atualizaes nas legislaes para a educao profissional,
culminando na publicao do primeiro Catlogo Nacional de
Cursos Tcnicos, institudo e implantado pela Resoluo no 3,
de 9 de julho de 2008 [5]
Observa-se, portanto, que a expectativa sobre os

conhecimentos a serem desenvolvidos para os tcnicos em
informtica est envolta de questes que se relacionam ao
pensamento sistematizado, abstrao de dados e foco na
soluo de problemas como um sistema. As sugestes de
temas a serem abordados na formao [6] contemplam
estudos sobre raciocnio lgico, o qual precede a habilidade
sobre um pensamento sistmico para a compreenso da
integrao de partes que se organizaro em um todo [23].
Evidencia-se, assim, a relevncia da disciplina de Lgica de
Programao para a educao profissional em questo.
O foco dessa disciplina estudar as leis e os critrios de
validade que regem o pensamento e a demonstrao [14].
Sendo uma aprendizagem essencial para a programao de
computadores e, portanto, para as carreiras relacionadas
Informtica [17], a disciplina de Lgica de Programao
ministrada na primeira fase do curso, onde os discentes devem
Uma segunda verso daquele documento norteador ocorreu
62
FEES
aprender a desenvolver o raciocnio lgico para a resoluo de

problemas.
Iniciou-se o ensino da disciplina com 8 horas de

abordagem terica sobre Lgica Aplicada Programao,
contextualizando-a diante da formao do Tcnico em
Informtica e identificando a relevncia para o
desenvolvimento das atividades pertinentes a esse profissional.
Em prosseguimento ao plano de ensino, explorou-se a relao
da lgica com situaes vivenciadas no cotidiano dos
estudantes, buscando-se os conhecimentos implcitos atravs
de exemplos como o simples fato da tomada de deciso no
momento em que um indivduo atravessa uma rua. Essa ao
demanda a avaliao sobre um semforo estar sinalizando o
impedimento ou liberao para o pedestre.
Devido a sua natureza, relacionada a operaes mentais

que envolvem percepo e anlises apuradas para a elaborao
do conhecimento para solues, a disciplina uma das
principais razes para evaso e reprovao nas primeiras fases
dos cursos de Tcnico em Informtica [22].
Tal contexto releva a importncia do desenvolvimento de
prticas pedaggicas que viabilizem melhores resultados na
aprendizagem dessa disciplina. Assim, o objetivo desta
pesquisa foi analisar a contribuio do uso de softwares para o
ensino de lgica, adotando-se o Dojo como prtica
pedaggica. Trata-se de uma tcnica de treinamento para
programadores, baseada em testes, idealizada por David
Thomas, que iniciou essa prtica em 2003, em Paris, chegando
no Brasil em 2007, com Ivan Sanchez, a partir da criao do
grupo Dojo Floripa. O Dojo constitui-se em Um espao onde
programadores se renem para treinar e aprender. As reunies
so peridicas e centradas num desafio de programao [10].
A hiptese a ser verificada na investigao foi de que a
aplicao dessa prtica poderia viabilizar melhor assimilao
por parte dos alunos, reduzir o ndice de reprovao e de
evaso, bem como ampliar a interao entre os alunos e
professor, e a viso abstrata para soluo de problemas.
A partir dessas aulas introdutrias passou-se a adotar a

ferramenta Scratch como incentivo atuao das turmas em
grupos de quatro estudantes para a soluo de problemas. O
Scratch um software, criado pelo Massachusettes Institute of
Technology (MIT) para o ensino de lgica. Ele permite que o
aluno interaja de forma simples, e crie animaes virtuais com
base na aplicao de lgica.
Aps trs aulas, totalizando 12 horas, prosseguiu-se com a
apresentao do conceito, dos objetivos e das regras para o uso
do Dojo na busca de solues de problemas. Todos os alunos
foram envolvidos na soluo de um nico problema no
software VisualG. Nessa dinmica, foi proposto um desafio. O
objetivo da atividade no se relaciona concluso do desafio,
mas ao aprender com as experincias vivenciadas pelo grupo.
Aps a definio de um problema, uma dupla iniciou o
trabalho de codificao de um computador, sendo a atividade
exposta ao grande grupo para que todos pudessem
acompanhar. Um dos estudantes do grupo assumiu o papel de
piloto, desenvolvendo a codificao, enquanto um segundo
membro do grupo atuou como co-piloto, observando e
auxiliando o piloto.
II. METODOLOGIA
Como investigao emprica, a pesquisa constitui um
estudo de caso, uma vez que se voltou observao de um
grupo especfico de alunos [24], tornando-se exploratria,
sobre a verificao das dificuldades de aprendizagem dos
estudantes, e descritiva, quanto experimentao do uso do
Dojo como metodologia para o ensino. As anlises sobre os
resultados foram feitas sob abordagem qualitativa, associandose os dados obtidos na atividade pedaggica e os referenciais
adotados no estudo. O pblico investigado constituiu-se de
alunos da disciplina de Lgica de Programao, a qual
constitui 140 horas do total de 1.100 horas do curso Tcnico
de Informtica do Servio Nacional de Aprendizagem
Industrial do Estado de Sergipe, no perodo de maro a abril
de 2014.
Cada grupo recebeu o tempo de cinco a sete minutos para

desenvolver a atividade. Na concluso desse tempo, o piloto
devia juntar-se ao grande grupo, passando o co-piloto ao lugar
do primeiro. Isso se estendeu a todos do grupo, at a soluo do
problema proposto. Ao finalizar, iniciou-se o ciclo de prtica
de codificao, visando a melhoria do cdigo desenvolvido
inicialmente. A inteno pedaggica despertar no estudante o
entendimento de que uma soluo inicial pode ser otimizada
por outras contribuies, no se tornando a nica possvel. As
aulas seguintes foram intercaladas com contedos tericos,
exerccios individuais e novas proposies de solues com o
uso do Dojo, induzindo prtica dos contedos trabalhados nas
aulas tericas. Assim, a cada 4 horas de matria terica e
exerccios, ocorreram 4 horas de uso do Dojo.
Esse curso, denominado Ensino Articulado, desenvolvido

pelo Servio Social da Indstria (SESI) e Servio Nacional de
Aprendizagem Industrial (SENAI), onde os alunos freqentam
o ensino mdio no SESI concomitantemente ao ensino tcnico
na segunda instituio. As turmas tm ingresso anual e o
curso, no formato atual, est em seu segundo ano. As turmas
investigadas, com idade mdia dos alunos entre 14 e 16 anos,
esto distribudas entre os turnos da manh e tarde, com
estudantes de ambos os sexos, conforme exposto na Tabela 1,
a seguir:
III. A ABORDAGEM CONCEITUAL SOBRE A PRTICA
Tabela 1 Distribuio das turmas e sexo dos alunos

Turno
Homens
Mulheres
Total
Manh
20
05
25
Tarde
19
10
29
Total
39
15
54
PEDAGGICA UTILIZADA
A utilizao do software Scratch para a experincia

pedaggica tomou como base a teoria construcionista, a qual
[...] atribui especial importncia ao papel das construes no
mundo como apoio para o que ocorreu na cabea, tornando-se,
deste modo menos uma doutrina puramente mentalista [15].
Essa ferramenta tecnolgica tem uma interface simples, que
permite ao aluno interagir com personagens virtuais,
possibilitando, ainda, a criao de estrias interativas, jogos e
animaes. O seu foco auxiliar os jovens a pensar de forma
Fonte: Elaborado pelos autores.
63
FEES
criativa, sistemtica e colaborativa [21]. O pblico alvo do

software so jovens entre 8 e 16 anos, estando, assim, a sua
aplicao ao curso investigado esta dentro do escopo de idade
previsto.
tratada nesta pesquisa, com a utilizao do Dojo como

instrumento pedaggico demonstrou-se positiva, com
resultados surpreendentes. Entre eles, consta o ndice zero de
evaso e 6% de faltas. Em turmas anteriores, as quais tiveram
o mesmo professor e prticas pedaggicas sem o uso do Dojo,
as faltas s aulas atingiram 23%. Ao final da dinmica na
experincia aqui relatada, os alunos alegaram estar motivados,
e por isso, evitavam faltar s aulas. Embora a experincia
tenha sido realizada em apenas duas turmas, e os seus
resultados ainda sejam iniciais, possvel observar que o
conjunto interao e aplicao criativa viabiliza uma melhor
assimilao por parte dos alunos. Nas avaliaes aplicadas em
perodo anterior ao uso do Dojo constaram mdias entre a nota
seis e sete, sendo seis a mnima para aprovao. Aps a
experincia, as notas elevaram-se para a mdia entre sete
vrgula cinco e oito, ressaltando-se a opinio dos alunos sobre
a satisfao obtida na atividade proposta. Considerando que a
disciplina subsequente a de Programao Desktop, os alunos
se apresentam melhor preparados nos processos lgicos
necessrios tambm aos demais conhecimentos a serem
trabalhados no curso. Assim, mesmo considerando-se como
primeiros resultados, demandando a experincia em maior
perodo de observao, e em outras turmas, constatou-se a
viabilidade de adoo do Dojo como prtica pedaggica para o
desenvolvimento do pensamento lgico, abstrato e sistmico.
Conclui-se, assim, que o papel das atividades e ferramentas
utilizadas o de auxiliar o professor no processo de ensino e
da aprendizagem, tornando-o mais interativo e colaborativo.
Ponderando-se que a pesquisa no pretende esgotar as
possibilidades de sucesso com outras prticas, novos estudos
podem ser desenvolvidos para a busca de variadas ferramentas
a serem aplicadas ao ensino da lgica, como jogos e uso de
robtica lego.
As atividades pedaggicas propostas foram estabelecidas com

base nos estgios de Piaget [16], considerando o estgio
operacional formal, ocorrido a partir dos 11 ou 12 anos at a
vida adulta do indivduo. Aplicando-se os pressupostos desse
estgio de desenvolvimento humano, na medida em que o
aluno decompe o problema em etapas, partindo dos
problemas gerais, em uma viso concreta, aos complexos,
desenvolvendo uma viso mais abstrata, se estabelece o
pensamento dedutivo- indutivo necessrio lgica.
Constando os alunos como participantes ativos do processo de
soluo de problemas, tambm se posiciona eles diante do
concreto, das suas experincias mais prximas, em um
processo de interao pessoa-meio conforme descrito por [3]
sobre a realidade percebida. O professor e os colegas ficam, na
dinmica proposta, tambm envolvidos nessa interao com
vistas ao conhecimento, j que esse movimento [...] implica
uma relao sujeito-sujeito-objeto [12].
Sendo a sala de aula o local em que ocorreu a atividade, esse
espao [...] pode assumir para si a perspectiva de interao
com o conhecimento e com os atores do ato educativo,
Assume tambm a funo de ser o principal lugar em que se
desenvolva a inteligncia coletiva [13].
O ato de codificar um software resulta na criao de um objeto
com significncia ao aluno, j que v a concretizao da
aplicao de seus conhecimentos. Para tal criao o aluno
estimulado a perceber o problema de forma individual, mas
sendo levado a considerar a participao colaborativa dos
demais na elaborao da soluo lgica. Desta forma, os
alunos passam a ter uma participao ativa e interativa, que
[...] tem muito mais vantagens que a recepo passiva. A
participao ativa e efetiva promovida atravs da observao
de alguns princpios mais especficos. Prontido e
aprendizagem [3]
REFERNCIAS BIBLIOGRFICAS
[1] APOIE. CodingDojo. Disponvel em <http://apoie.org/Dojo.html>. Acesso
em: 15 mai. 2014.
[2] ASSIS, Joo Francisco. Evaso escolar no ensino profissionalizante: Um
estudo de caso do Colgio Carneiro Martins. Unicentro: Revista Eletrnica de
ps-graduao
Lato
Sensu,
2008.
Disponvel
em
<http://web03.unicentro.br/especializacao/revista/edicao4/lingua/LL_EvasaoE.
pdf>. Acesso em: 15 mai. 2014.
[3] BIGGE, Morris L. Teorias da aprendizagem para professores. So Paulo:
Pedaggica e Universitria, 1977.
[4] BRASIL. Resoluo Conselho Nacional de Educao no 4, de 8 de
dezembro de 1999. Dirio Oficial [da] Unio, Poder Executivo, Braslia, DF,
22 dez. 1999. Seo 1, p. 229.
[5] BRASIL. Resoluo Conselho Nacional de Educao no 3, de 9 de julho
de 2008. Dirio Oficial [da] Unio, Poder Executivo, Braslia, DF, 10 jul. 2008.
Seo 1, p. 9.
[6] BRASIL. Programa Nacional de Acesso ao Ensino Tcnico e Emprego.
Institucional.
Disponvel
em:
<http://pronatec.mec.gov.br/cnct/apresentacao.php>. Acesso em: 10 dez.
2012(a).
[7] BRASIL. Resoluo Conselho Nacional de Educao no 4, de 6 de junho
de 2012. Dirio Oficial [da] Unio, Poder Executivo, Braslia, DF, 8 jun.
2012(b), Seo 1, p. 13.
[8] BRASIL. Programa Nacional de Acesso ao Ensino Tcnico e Emprego.
Tabela
de
Convergncia.
Disponvel
em:
<http://pronatec.mec.gov.br/cnct/pdf/tabela_convergencia.pdf>. Acesso em: 10
dez. 2012(c).
[9] CABRAL, Maria Izabel Cavalcanti; NUNES, Daltro Jos.; BIGONHA,
Roberto da Silva; COSTA, Therezinha S.; WAGNER, Flvio R.; OLIVEIRA,
Jos Palazzo M. de. A trajetria dos cursos de graduao da rea de
computao e informtica (1969-2006). Rio de Janeiro: SBC, 2008.
Na prtica investigada, a participao do professor

especialmente relevante nos momentos da passagem da
abordagem terica para a explicao detalhada sobre a forma
da busca de soluo ao problema proposto. Alm disso,
fundamental que o professor esclarea sobre a possibilidade da
soluo proposta ser revista pelos alunos, constituindo um
ciclo contnuo de melhoria da soluo inicial. O processo de
ensino e da aprendizagem torna-se, assim, contnuo na prpria
reconstruo da experincia [11].
No entanto, a distribuio desses momentos de prtica ao
longo da disciplina investigada no deve levar os alunos
exausto, devendo ser evitada a realizao diria, pois [...]
todas as evidncias de pesquisa mostram que a prtica
espaada mais eficiente que a prtica compacta [3].
IV. CONSIDERAES FINAIS
A lgica, por ser essencial ao ensino que envolva
programao, exige do aluno a compreenso de conceitos e
aplicaes que perpassaro toda a sua formao e o
acompanharo em sua jornada profissional. Ao professor
dessa disciplina compete criar um ambiente motivador e
atraente, desenvolvendo a cognio dos alunos. A experincia
64
FEES
[10] CODING DOJO. Treinamento para programadores utilizando TDD:
Desenvolvimento
Orientado
a
Testes.
Disponvel:
<
http://apoie.org/Dojo.html#1> Acesso em: 11 nov. 2013.
[11] DEWEY, John. Experincia y Educacin. Buenos Aires: Editorial
Losada, 1958.
[12] GAMEZ, Luciano. Psicologia da educao. Rio de Janeiro: LTC, 2013.
[13] KENSKI. Vani Moreira. Educao e Tecnologias: O novo ativo da
informao. Campinas: Papirus, 2007.
[14] MANZANO, Jos Augusto N. G.; OLIVEIRA, Jair Figueiredo.
Algoritmos: lgica para desenvolvimento de programao. So Paulo: rica,
2009.
[15] PAPERT, Seymour. A mquina das crianas: repensando a escola na era
da informtica. Traduo: Paulo Gileno Cisneiros. Porto Alegre: Artes
mdicas, 1994.
[16] PIAGET, Jean. Seis estudos de psicologia. Traduo Maria Alice
Magalhes DAmorim e Paulo Sergio Lima Silva. 24. ed. Rio de Janeiro:
Forense Universitria, 2010.
[17] PIMENTEL, Edson Pinheiro; FRANA, Vilma Fernandes; NORONHA,
Robson V.; OMAR, Nizam. Avaliao contnua da aprendizagem, das
competncias e habilidades em programao de computadores. In: [18]

WORKSHOP SOBRE EDUCAO EM COMPUTAO, 9., 2003,
Campinas. Anais. Campinas: SBC, 2003. p. 105-116.
[19] PRENSKY, Marc. Aprendizagem baseada em jogos digitais. So Paulo:
Senac, 2012.
[20] SEBESTA, Robert W. Conceitos de linguagem de programao. 9. ed.
Porto Alegre: Bookman, 2011.
[21] SCRATCH. Massachusettes Institute of Technology (MIT). Scratch.
Disponvel em: <scratch.mit.edu>. Acesso em: 15 nov. 2013.
[22] SILVEIRA, Zuleide Simas da. Contradies entre capital e trabalho:
concepes de educao tecnolgica na reforma do ensino mdio e tcnico.
2007. 294 f. Dissertao (Mestrado em Educao) Universidade Federal
Fluminense, Niteri, 2007.
[23] VASCONCELOS, Maria Jos Esteves. Pensamento sistmico: o novo
paradigma da cincia. 10. ed. Campinas: Papirus, 2013.
[24] YIN, Robert.K. Estudo de caso: planejamento e mtodos. 3. ed. Porto
Alegre: Bookman, 2005.
65
FEES
Um Jogo Educacional para o Ensino de
Metodologias Ageis
Giani Petri
Rogerio Paulo Marcon Junior
Universidade Federal de Santa Maria (UFSM)

Caixa Postal 54, Frederico Westphalen - RS
Email: gpetri@inf.ufsm.br
Universidade Federal de Santa Maria (UFSM)

Caixa Postal 54, Frederico Westphalen - RS
Email: rpjunior 1@hotmail.com
academico, proporcionando uma experiencia pratica aos educandos, trabalhando em uma grande equipe integrada, estimulando e vivenciando os conceitos importantes para a formaca o
profissional dos discentes na competencia de Metodologias
Ageis.
ResumoThe teaching-learning process of Agile Methodologies, does not have the same result if the teacher does not provide
a practical experience to the students. In this context, educational
games helps in learning, enhancing the testing of the concepts
in practice. Thus, this paper aims to embed Agile Ball Point
Game, a game used in business training as an educational game
in the academic context, providing a practical experience to the
students, working in a large integrated team, experiencing the
important concepts. The priliminar results of the experiment,
performed in a class with thirty-one students, emphasize the
importance of teamwork, the need for reorganization, communication, rehabilitation and leadership skills.
I.
Um experimento foi realizado aplicando o Agile Ball Point

Game em uma amostra de 31 alunos formando uma grande
equipe. Utilizando o Agile Ball Point Game como um jogo
educativo permitiu aos alunos vivenciar na pratica os conceitos
previamente teorizados em sala de aula. Em uma analise
inicial dos resultados do experimento, obtidos atraves de um
questionario, fatores como a necessidade de replanejamento,
reorganizaca o, comunicaca o, readaptaca o e a capacidade de
lideranca foram os itens identificados como essenciais para
alcancar os objetivos do jogo, estando estes itens fortemente
relacionados a` s habilidades individuais e de grupo envolvidas
na competencia de Metodologias Ageis.
I NTRODUC AO
A efetivaca o do processo de ensino aprendizagem das

disciplinas relacionadas a` Engenharia de Software, em especial
as competencias de Metologias Ageis,

sao fundamentais para
a formacao de profissionais que irao trabalhar na a rea de

desenvolvimento de sistemas. No entanto, o grande numero
de conceitos e teorias envolvidas nestas disciplinas, muitas
vezes, tornam os momentos pedagogicos insatisfatorios para
potencializar o aprendizado dos discentes. Neste contexto, Reif
e Mitri (2005) destacam que o aprendizado dessas disciplinas
nao possui o mesmo efeito se o aluno nao tiver uma vivencia
pratica com o conteudo, por mais simples que seja [1].
II.
T E ORICA
F UNDAMENTAC AO
A. Jogos Educacionais
De modo a contribuir para a efetivaca o do processo de
ensino aprendizagem e potencializar as experiencias praticas
dos discentes, cada vez mais os profissionais de educaca o estao
buscando metodologias alternativas para inserirem no contexto
academico [5]. Um dos recursos educacionais a` disposica o dos
docentes sao os jogos educativos. Este tipo de recurso contribui
na aprendizagem dos alunos, potencializando a experimentaca o
e visualizaca o de conceitos na pratica, alem de criar ambientes
que despertem a criatividade e o interesse dos alunos [2].
Assim, surge a necessidade de explorar os diversos recursos

educacionais existentes atualmente e que estao disponveis aos
professores, para serem inseridos nos momentos pedagogicos,
fazendo com que o paradigma de ensino utilizado construa
um ambiente de aprendizagem divertido e motivador, e que
os conteudos teorizados possam ser inseridos em atividades
ludicas e que estimulem a participaca o dos alunos. Um dos
recursos educacionais a` disposica o dos docentes atualmente
sao os jogos educacionais. Os jogos educacionais vem contribuindo para as aprendizagens em diversas a reas de conhecimento, de modo a produzir um ambiente de integraca o e
interaca o entre alunos e professores.
Um jogo educacional e qualquer atividade de formato

instrucional ou que estimule a aprendizagem, que envolva
competica o e seja organizada por regras e restrico es para
alcancar um determinado objetivo [6]. Dentre os principais
benefcios dos jogos educacionais estao: (a) permitem conectar
de forma divertida o aluno ao conhecimento [5]; (b) auxiliam
o desenvolvimento de pensamentos complexos [7]; (c) e uma
forma de aplicar na pratica os conceitos [8] e; (d) promovem
o desenvolvimento de habilidades cognitivas [5].
Diversos jogos educacionais foram desenvolvidos para potencializar o processo de ensino aprendizado dos conteudos
relacionados a` Engenharia de Software [3]. No entanto, jogos
educacionais nao computadorizados especficos para trabalhar
com os conceitos envolvidos nas Metodologias Ageis

ainda
sao pouco explorados. Desta forma, o objetivo deste trabalho
e inserir o Agile Ball Point Game [4], uma tecnica consolidada
utilizada em treinamentos empresariais e certificaco es em
Metodologias Ageis,
como um jogo educacional no ambiente
Os jogos educativos podem ser classificados de diversas

formas, uma das classificaco es e em jogos digitais (computadorizados) e jogos nao digitais (nao computadorizados). Um
jogo educacional digital objetiva aliar o aprendizado com a
diversao e sao caracterizados por serem jogados atraves de um
dispositivo virtual (computador, tablet, etc.) e por oferecerem
um ambiente interativo [9]. Por outro lado, um jogo nao digital
66
FEES
para elencar as contribuico es do jogo educativo para a aprendizagem de cada membro da equipe.
(nao computadorizado) caracteriza-se por explorar a interaca o

entre um grupo de jogadores nao individualizados, proporcionando um momento ludico e potencializando o convvio, a
comunicaca o e a integraca o sem explorar o uso de recursos
digitais. Por estes motivos, este trabalho objetiva abordar
um jogo educacional nao computadorizado, mas que tambem
atua como objeto dinamico e de integraca o, estimulando a
aprendizagem dos envolvidos.
IV.
Desenvolvido por Boris Gloger em meados dos anos 2006,

o Agile Ball Point Game [4] e uma metodologia destinada
a` tomada de decisoes e estimativas, onde os proprios participantes deverao organizar o grupo que estara participando. O
Agile Ball Point Game foi inicialmente utilizado no evento
Certified Scrum Master Training e e utilizado ate hoje em
varios treinamentos e certificaco es em Metodologias Ageis,

especialmente sobre o Scrum.
B. Metodologias Ageis
Insatisfeitos com o uso de tecnicas tradicionais e pesadas
para o desenvolvimento de softwares, Kent Beck e outros
dezesseis desenvolvedores, assinaram um documento chamado
de Manifesto para o Desenvolvimento Agil

de Software [10].
O documento foi criado a partir das experiencias pessoais do
grupo de desenvolvedores que valorizavam em especial os
seguintes aspectos: (a) os indivduos e interaco es acima de
processos e ferramentas; (b) software operacional acima de
documentaca o completa; (c) colaboraca o dos clientes acima de
negociaca o contratual e; (d) respostas as mudancas acima de
seguir um plano [10]. Estes aspectos abordados no Manifesto
Agil
contriburam para sanar as dificuldades encontradas na
engenharia de software convencional e potencializar o desenvolvimento de softwares em um ambiente dinamico com
muitas mudancas, conflitos e requisitos incertos.
O jogo possui poucas regras e todos os envolvidos sao

organizados em um u nico e grande time. O objetivo do jogo
e passar uma pequena bola por cada integrante do grupo,
o integrante que iniciou a passar a bola deve ser o que
encerra, isto acumula um ponto para equipe. Inicialmente,
o time tera dois minutos para se organizar da maneira que
achar melhor, logo em seguida devera dar uma estimativa de
quantos pontos conseguirao realizar na iteraca o. Para a equipe
conseguir pontuar, a mesma deve passar as bolas por todos
os seus participantes, as quais apenas devem ser passadas
pelo ar e nao devem ser passada entre os companheiros que
estao diretamente ao lado (vizinhos da esquerda e direita). Ao
todo, o jogo tem cinco iteraco es de dois minutos cada uma.
Terminada a iteraca o, os participantes terao mais um minuto
para se reorganizar e apresentar uma estimativa, fazendo as
alteraco es necessarias para a proxima iteraca o, isso se repete
nas cinco iteraco es.
Uma das principais caractersticas das Metodologias Ageis

e que os engenheiros de software e outros envolvidos no
projeto (clientes, usuarios, gerentes) trabalham de forma integrada em uma equipe a gil, que se auto-organiza, controla suas
atividades e acelera a comunicaca o entre todos os membros da
equipe, objetivando resolver conflitos e responder as mudancas
no menor tempo possvel.
III.
O AGILE BALL P OINT G AME
V.
DOS R ESULTADOS
E XPERIMENTO E D ISCUSS AO
P RELIMINARES
Para dar incio ao experimento, os alunos foram instrudos

com as regras do jogo (conforme apresentado na Seca o IV),
organizados em um grande time os alunos tiveram dois minutos
para organizar o processo e prever uma estimativa de quantos
pontos iriam realizar na primeira iteraca o. Durante este tempo
de organizaca o inicial do grupo, ja se observou a capacidade de
lideranca de muitos alunos, como o tempo era restrito alguns
alunos saram divulgando as suas ideias de como organizar o
processo e de imediato a maior parte da equipe recebeu bem
a ideia dos alunos lderes e conseguiram organizar a equipe
para iniciar a iteraca o. No entanto, alguns alunos ainda estavam
dispersos e nao ouviram as ideias dos colegas o que dificultou,
e de alguma forma, comprometeu a equipe durante a iteraca o.
Para a iteraca o inicial a equipe estimou 5 pontos.
M ETODOLOGIA
A metodologia utilizada para o desenvolvimento do trabalho iniciou com uma pesquisa bibliografica com o objetivo
de investigar jogos empresariais utilizados em treinamentos e
certificaco es e que estivessem relacionados a competencia de
metodologias a geis. As caractersticas de trabalhar em uma
grande equipe, envolvendo os conceitos de reorganizaca o do
processo e principalmente a comunicaca o foram os fatores
motivadores para a escolha do Agile Ball Point Game. A
sequencia metodologica constituiu-se no estudo das regras
do jogo e preparaca o do experimento. O experimento com
a aplicaca o do jogo contou com uma amostra de 31 alunos
do Curso Tecnico em Informatica concomitante ao ensino
medio do Colegio Agrcola de Frederico Westphalen, uma das
unidades da Universidade Federal de Santa Maria.
Na primeira iteraca o os alunos dividiram-se em dois grupos, formando duas grandes filas. Assim, cada aluno recebia
a bola de outro colega, repassava para o colega da outra
fila e se dirigia para o final da sua fila, ate a bola chegar
novamente no aluno que iniciou e entao marcar um ponto.
A Figura 1 apresenta a organizaca o do processo durante a
primeira iteraca o.
Antes de executar o experimento, os alunos tiveram uma

explicaca o geral sobre o Processo de Desenvolvimento de Sistemas e uma breve comparaca o entre os modelos de processo
tradicionais e as metodologias a geis. Na sequencia, os alunos
da amostra foram instrudos com as regras do jogo, onde o
experimento foi executado sob coordenaca o (sem intervenca o)
de um professor. Durante o experimento a re/organizaca o e
comunicaca o do grupo foi registrada atraves de filmagens
e fotos (previamente acordado com os alunos). Ao final do
experimento a amostra de alunos respondeu um questionario
com perguntas abertas envolvendo os conceitos trabalhados
Ao longo da primeira iteraca o os alunos tiveram algumas

dificuldades. A principal delas foi a falta de atenca o da equipe,
muitas bolas foram ao chao, fazendo com que o processo
iniciasse novamente, alem disso, como alguns membros da
equipe estavam dispersos durante o tempo de organizaca o
inicial, os mesmos tiveram dificuldades em aderir ao processo
67
FEES
No entanto, alguns alunos ainda dispersos e desconcentrados

impossibilitaram da equipe aumentar a pontuaca o.
Figura 1.
Ao termino da iteraca o 4 a equipe percebeu que tinha

adquirido um ritmo e que estavam com o processo organizado.
Nos dois minutos para reorganizaca o, a equipe fez poucos ajustes, alguns alunos lderes solicitaram uma maior concentraca o
e dedicaca o da equipe. Confiantes, a estimativa subiu para
cinco pontos. Durante a quinta e u ltima iteraca o observouse que a equipe estava motivada a fazer o maior numero de
pontos possveis, eles mesmos perceberam que estavam no
caminho certo e conseguiram definir um ritmo para alcancar
os objetivos. A Figura 2 apresenta a organizaca o da equipe
durante a iteraca o 5 onde conseguiram fazer nove pontos.
Organizaca o da equipe na iteraca o 1.
e contribuir para o e xito da equipe. Na iteraca o 1 a equipe

conseguiu marcar apenas um ponto, nao alcancado o objetivo
por eles estimado.
Tao logo acabou a iteraca o 1, os alunos tiveram mais
dois minutos para discutir, reorganizar o processo, organizar a
equipe e definir uma nova estimativa para a iteraca o 2. Neste
tempo, os alunos lderes se destacaram novamente, agora se
dedicando a esclarecer o processo para quem ainda estava
com duvidas e entao estimaram tres pontos para a proxima
iteraca o. Durante a iteraca o 2 os alunos mantiveram o mesmo
processo de passagem das bolas por cada membro da equipe
(conforme apresentado na Figura 1). No entanto, os alunos
tentaram realizar a passagem das bolas com mais rapidez o que
dificultou, pois varias bolas foram derrubadas o que contribuiu
para a equipe novamente nao alcancar a estimativa. Na iteraca o
2 os alunos fizeram dois pontos, evoluindo mas ainda nao
alcancando o estimado.
Figura 2.
Organizaca o da equipe na iteraca o 5.
Ao final da quinta iteraca o houve uma conversa entre a

equipe e o professor coordenador da dinamica. Na oportunidade os alunos destacaram a importancia do trabalho em
equipe, aliada a concentraca o e comprometimento, bem como
a capacidade de reorganizaca o que foi essencial para a equipe
pegar um ritmo e alcancar os objetivos estimados nas u ltimas
iteraco es.
Apos o termino da iteraca o 2 os alunos ganharam mais

dois minutos para reorganizar o processo. Logo no incio
deste tempo, um dos alunos lderes perguntou ao professor
coordenador da atividade se poderia passar mais de uma bola
ao mesmo tempo. O professor entao comentou que as regras
do jogo nao probem isto. Assim, a equipe teve a ideia de
organizar duas filas em paralelo, uma de frente para outra,
para entao agilizar o processo e passar mais de uma bola ao
mesmo tempo. No entanto, os alunos tiveram dificuldades em
entender como se organizar, os dois minutos de organizaca o
encerraram e a equipe nao estava preparada. A iteraca o 3 iniciou com a mesma estimativa da iteraca o anterior (tres pontos),
a equipe teve serias dificuldades de organizaca o, comunicaca o
e comprometimento de alguns membros da equipe e nao
conseguiram marcar nenhum ponto.
A. Discussao dos Resultados Preliminares

Os resultados preliminares identificados na aplicaca o do
jogo e destacados pelos alunos nas respostas ao questionario
aplicado ao final da atividade podem ser sucintamente representados por quatro palavras-chave: comunicaca o, organizaca o,
ritmo e trabalho em equipe.
Quanto a comunicaca o os alunos observaram e destacaram
a importancia de trocar ideias com o grupo, alem de ter
algumas pessoas que liderassem a atividade, pois como o
tempo era restrito quem tivesse ideias deveria organizar a
equipe. Alem disso, os proprios alunos apontaram que a falta
de comprometimento de alguns alunos acarretou em falhas na
comunicaca o interna e consequentemente prejudicou a equipe.
Da mesma forma, em equipes que utilizam metodologias
a geis para o desenvolvimento de softwares necessitam ter
uma comunicaca o eficiente para resolver conflitos e alinhar
os objetivos da organizaca o.
Sem sucesso na iteraca o 3, a equipe conseguiu identificar

uma organizaca o do processo para as proximas iteraco es.
Assim, apos o termino da iteraca o 3, os dois minutos de
reorganizaca o foram excelentes para a equipe se comunicar
e definir como o as filas deveriam se organizar. Mesmo com o
entendimento de toda a equipe sobre o processo a estimativa
continuou em tres pontos. Ao incio da iteraca o 4 a melhoria
do processo ja foi observada, os alunos estavam em duas filas
em paralelo, cada aluno de frente para outro. Assim, um aluno
iniciava a passagem da bola para o aluno imediatamente a sua
frente na outra fila, ao final o u ltimo da fila repassava a bola
para o aluno que iniciou a passagem para entao marcar um
ponto. Neste processo a equipe tambem trabalhou com mais
de uma bola ao mesmo tempo, o que contribuiu para alcancar
e superar a estimativa. Na iteraca o 4 a equipe conseguiu fazer
cinco pontos, dois a mais que a estimativa para a iteraca o.
O principal resultado do jogo educativo esta centrado

na organizaca o e reorganizaca o do processo. Ao longo da
dinamica os alunos tiveram que reconhecer os erros e procurar uma soluca o rapida para resolve-los. Este quesito esta
bastante relacionado a` adaptaca o a` s mudancas. A capacidade
de identificar o que esta errado, se auto-organizar e encontrar
soluco es imediatas para resolver os conflitos sao as principais
caractersticas das metodologias a geis. Assim, durante cada
iteraca o do jogo os alunos discutiam o que poderia melhorar e
adaptavam o processo, ate chegar a um processo definido, que
68
FEES
inserca o de um jogo utilizado em treinamentos e certificaco es
em Metodologias Ageis
como um jogo educativo em um ambiente academico, potencializando o aprendizado dos conteudos
relacionados a` competencia.
com o passar do tempo (iteraca o) a equipe foi se adaptando

ao processo e melhorando o seu ritmo e consequentemente
alcancando e superando as estimativas.
Outro fator importante destacado pelos alunos refere-se ao
trabalho em grupo. Um fragmento das respostas dos alunos
destaca que: o jogo mostrou que em um grupo todos precisam
colaborar para resolver problemas. Uma pessoa sozinha nao
consegue controlar tudo. Outro fragmento de uma resposta
enfatiza a cooperaca o do grupo na construca o de ideias,
em grupo podemos entender e ajudar a elaborar ideias, que
talvez sozinhos nao iramos conseguir. Desta forma, podemos
observar que o jogo educativo contribui no aprendizado de
diversos aspectos envolvidos na atividade e que estao fortemente relacionados aos principais conceitos envolvidos nas
metodologias a geis, com e nfase especial a` comunicaca o, autoorganizaca o e capacidade de trabalhar em grupo.
VI.
Com base nos resultados preliminares obtidos no experimento conclui-se que a inserca o do Agile Ball Point Game
foi estrategica para potencializar o processo de ensino aprendizagem da amostra de alunos. Os mesmos, ao formarem um
grande time, vivenciaram na pratica a realidade dos conceitos
e habilidades envolvidas nas Metodologias Ageis.

Exercitando
assim, a importancia do trabalho em grupo, dando e nfase
na comunicaca o, lideranca, comprometimento e especialmente
na capacidade de se auto-organizar, adaptar as mudancas e
resolver conflitos. Como trabalho futuro pretende-se avaliar
formalmente a contribuica o do jogo educacional como um instrumento de aprendizagem, utilizando para isso metodologias
de avaliaca o de jogos ja existentes na literatura.
T RABALHOS R ELACIONADOS
R EFER E NCIAS
Na a rea de Engenharia de Software diversos jogos educacionais, apoiados ou nao por computadores, vem sendo
utilizados para contribuir no processo de ensino aprendizagem. Para melhor compreensao dos trabalhos relacionados
encontrados na literatura, que apresentam e abordam jogos
educacionais especfico para o ensino de Metodologias Ageis,

a Tabela I apresenta uma breve comparaca o entre os trabalhos
encontrados. A tabela destaca o nome do jogo seguido de sua
referencia, uma classificaca o do jogo quando ao seu tipo e uma
sntese dos objetivos.
Tabela I.
[1]
[2]
[3]
[4]
DE JOGOS EDUCACIONAIS PARA O ENSINO DE

R EVIS AO
GEIS
M ETODOLOGIAS A
Jogo
Scrum
Game
[11]
Scrumming
[12]
Tipo do Jogo
Jogo de Tabuleiro
Lego for
Scrum
[13]
Playing
Scrum
[14]
Scrumia
[15]
Jogo de LEGO
Jogo Digital
Jogo Digital
Jogo nao digital
[5]
Objetivos
Cumprir determinadas tarefas de uma Sprint
onde o tempo do projeto e gerenciado conforme a posica o do participante no tabuleiro.
Apoiar o ensino de praticas do Scrum atraves
da definica o e simulaca o de Sprints para o
gerenciamento de projetos.
Simular o processo de desenvolvimento com
Scrum, criando objetos com LEGO a partir
de historias de usuario.
Ensinar de forma pratica o Scrum explorando
os papeis, reunioes e a execuca o de mais de
uma Sprint.
Planejar e executar uma Sprint em um projeto
simulado.
[6]
[7]
[8]
[9]
[10]
Em comparaca o aos trabalhos encontrados na literatura o

Agile Ball Point Game destaca-se por ser um jogo nao computadorizado e por criar uma interaca o maior entre os participantes, integrando todos os envolvidos em um grande time, potencializando o trabalho em grupo e colocando em pratica as habilidades individuais e de grupo, tais como: comunicaca o, autoorganizaca o, readaptaca o de processos, adaptaca o a mudancas
e resoluca o de conflitos, conceitos estes que sao de extrema
importancia para o aprendizado de Metodologias Ageis.

VII.
[11]
[12]
[13]
C ONCLUS OES
[14]
A utilizaca o de jogos educacionais, que visam explorar a

pratica de conteudos, construindo um ambiente de aprendizagem ludico e que desperte o interesse dos educandos, e uma
tecnica que deve ser seguida pelos docentes que trabalham
com as disciplinas de Engenharia de Software, incluindo as
Metodologias Ageis.
Desta forma, este trabalho apresentou a
[15]
69
H. L. Reif and M. Mitri, How university professors teach

project management for information systems, Commun. ACM,
vol. 48, no. 8, pp. 134136, aug 2005. [Online]. Available:
http://doi.acm.org/10.1145/1076211.1076249
M. R. Gramigna, Jogos de Empresa, 2nd ed. Pearson Education, 2007,
sao Paulo.
C. G. Wangenheim, D. Kochanski, and R. Savi, Revisao sistematica
sobre avaliaca o de jogos voltados para aprendizagem de engenharia
de software no brasil, FEES - Forum de Educaca o em Engenharia de
Software, evento integrante do XXIII Simposio Brasileiro de Engenharia
de Software (SBES), 2009.
B. Gloger, Ball point game, 2008, disponvel em:
http://kanemar.files.wordpress.com/2008/03/theballpointgame.pdf.
R. Savi, Avaliaca o de jogos voltados para a disseminaca o do conhecimento, Ph.D. dissertation, Universidade Federal de Santa Catarina
(UFSC), 2011, tese (Doutorado) - UFSC, Florianopolis.
J. V. Dempsey et al., Instructional applications of computer games.
Annual Meeting of the American Educational Research Association,
April 1996, new York, NY.
J. Mcdonald, Exam review strategies, 2004, disponvel em:
http://www.wlu.ca/documents/107/Exam Review Strategies Packages.pdf.
Acesso em: 01 jul. 2014.
K. Mantyla, Interactive Distance Learning Exercises that Really Work!
ASTD, 1999.
T. Mitamura, Y. Suzuki, and T. Oohori, Serious games for learning
programming languages, in Systems, Man, and Cybernetics (SMC),
2012 IEEE International Conference on, Oct 2012, pp. 18121817.
R. S. Pressman, Engenharia de Software - Uma Abordagem Profissional, 7th ed. Mc Graw Hill, 2011.
M. Cohn and B. Wake, The scrum game a fun
interactive
tool
for
learning,
2007,
disponvel
em:
http://www.mountaingoatsoftware.com/products/scrum-game.
E. Isotton, Scrumming - ferramenta educacional para ensino de praticas
de scrum, 2008, trabalho de Conclusao de Curso (Graduaca o em
Bacharelado em Sistemas de Informaca o) - Pontifcia Universidade
Catolica do Rio Grande do Sul, Porto Alegre.
A. Krivitsky, Scrum simulation with lego bricks, 2009, disponvel em: http://2013.agileee.org/wp-content/uploads/2011/12/ScrumSimulation-with-LEGO-Bricks-v2.0.pdf.
F. Siller and J. C. Braga, Software educacional para pratica do scrum,
Workshops do II Congresso Brasileiro de Informatica na Educaca o,
2013, campinas, Sao Paulo.
C. G. von Wangenheim, R. Savi, and A. F. Borgatto, Scrumia an educational game for teaching {SCRUM} in computing courses,
Journal of Systems and Software, vol. 86, no. 10, pp. 2675
2687, 2013. [Online]. Available: http://www.sciencedirect.com/science/
article/pii/S0164121213001295
FEES
Formao de Equipes de Alto Desempenho Para

Desenvolvimento de Software
Alessandra Costa Smolenaars Dutra
Rafael Prikladnicki
Faculdade de Informtica (FACIN)

Pontifcia Universidade Catlica do RS (PUCRS)
Porto Alegre, RS, Brasil
alessandra.dutra@pucrs.br
Faculdade de Informtica (FACIN)

Pontifcia Universidade Catlica do RS (PUCRS)
Porto Alegre, RS, Brasil
rafaelp@pucrs.br
parte do compromisso das Instituies de Ensino Superior

(IES) com a sociedade [3]. Especificamente no ensino de
Engenharia de Software (ES), a qualidade dos profissionais
est diretamente relacionada qualidade da educao, embora
tambm existam outros fatores que contribuem para isto [4].
Resumo Este artigo apresenta uma discusso em relao s

atuais abordagens de capacitao para desenvolvimento de
software e a formao de equipes de alto desempenho. Foi
realizado um estudo sobre as abordagens de capacitao e sobre
as caractersticas das equipes de alto desempenho e, a partir
destes estudos, uma reflexo sobre os desafios de capacitar
equipes de alto desempenho para desenvolvimento de software.
A qualidade da capacitao em ES pode contribuir

significativamente melhoria do estado da arte do
desenvolvimento de software e auxiliar a soluo de alguns
problemas tradicionais e crises relacionadas com as prticas da
indstria de software [5]. Hoje, a capacitao e o treinamento
para formar profissionais de software devem incluir no
apenas conhecimentos bsicos na rea de computao, mas
tambm o ensino de conceitos, processos e tcnicas para
definio, desenvolvimento e manuteno de software [6] [7].
Palavras Chaves desenvolvimento de software, equipes de

alto desempenho, abordagens de capacitao, reviso sistemtica
da literatura, caractersticas de alto desempenho.
I.
INTRODUO
O mercado de desenvolvimento de software opera em um

ambiente global, com mudanas rpidas, e precisam responder
com agilidade a estas novas oportunidades e a estes novos
mercados [13]. Conseguir agilidade, competitividade e
resultados sem uma equipe de desenvolvimento de software
capacitada e de alto desempenho uma tarefa difcil e pode
trazer resultados pouco competitivos.
Neste sentido, o processo de ensino e aprendizagem de

Engenharia de Software tem passado por questionamentos
acerca dos mtodos utilizados nas atividades de capacitao
[8]. Estudos recentes observam que estes mtodos envolvem
estratgias tradicionais de ensino, tais como apresentao de
teoria, aulas expositivas e leituras complementares, fazendo
com que os alunos encontrem na indstria um cenrio
diferente do que ensinado na academia [8] [9]. Ao mesmo
tempo, o desenvolvimento de software tem exigido a formao
de equipes de alto desempenho, de grande domnio tcnico,
comportamental e de negcio [10] [11], uma necessidade que
as atuais formaes no conseguem suprir. Uma das razes o
fato de se concentrarem na formao bsica com nfase na
abordagem tradicional do desenvolvimento de software, no
preparando o profissional para atuar como integrante de uma
equipe de desenvolvimento de software, que demanda
competncias multifuncionais e ambientes multidisciplinares.
Desta forma, o objetivo deste artigo desenvolver uma
reflexo de como as atuais abordagens de capacitao em ES
existentes cobrem as diversas caractersticas de uma equipe de
alto desempenho.
Um estudo realizado pelo Standish Group [1], conduzido

em 2010, com uma amostra de 10.000 projetos ao redor do
mundo, chamado de relatrio Chaos Manifesto 2011,
revelou que os projetos de Tecnologia da Informao (TI)
ainda so problemticos: apesar de 37% dos projetos de TI
terem sido bem sucedidos, sendo entregues no tempo
combinado e dentro do oramento estipulado; 42% dos
projetos foram entregues aps o tempo previsto, mais caro do
que o clculo inicial, ou com menos recursos do que o
combinado; e 21% dos projetos foram um fracasso total, sendo
cancelados antes mesmo da entrega ou entregues mas nunca
usados. Conforme Faraj [2], melhorar a produtividade e
qualidade dos projetos importante; enquanto abordagens
iniciais foram focadas na descoberta de melhores
metodologias e ferramentas, h uma crescente percepo de
que os projetos so caracterizados por desafios na
comunicao, na coordenao, na aprendizagem, na
negociao, na diversidade e na formao das equipes de alto
desempenho de projetos.
Este artigo est dividido em 5 sees. Na seo 2

apresentamos o referencial terico. Nas seo 4 relatamos as
abordagens de capacitao existentes. A seo 4 apresenta
uma discusso sobre o tema e a seo 5 conclui o artigo.
Este contexto indica que a formao qualificada e a

capacitao de profissionais so cada vez mais necessrias na
sociedade em que vivemos. Seja em cursos de curta durao,
graduao ou ps-graduao, formar bons profissionais faz
70
FEES
II.
leva a indstria a ter que complementar a sua educao com

treinamentos que lhes forneam o conhecimento necessrio
para suprir esta deficincia, visando tambm a formao de
equipes de alto desempenho.
REFERENCIAL TERICO
A. Capacitao em Engenharia de Software

A Engenharia de Software (ES) envolve a aplicao de
teoria, conhecimento e prtica para o desenvolvimento efetivo
e eficiente de sistemas de software que satisfaam os
requisitos dos usurios [7]. A ES comeou a ser discutida
como disciplina em 1968 [12] e atualmente faz parte do
currculo de vrios cursos de graduao entre eles: Cincia da
Computao, Engenharia da Computao e Sistemas de
Informao. Alm disso, Universidades tais como UNB, UFG,
UFRN e possuem cursos de graduao especficos em
Engenharia de Software.
B. Equipes de alto desempenho

Equipe de alto desempenho um grupo que rene
membros comprometidos com o crescimento e o sucesso
pessoal mtuo. Conforme Chiavenato [17], os principais
atributos das equipes de alto desempenho so: participao,
responsabilidade, clareza, interao, flexibilidade, focalizao,
criatividade e rapidez. Katzenbach e Smith [16], apresentam
algumas caractersticas das equipes de alto desempenho:
profundos compromissos pessoais de cada um para com o
crescimento e o sucesso dos outros o que distingue as
equipes de alta performance da maioria das equipes existentes.
Energizados por esse senso extra de compromisso, as equipes
de alta performance tipicamente refletem vigorosas
ampliaes das caractersticas fundamentais das equipes:
senso mais profundo de propsito, metas mais ambiciosas de
performance, abordagens mais completas, maior plenitude de
responsabilidade
mtua,
intercambiabilidade
e
complementaridade de conhecimentos.
A ES esta relacionada com todos os aspectos da produo

de software, desde os estgios iniciais at a sua manuteno,
envolvendo no apenas os processos tcnicos do
desenvolvimento, como tambm as atividades de
gerenciamento de projeto e a utilizao de ferramentas,
mtodos e teorias que apoiem a sua produo [13]. Portanto, a
ES vai muito alm da criao de cdigos de programas,
procura disciplinar o desenvolvimento e traz para a criao de
software princpios, tcnicas e conhecimento para tratar de
questes de qualidade, prazos e fatores econmicos [12].
Boyett e Boyett [18] citam algumas empresas que

obtiveram grandes resultados com equipes de alto
desempenho, tais como a AT&T Credit Corporation, que usou
equipes interfuncionais de alto desempenho para melhorar a
eficincia e o servio ao cliente. Conforme Raj [19], observase uma grande dificuldade nas organizaes para a
disseminao das prticas das equipes de alto desempenho,
como reorganizao do trabalho, envolvimento dos
professionais nos processos decisrios e melhoria das
habilidades dos trabalhadores, apesar dos indcios de que as
organizaes investem nestas prticas obtendo maior
produtividade e eficincia. Segundo Tonet [20] as pessoas
que integram essas equipes tem clara noo do potencial que
possuem e buscam o desenvolvimento em todas as dimenses
humanas: racional, sensorial, emocional, cultural, espiritual.
Os profissionais que finalizam a graduao em ES,

segundo as recomendaes curriculares, devem ser capazes de,
entre outros aspectos, dominar os conhecimentos e habilidades
que fazem parte da rea de ES; trabalhar individualmente ou
como parte de uma equipe para desenvolver artefatos de
software com qualidade; projetar solues utilizando
abordagens apropriadas de ES que integrem questes ticas,
sociais, legais e econmicas; saber aplicar teorias, modelos e
tcnicas correntes que forneam uma base para identificao
de problemas e analise, projeto de software, desenvolvimento,
implementao, verificao e documentao; demonstrar
entendimento e apreciao para a importncia de negociao,
hbitos de trabalho eficientes, liderana, e boa comunicao
com stakeholders; aprender novos modelos, tcnicas e
tecnologias conforme elas surjam [12].
Hause [27] comenta, em sua pesquisa, que as equipes de

alto desempenho so mais focadas em tarefas especficas.
Outros estudos tambm seguiram pelo mesmo caminho,
identificando caractersticas de produtividade e de
desempenho, mas sem conceituar o que so equipes de alto
desempenho.
O currculo na rea de ES [12][7] aponta a necessidade de

ensino para alm do formato de aula expositiva, e uma das
formas de aumentar a qualidade do ensino aperfeioar os
processos de ensino e aprendizagem, atravs de didticas e
estratgias inovadoras. Conforme Beckman [4], a qualidade da
educao um dos fatores importantes que influncia na
qualidade dos profissionais. Assim, alguns dos desafios para
melhorar a educao em ES so: tornar os cursos de ES mais
atrativos aos estudantes; focar na educao de ES
apropriadamente, entendendo suas dimenses; apresentar as
prticas industriais aos estudantes; prover educao para
profissionais da indstria; tornar a educao em ES baseada
em evidncia; assegurar que educadores em ES tenham uma
bagagem necessria para essa tarefa; aumentar o prestgio e a
qualidade da pesquisa educacional em ES [16].
Nos resultados do estudo de Staples [28], ele descreve que

o desempenho da equipe est associado a caractersticas como:
habilidades interpessoais adequadas, baixa rotatividade dentro
da equipe, tamanho da equipe adequado para que os recursos
possam completar as tarefas, presente um forte esprito de
equipe, e criao de formas inovadoras para coordenar a
equipe, ajudando a realizar as suas tarefas.
Em nossa pesquisa, realizada atravs de uma Reviso
Sistemtica da Literatura (www.inf.pucrs.br/~10085110),
identificamos algumas caractersticas que as equipes de alto
desempenho devem ter no desenvolvimento de software.
Identificamos caractersticas organizacionais, comportamentais
e tcnicas. As mais citadas so apresentadas na tabela 1 e so
Os profissionais de ES, segundo Conn [15] esto

insatisfeitos com a falta de preparo dos estudantes
universitrios que ingressam no mercado de trabalho, o que
71
FEES
necessidade e de uma oportunidade. Necessidade de adotar

abordagens alternativas para a capacitao de equipes de alto
desempenho em ES, e a oportunidade de utiliz-las em
disciplinas de graduao e ps-graduao em Universidades.
principalmente caractersticas comportamentais. Assim,

podemos sugerir que as equipes de alto desempenho (1)
possuem uma comunicao eficaz, (2) apresentam uma
diversidade que estimula a aprendizagem e a inovao, (3)
possuem coeso, motivao, liderana e coordenao, a fim de
alcanar seus objetivos.
Considerando as caractersticas das equipes de alto

desempenho mais citadas, podemos identificar que a maioria
das abordagens de capacitao alternativas tem em seu foco a
melhoria destas caractersticas como trabalho em equipe,
comunicao, liderana, e motivao [9].
Tabela 1 Caractersticas mais citadas nos estudos da RSL
Caractersticas mais citadas

Comunicao Eficiente
Coordenao
Trabalho em equipe
Diversidade da equipe
Liderana
Coeso da equipe
Motivao
Assim, as equipes de alto desempenho precisam ser
capacitadas e desenvolver seus pontos fortes, visando
proporcionar um conjunto de competncias que somente estas
equipes apresentam. A capacitao das equipes , portanto, um
aspecto essencial para a transformao das equipes em equipes
de alto desempenho.
III.
Identificamos ainda, que em um nvel organizacional se

percebe pouca relao das caractersticas das equipes de alto
desempenho com as abordagens de capacitao. Do ponto de
vista comportamental, caractersticas tais como liderana,
comunicao, trabalho em equipe, motivao, coeso,
flexibilidade, so caractersticas que se consegue identificar a
relao com as abordagens de capacitao.
Por ltimo, as caractersticas relacionadas com
competncias tcnicas so mais fceis de serem trabalhadas
com as atuais abordagens de capacitao, visto que
competncias tcnicas so justamente os aspectos mais
trabalhados nas capacitaes atuais.
ABORDAGENS DE CAPACITAO EM ES
Neste sentido, e em uma reflexo inicial, entendemos que

importante fazer o mapeamento das abordagens de capacitao
em relao as caractersticas dos times de alto desempenho em
desenvolvimento de software.
O capacitao em ES deve preparar os estudantes tanto

para a teoria como para participaes efetivas em ambientes
colaborativos e interdisciplinares. Neste sentido, importante
considerar a variao de tcnicas de capacitao.
Analisando alguns tipos de abordagens em relao as

caractersticas dos times de alto desempenho podemos
observar que: (1) Grupo de verbalizao e de observao,
oficina (laboratrio ou workshop) e abordagens alternativas,
tem em seu objetivo o desenvolvimento de habilidades como o
trabalho em equipe e a comunicao; (2) abordagem de
dinmicas de grupo, educao distncia e atividades prticas
[9], possibilitam ao aluno a trabalhar com caractersticas como
o trabalho em equipe, a comunicao, a responsabilidade,
alm da motivao do aluno em relao ao trabalho realizado;
(3) aulas expositivas focam mais no contedo. Embora o
professor leve os alunos a questionarem, interpretarem e
discutirem o objeto de estudo, esta abordagem no trabalha a
equipe, a liderana e a comunicao; (4) Capstone projects e
atividades prticas, dinmicas de grupo e simuladores
educacionais trabalham com comunicao, trabalho em
equipe, liderana e organizao, com atividades em grupo.
Neste sentido, e considerando esta reflexo inicial, temos
indcios de que: (1) importante compreender o que so
equipes de alto desempenho em desenvolvimento de software e
suas caractersticas; (2) necessrio definir as abordagens de
capacitao a partir do que queremos ensinar, e no apenas a
partir das abordagens que conhecemos para ensinar.
Em termos de oportunidades, identificamos: (1) a execuo
de um mapeamento entre as abordagens de capacitao e as
caractersticas das equipes de alto desempenho. Este estudo
facilitaria o professor na escolha da abordagem em relao as
caractersticas das equipes que se deseja trabalhar, neste caso
com foco em alto desempenho; (2) a oportunidade de propor
uma abordagem metodolgica de capacitao visando a
formao de equipes de alto desempenho em ES.
As abordagens mais comuns para capacitao em ES

incluem aulas expositivas, estudo de texto, aulas de
laboratrio, entre outros. Entretanto, abordagens alternativas
podem ajudar os alunos a aprender de maneira mais efetiva,
como por exemplo: utilizao de estratgias que promovem
maior participao dos alunos nas aulas de ES [9], a
substituio de aulas expositivas por discusso de casos
prticos [21], abordagens construtivistas centradas nos
estudantes [22], dinmicas de grupo, jogos e simuladores
educacionais [23] [24] e capstone projects (onde os alunos
devem desenvolver um projeto do incio ao fim, muitas vezes
envolvendo um cliente real).
Estas abordagens mais focadas no aluno e que promovem
uma participao mais ativa nas aulas, segundo Junior e Saiaia
[26], tm potencial para aumentar o interesse dos alunos,
motiv-los e melhorar a aprendizagem no nvel de aplicao
de conceitos. Algumas abordagens tradicionais de capacitao
so: aulas expositivas dialogadas, estudo de texto, mapa
conceitual, estudo dirigido, uso de listas de discusso, soluo
de problemas, grupos de verbalizao e observao,
dramatizao, seminrio, estudo de caso, painel, jri simulado,
frum, oficina [25]. Alm disso, existem abordagens
alternativas tais como dinmicas de grupo, educao
distncia, atividades prticas, capstone projects, atividades
ldicas, dinmicas de grupo e jogos.
IV. DISCUSSO
A reflexo em relao as abordagens de capacitao
existentes e as caractersticas das equipes de alto desempenho
em desenvolvimento de software surgiram a partir de uma
72
FEES
[3]
[4]
Identificamos ainda os seguintes desafios: (1) conseguir

identificar, dentro de uma equipe de desenvolvimento de
software, as caractersticas que se deseja capacitar; (2).
trabalhar a capacitao aos docentes para que, atravs de
novas abordagens inovadoras, possam preparar melhor seus
alunos para o mercado de trabalho.
[5]
[6]
V. CONSIDERAES FINAIS
[7]
Este artigo apresentou uma reflexo inicial sobre a relao

entre abordagens de capacitao existentes e as caractersticas
das equipes de alto desempenho em desenvolvimento de
software. Para esta reflexo, o desenvolvimento foi feito em
dois passos. Primeiro, foi feito um estudo sobre as abordagens
existentes de capacitao em ES e segundo foi realizada uma
reviso sistemtica da literatura (RSL) que teve como objetivo
avaliar, sintetizar e aprofundar os estudos sobre equipes de alto
desempenho em desenvolvimento de software, buscando
oportunidades de pesquisa e um embasamento terico para
pesquisas futuras. Tambm foi possvel observar o pouco
desenvolvimento cientfico abordando estudos sobre equipes de
alto desempenho em desenvolvimento de software. Para
finalizar, discutiu-se sobre como este dois temas podem se
complementar visando a melhoria da qualidade da capacitao
em ES.
Neste aspecto encontramos uma oportunidade de estudo
futuro com alguns questionamentos: Como possvel, atravs
das abordagens de capacitao existentes, trabalhar a
formao de equipes de alto desempenho para
desenvolvimento de software? Que novas abordagens de
capacitao poderiam ser propostas ?
[8]
[9]
[10]
[11]
[12]
[13]
[14]
[15]
[16]
[17]
A. Limitaes e Trabalhos Futuros

Este estudo possui algumas limitaes. A primeira delas
est relacionada ao vis do pesquisador durante o processo de
anlise dos artigos. Isso porque a reviso sistemtica de
literatura foi executada por apenas um pesquisador, assim
como a seleo dos artigos e a extrao dos dados. Portanto, a
inexistncia de mais de um revisor pode ocasionar erros na
classificao e na seleo dos artigos. O estudo sobre as
abordagens existentes de capacitao tambm teve como
limitao o vis do pesquisador durante o processo de estudo.
Em funo da limitao de pginas no foi possvel
apresentar mais detalhes sobre a conduo da RSL, incluindo
o protocolo da reviso e as discusses qualitativas e
quantitativas (a lista de artigos pode ser encontrada em
www.inf.pucrs.br/~10085110).
Como prximo passo pretende-se analisar a formao de
equipes de alto desempenho frente s abordagens de
capacitao existentes, visando propor uma abordagem
metodolgica de capacitao para formar equipes de alto
desempenho para o desenvolvimento de software.
[18]
[19]
[20]
[21]
[22]
[23]
[24]
[25]
[26]
REFERNCIAS
[1]
[2]
The
Standish
Group,
Chaos,
http://
www.versionone.com/assets/img/files/CHAOSManifesto2013.pdf,
acessado em 9 de junho de 2013.
Faraj, S., Sambamurthy, V.,"Leadership of information systems
development projects". In: IEEE Transactions on Engineering
Management, 2006.
[27]
[28]
73
Enricone, D. (Org.). Ser Professor, 3a edio, EDIPUCRS, 2002.

Beckman, K., Coulter, N., Khajenouri, S., Mead, N.
Collaborations:Closing the industryacademia gap. IEEE Software 14
(6), pp. 4957,1997.
Gibbs, W. Software's chronic crisis. Scientific American 271 3 (1994),
pp. 8695.
Saiedian, H., Software engineering education and training for the next
millennium, Journal of Systems and Software, v. 49, p. 113-115, 1999.
ACM/IEEE. Computer Science Curriculum, Guidelines for
Undergraduate Degree Programs in Software Engineering, 2008.
Santos, R. P., Santos, P. S. M., Werner, C. M. L., Travassos, G. H.
Utilizando Experimentao para Apoiar a Pesquisa em Educao em
Engenharia de Software no Brasil, Frum de Educao em ES, 2008.
R.Prikladnicki, A. Albuquerque, C. Wangenheim, e R. Cabral, Ensino
de Engenharia de Software: Desafios, Estratgias de Ensino e Lies
Aprendidas, no FEES 2009.
Nearshore Americas. Collaborate. Innovate. Accelerate. Creating
successful software requires a new model of development and a new
kind of development team. Disponvel online, acesso em Abril de 2012.
Roda, R., Self-Organizing Agile Teams: A Grounded Theory, Tese de
Doutorado, Victoria University of Wellington, 2011.
ACM/IEEE. Software Engineering Curriculum. Guidelines for
Undergraduate Degree Programs in Software Engineering, 2004.
Sommerville, I. Engenharia de Software 9a edio. So Paulo:
Pearson Prentice Hall, 2011.
Shaw, M. Software Engineering Education: A Roadmap. In: Future Of
Softwareengineering,
International
Conference
On
Software
Engineering - Icse',Limerick. Proceedings. New York: ACM, 2000..
Conn, R. Developing Software Engineers at the C-130J Software
Factory. IEEE Software,Los Alamitos, v. 19, n. 5, p. 25-30, Sep. 2002.
Katzenbach, J. R; Smith D. K. A Fora e o Poder das Equipes. So
Paulo: Makron Books do Brasil Editora Ltda, 1994.
Chiavenato, I. Gesto de pessoas: o novo papel dos recursos humanos
nas organizaes. Rio de Janeiro: Elsevier, 2008, 3a edio.
Boyett, J.H; Boyett, J.T. O gui dos gurus: os melhores conceitos e
prticas de negcios. Rio de Janeiro: Campus, 1999.
Raj, P.P ; Baumotte A.C.T; Fonseca D.P.D; Silva, L.H.C.M.
Gerenciamento de pessoas em projetos. Rio de Janeiro : Editora FGV
Fundao Getlio Vargas, 2006, 180p.
Tonet, H. et al. Desenvolvimento de equipes. 2. ed. Rio de Janeiro:
FGV, 2009, p 72.
Gnatz, M.; Kof. L.; Prilmeier, F.; Seifert, T. A. Practical
Approach
of Teaching
Software Engineering.
In:
16TH
CONF.
SOFTWARE ENG. EDUCATION AND TRAINING, 2003.
Proceedings... p. 120128, 2003.
Hadjerrouit, S. Learner-centered web-based instruction in software
engineering. IEEE Transactions on Education, v. 48, p. 99-104, 2005.
Gresse, V. W. C.; SHull, F. To Game or Not to Game? Software,
IEEE, v. 26, n. 2, p. 92-94, 2009.
Fernandes, L; Werner, C. M. L. Sobre o uso de Jogos Digitais
para o Ensino de Engenharia de Software. In: II FRUM DE
EDUCAO EM ENGENHARIA DE SOFTWARE, 2009, Fortaleza,
Anais... XXIII SBES,2009.v.1.p.1-8.
Anastasiou, L. G. C.; Alves, L. P. Estratgias de ensinagem. In:
Anastasiou, L. G. C.; Alves, L. P. (Orgs.). Processos de ensinagem na
universidade. Pressupostos para as estratgias de trabalho em aula. 3. ed.
Joinville: Univille, 2004. p. 67-100
Junio, W. H., Saiaia, A. C. A. Aprendizagem Centrada no Participante
ou no Professor? Um Estudo Comparativo em Administrao de
Materiais. Revista de Administrao Contempornea, p. 631-658, 2008.
Hause, M.L., "Distributed team performance in software development".
In: Proceedings of the 10th Annual SIGCSE Conference on Innovation
and Technology in Computer Science Education, 2005.
Staples, D.S., Cameron, A.F., "The effect of task design, team
characteristics, organizational context and team processes on the
performance and attitudes of virtual team members". In: Proceedings of
the Annual Hawaii International Conference on System Sciences, 2005.
FEES
ARPostIts: Mobile Application

for Agile Software Engineering using
Augmented Reality
Dhiana Deva
and Thaiana Lima
Cludia Werner
and Claudia Rodrigues
Polytechnic School
Federal University of Rio de Janeiro (UFRJ)
Rio de Janeiro, Brazil
Email: {dhiana.deva, thaianamaria}@poli.ufrj.br
Systems Engineering and Computer Science Program

COPPE/UFRJ
Rio de Janeiro, Brazil
Email: {werner, susie}@cos.ufrj.br
The remaining of the paper is presented as follow: Section
II introduces the Augmented Reality (AR) technology; Section
III integrates SE and AR indicating some related works;
Section IV briefly explains the agile method and its use of
Post-It notes; Section V describes the ARPostIts application;
Section VI discusses the experience of users on applying it,
and Section VII presents some final considerations
AbstractThis paper presents the case of ARPostIts, a mobile

application that uses Augmented Reality in the context of Agile
Software Development. ARPostIts supports daily stand-up meetings. It expands the information of a given item (physically represented by Post-its at agile task boards) with a virtual progress
bar. These virtual objects change size and color according to the
progress and status of the item.
KeywordsAugmented Reality; Software Engineering; Mobile
devices; Agile development; Frame Makers
I.
II.
I NTRODUCTION
AUGMENTED R EALITY
Many emerging technologies that modified software requirements and developing methods are the ones that combine
mobility, connectivity and graphics evolution. This is due to
advances in knowledge about computer systems, graphics and
processing power, which are some of the main reasons we
currently have so many tools for complementing our real world
with virtual objects.
Software Engineering (SE) is defined as a series of methods, tools and procedures that allows software development
in a sustainable way [1].Observing those defining elements,
SE has changed in the past decades towards new methods,
perspectives and technologies, due to the growing complexity
and requirements of software products.
Currently, software technologies and systems still represent a challenge for anyone who creates software based in
computers [1]. The rapid changes in software projects and
infrastructure, such as massive distribution, mobile computing
and evolving Web objects, represent some of the challenges
the 21st century presents [2].
The goal of Augmented Reality (AR) is to deliver a

scenario where the real world is enriched with virtual items
(usually 2D or 3D computer generated elements) rather than
being replaced [3].Also, it needs to be a real time system that
allows interaction between the user and the virtual objects.
Therefore, we can represent and interact better with systems
that could be otherwise difficult to visualize [4].For example,
for a regular person, the car engine is something too complex
to interact with, even if the goal is to execute a simple task.
With AR we can enhance only the part we have to use, with a
virtual line or any other object. In this way, the real world is
altered with virtual elements in order to make it easier to be
understood.
Despite the information technology changes happen very

fast, the developers and their organizations often take some
time to update their methods and tools. Then, another technology emerges in the market and so the process starts all
over again. Technologies such as mobile devices, advances in
computer graphics, evolution on the processing power, battery
and connectivity create new demands and possibilities for
software applications.
AR is now used for several goals, such as simulation,

training, tracking, teaching and learning processes and many
others. In a classroom, AR can be a powerful tool to envision
3D objects rather than visualize 2D figures in books.
In this context, it is possible to notice that the way SE is

used can also be altered. The impacts of such modifications
need to be studied so the development and design of software
products can be optimized in order to minimize the damages
in time, price, rework and other traditional problems in this
field of study.
AR technology is already available in daily activities of

people with a simple smartphone, tablet or other computer
device. The applications, initially developed for studies and
academics, became tools for medicine, teaching, games and
even military use.
The goal for this work is to raise attention to ARPostIts,

an innovative application where new technologies are applied
at SE, particularly to the agile development methods.
74
FEES
III.
IV.
S OFTWARE E NGINEERING AND AUGMENTED

R EALITY
AGILE S OFTWARE D EVELOPMENT
Agile software development values individual and interactions more than processes and tools [7]. In this context, the
use of Post-it Notes at Task Boards, also called Information
Radiators, is very popular in the agile community. Agile task
boards are created for the team and by the team, adapted
according to its needs. Project management tools have builtin abstractions that force the team to be adapted to the tool,
and not the inverse. For example, Mingle1 uses cards to refer
to the items being developed by the team. In contrast, the
central elements of Pivotal Tracker2 are stories. These concepts
are similar, but when a tool is chosen, the team has to work
according to its foundations and stick to it throughout the
project lifetime.
AR makes it possible to include information in the real

world using additional dimensions and, therefore, enhances the
users perception without modifying the physical environment.
AR applications change basic notions of what a software
product can do and on which devices it can run. Those types
of applications need to be developed fast, otherwise they will
become obsolete before reaching a mature state.
AR use in SE is not explored as it could be. By executing
an ad-hoc search through literature, we could find some
works such as VisAr3D [5], an application that uses AR
to support the teaching process of the Software Architecture
(SA) concept. The public of VisAr3D are students of a SA
discipline, so that they are well prepared to the market. This
application motivates students to participate in more complex
projects, decreasing the gap between theory and practice.
The environment is explored in 3D by the student. Figure 1
shows the prototype screen capture for VisAr3D, representing
a diagram with 3D elements. Figure 1 shows the prototype
screen capture for VisAr3D, representing a diagram with 3D
elements.
A study [8] shows that paper-based task board outperforms

its software-based pendant in terms of accessibility, motivation,
haptic quality, costs, availability, overhead and communication.
A software-based task board outperforms its paper-based pendant in terms of flexibility, integration, archiving and distance.
Visual pollution may be a disadvantage for paper-based
task boards. When the team wants to give visibility to more
information about an item, it may pile up multiple Post-its
upon one another. Figure 3 shows an example of a polluted
task board where the communication is undermined. A video3
was recorded to illustrate extreme cases of these situations.
Fig. 1: VisAr3D prototype screen
SkyscrapAR [6] is another example that uses AR as a visualization technique for software evolution. Software classes
and packages in a particular project revision can be observed
in a 3D perspective. Buildings are a metaphor for constructing
a city graphic as illustrated in Figure 2.
Fig. 3: Example of a polluted area of an agile task board

Another well-known agile practice is the stand-up meeting,
such as the Daily Scrum [9].This is held every working day
at the same time and place for no more than fifteen minutes.
Every member of the development team must attend it.
The goal is to give visibility to the progress of the items
being developed. This allows daily inspection and adaptation
opportunities during the iteration. Since they are only fifteen
minutes long, they must be effective. The team members standup to keep the meeting short.
These are not status report meetings where the developers
show the work they have done. The items represent the most
important part of the meeting. Keeping them on the focus is
an important practice.
Fig. 2: Example of project visualized as a city [6]

These works address the architecture of software systems.
Our contribution uses AR technologies for the management of
software development processes
1 Mingle
website. Available in http://www.thoughtworks.com/mingle.

Tracker website. Available in http://www.pivotaltracker.com/.
3 Visual pollution with Post-it notes https://www.youtube.com/watch?v=VVSMlZFBCOY
2 Pivotal
75
FEES
V.
a variety of sample applications. Also, it has a growing

community of active developers
ARP OST I TS
ARPostIts is a mobile application to help agile software

development teams overcome the limitations of paper-based
task boards. Using AR, virtual elements related to a Post-it
can be displayed. This is done by printing an encoded frame
on Post-it notes and tracking them using computer vision-based
image recognition.
Figure 5 shows the main screen of the mobile application.
ARPostIts was developed as a final project for the Augmented and Virtual Reality discipline at the Computer Engineering graduation course of UFRJ. In this context, there were
limited resources to run a formal evaluation of the application.
The idea behind ARPostIts was conceived exploring how
AR could be applied to the agile SE context, where Post-it
notes represent items to be developed by the team. Currently,
the application displays a virtual progress bar aligned to the
bottom of each Post-it. Its color represents the current status
of the item. In the future, ARPostIts can support other types
of virtual elements.
Figure 4 illustrates a Post-it note with an encoded frame.
Only the frame is used for image tracking. People can write
anything inside it.
Fig. 5: Android mobile application AR screen
The cloud based administration web interface6 is hosted
at Heroku7 and was developed using Django8 framework.
This web system supports User authentication, User accounts
management, Projects management, Items management and
Tasks management. In this administration interface, users can
link the actual items of a given project with its corresponding
encoded post-its.
All code developed for the solution is open-source and
available at GitHub 9 10 .
Fig. 4: Post-it with encoded frame
VI.
U SER E XPERIENCE
Marker-based AR is known to rely on environmental factors such as illumination. It is usually recommended attaching
the AR marker at a flat surface such as a piece of cardboard.
When the user starts the application, the splash screen

accesses the cloud and updates the information about the
projects, items and tasks. Then, the user is prompted to input
the identification number of the project he wants to access. The
application displays the devices camera image and renders the
virtual progress bars with lengths and colors according to the
data associated to each Post-it. The applications usage has
been recorded in a video4 .
The malleability of Post-it notes initially represented a risk

for the markers recognition. Therefore, we have tested the
application response for different types of Post-it sizes and
colors, rooms lighting and Post-it distortion.
The tests showed that the most familiar color, Canary Yellow, has adequate contrast for the application. Even when the
Post-it note has small distortions due to heavy manipulation.
But ARPostIts could not track markers printed at Neon Pink
color.
ARPostIts consists of two applications: an Android mobile

application and a cloud based web system with a RESTful
API.
The mobile application is built with Vuforia5 platform. Vuforia image tracking algorithms are very robust. This platform
supports encoded frame markers and provides 512 different
codes. These markers can be printed on regular Post-it notes
with the aid of the template available along with the source
code. The Developer Portal has in-depth documentation and
6 Administrative
web application of ARPostIts. Available in
http://arpostits.herokuapp.com/admin/
7 Heroku:
Cloud
Platform
as
a
Service.
Available
in
https://www.heroku.com/
8 Django:
High-level
Python
web
framework.
Available
in
https://www.djangoproject.com/
9 Code repository for the mobile application of ARPostIts. Available in
http://github.com/dhiana/ARPostIts
10 Code repository for the administrative application of ARPostIts Available
in http://github.com/dhiana/arpostits_api
4 ARPostIts video showing its usage at an agile consulting firm. Available

in https://www.youtube.com/watch?v=ek7FqlI_qXc
5 Qualcomm
Vuforia
Developer
Portal.
Available
in
https://developer.vuforia.com/
76
FEES
members during the meetings. A formal experiment is a goal

for future work.
By using the typical 3 x 3 in Post-it model, the application

provides good tracking at close distances such as the common
alignment of the team around a task board on stand-up
meetings.Also, corporate offices usually have adequate lights
and stable wi-fi signal. These factors are important for a good
user experience with ARPostIts.
Another practical aspect is that the frame recognition is

little intrusive for teams that use physical task boards. Teams
with already established virtual task board tools are harder to
accept new tools. This can be overcome by integrating it with
the most popular virtual task boards and project management
tools.
A. Applications
ARPostIts has been used for product and project management activities at Concrete Solutions11 . It expands the visibility
of items progress on agile task boards. Figure 6 shows a task
board using encoded Post-its.
Currently, a virtual list of tasks related to an item is being

developed. The application will display the tasks associated
with a given item (represented by the Post-it in focus), according to the information stored on the cloud service, a tap on
the touch screen will trigger that feature.
The need for updating the progress of the items before the
stand-up meeting is the most notable downside. Web-sockets
and mobile push technology can be used for on-the-fly updates
of user interactions with the virtual progress bar changing its
value and color.
Also, publishing the application to Google Play app store
and gathering usage metrics is another important milestone.
Finally, ARPostIts, as well as similar works, shows that
SE can also benefit from high-level AR software platforms.
Such platforms are mostly used at games studios and publicity
agencies for retail and branding mobile applications, but can
be exploited for SE methods and tools.
Fig. 6: Organized task board using ARPostIts
R EFERENCES
Such task boards are mostly inspired by the KanBan [10]
tool, which is the first pillar of the Toyota production system.
This suggests that ARPostIts can also be used for production
tracking at industries aligned with the lean manufacturing
practices. The use of AR can be an invaluable technique in
SE education. It has potential to enhance traditional learning
methods by fostering a more engaging participation of students. ARPostIts can also help agile SE education by setting
up project templates for illustrating typical scenarios during
the agile life cycle of software projects.
[1]
[2]
[3]
[4]
Personal task management also benefits from the ease of

visual communication of ARPostIts. This expands the potential
reach of the application.
VII.
[5]
F INAL CONSIDERATIONS
[6]
This paper presented ARPostIts, an innovative mobile

application using augmented reality for agile software development. It provides an intermediate solution between paperbased and software-based task boards, an approach that havent
been explored as it could be. With this, it is suggested that it
balances their advantages and disadvantages.
[7]
No formal experiment was performed yet. However, the

application is currently on active use by a small team of four
developers at Concrete Solutions. The feedback gathered suggests that ARPostIts helps keeping efficient stand-up meetings
with organized, updated and clean information radiators. Also,
the use of AR contributes for more energetic and engaged team
[8]
[9]
[10]
11 Concrete
Solutions
http://www.concretesolutions.com.br
website.
Available
in
77
R.S. Pressman. Software Engineering, 7th ed. Brazil, 2011,

pp. 705-721.
B. E. Boehm, A View of 20th and 21st Century Software
Engineering. Proc. 28th International Conference on Software
Engineering (ICSE 2006), Shanghai, China, pp.12-29, ACM
Press, 2006.
S. Feiner, B. Macintyre, and D. Seligmann. Knowledge-based
augmented reality. Magazine Communications of ACM, New
York, vol. 36, pp.5362, July 1993.
R. Azuma, Y. Baillot, R. Behringer, S. Feiner, S. Julier and
B. MacIntyre. Recent advances in augmented reality. IEEE
Computer Graphics & Applications, pp. 5663, vol 21, issue
6, Nov-Dec 2001.
C. S. C., Rodrigues & C. M. L. Werner. Apoiando a Compreenso de Sistemas de Grande Escala Atravs da Visualizao 3D.
In: V Frum de Educao em Engenharia de Software, 2012,
Natal. V FEES. III Congresso Brasileiro de Software: Teoria e
Prtica (CBSoft), 2012.(in portuguese)
R. Souza, B. Silva, T. Mendes and M. Mendona SkyscrapAR:
An Augmented Reality Visualization for Software Evolution.
In: II Workshop Brasileiro de Visualizao de Software, 2012.
Natal, II WBVS. III Congresso Brasileiro de Software(CBSoft),
2012; (in portuguese)
K. Beck, M. Beedle, A. van Bennekum, A. Cockburn, W.
Cunningham, M. Fowler, J. Grenning, J. Highsmith, A. Hunt,
R. Jeffries, J. Kern, B. Marick, R. C. Martin, S. Mellor, K.
Schwaber, J. Sutherland, and D. Thomas, "Manifesto for Agile
Software Development". http://agilemanifesto.org, 2001
J. Segers. Analysis of a paper- and software-based Scrum
task board
Business Information Technology MSc Thesis.
Enschede, September 2012.
K. Schwaber and J. Sutherland. The Scrum Guide
https://www.scrum.org/Scrum-Guide July 2013.
T. Ohno. Toyota Production System: Beyond Large-Scale Production Cambridge, MA, Productivity Press, 1988.
FEES
Aprendendo Programao Concorrente em Java

com o Objeto de Aprendizagem Quero Bolo
Fagner Silva Martins e Ayla Dantas
Departamento de Cincias Exatas
Universidade Federal da Paraba (UFPB) Campus IV
Rio Tinto, PB, Brasil
{fagner.silva, ayla}@dce.ufpb.br
Abstract We are witnessing a paradigm shift in
programming. Multicore processors have revolutionized the way we
design systems in order to better utilize the computational power of
these machines. Therefore, an important aspect to consider in
Computer Science and Information Systems undergraduate courses
is that their students should know concurrent programming. We
have observed that for many students this is a difficult subject. In
this paper we describe a learning object to help in the introduction
of some concepts related to concurrent programming in Java and
an initial evaluation performed by some undergraduate students
from Computer Science and Information Systems courses.
um tpico difcil e refora a importncia de se explorar mais

e mais concorrncia nas aplicaes para se explorar
completamente o poder computacional das CPUs modernas.
Resumo Tem-se observado uma mudana de paradigma na

programao. Com a chegada dos processadores multicore,
desenvolvedores devem modificar sua forma de projetar sistemas
para melhor utilizar o poder computacional dessas mquinas.
Portanto, um aspecto importante da formao dos egressos em
computao e sistemas de informao que dominem bem a
programao concorrente. Observa-se que para vrios alunos
complicado compreender esse contedo. Neste artigo descrito um
objeto de aprendizagem (OA) criado com o intuito de auxiliar no
ensino introdutrio de programao concorrente em Java e tambm
uma avaliao inicial desse OA por alunos de graduao em
cincia da computao e sistemas de informao.
Neste artigo ser descrito o objeto de aprendizagem Quero

Bolo, criado para apoiar a introduo ao contedo de
programao concorrente em Java. Alm disso, ser
apresentada tambm uma avaliao inicial deste OA com
alunos. Este artigo est organizado da seguinte forma: a Seo
II discute os principais trabalhos relacionados; a Seo III
apresenta os objetivos do OA Quero Bolo; a Seo IV
descreve com mais detalhes este OA; a Seo V apresenta os
resultados de uma avaliao inicial do OA com alguns alunos
de graduao e por fim, na Seo VI so apresentadas as
concluses deste trabalho e algumas propostas de trabalhos
futuros.
Considerando essa dificuldade apresentada pelos alunos e

at profissionais da rea no aprendizado de programao
concorrente e que tambm citada pela literatura, este artigo
apresenta uma proposta de um objeto de aprendizagem (OA)
para apoiar o ensino-aprendizagem deste contedo. Considerase aqui objeto de aprendizagem como sendo qualquer recurso
digital que possa ser reutilizado para o suporte ao ensino [4].
Keywords (palavras-chave) ensino de programao; objetos

de aprendizagem; programao concorrente.
I.
II. TRABALHOS RELACIONADOS

Um dos trabalhos relacionados a este artigo o de Davies
[2], que apresenta um dialeto da linguagem Pascal (Pascal-FC)
desenvolvido especialmente para dar uma experincia prtica
aos alunos em cursos de programao concorrente. A
abordagem seguida no trabalho citado acima diferente da que
ser apresentada neste trabalho j que este se foca no ensino de
programao concorrente usando uma linguagem comercial, no
caso Java, ao invs de uma linguagem desenvolvida apenas
para fins educacionais. Abordagem semelhante tambm
seguida pelo trabalho de Toscani [7], que apresenta a
linguagem Vale4 (V4), destinada ao ensino de programao
concorrente.
INTRODUO
Com o avano da tecnologia e o surgimento dos

processadores multicore, tem-se explorado cada vez mais o
paralelismo durante o desenvolvimento dos atuais sistemas de
software para assim melhor utilizar o hardware disponvel.
Considerando esse aspecto, importante que os profissionais
de informtica tenham uma formao slida de programao
concorrente de forma a aproveitar melhor o paralelismo das
mquinas e a produzir software desse tipo com qualidade.
No entanto, programao concorrente considerada um
assunto difcil por vrios alunos. Alguns relatos da literatura
como de Van Roy, Armstrong, Flatt e Magnusson [8], tambm
falam da reputao de programao concorrente de ser
considerada difcil e de ser algo a ser evitado, se possvel. Tal
reputao, segundo um dos autores, um efeito colateral dos
problemas da programao de threads em sistemas
operacionais convencionais usando linguagens como Java, C
ou C++. Outro autor, Ortiz [6], tambm alega que concorrncia
H tambm trabalhos relacionados ao ensino de

programao concorrente focando em linguagens como Erlang,
ao invs de Java (foco do presente trabalho). Segundo Van
Roy, Armstrong, Flatt e Magnusson [8], em Erlang, criar um
processo 100 vezes mais rpido que em Java. Isso ocorre
porque a concorrncia projetada dentro da linguagem Erlang
e no tem nada a ver com o sistema operacional. Segundo Ortiz
78
FEES
[6], Erlang uma linguagem de programao de propsito

geral que tem suporte nativo a concorrncia, distribuio e
tolerncia a falhas. Neste seu trabalho, Ortiz mostra como essa
linguagem foi utilizada com sucesso para ensinar programao
orientada a concorrncia (concurrency-oriented programming
COP) em um curso avanado de programao. Na
experincia relatada neste artigo, mostrou-se que inicialmente
os alunos consideraram Erlang uma linguagem estranha, mas
que ao fim do semestre muitos gostaram de t-la usado. Este
trabalho difere do presente artigo j que este se foca no
contedo introdutrio de programao concorrente e com Java.
por Akimoto e Cheng [1], atravs do qual iniciantes podem

aprender vrios conceitos de concorrncia (como
sincronizao, processos, semforos, etc) naturalmente. Este
trabalho se diferencia do que proposto neste artigo
principalmente por no usar nenhuma linguagem de
programao.
III. OBJETIVO DO OA QUERO BOLO
O principal objetivo desta ferramenta apresentar o
contedo introdutrio de programao concorrente em Java aos
estudantes de forma atraente e divertida para uma melhor
compreenso dessa rea. A ideia que o uso do OA influencie
o aluno a buscar mais conhecimentos sobre a rea,
demonstrando a aplicao na prtica de alguns contedos que
podem ser considerados bem abstratos se no forem bem
contextualizados. A ideia do OA no substituir o professor ou
a aula, mas sim apoiar o aluno na reviso do contedo
apresentado em uma aula ou apoiar o professor na apresentao
do contedo. Alm disso, pode servir como material para os
adeptos do ensino a distncia que desejam fortalecer o
conhecimento na rea.
Outro trabalho relacionado o de Manickam e Aravind [5].

Neste trabalho se discute tambm a dificuldade de se
desenvolver software concorrente e a necessidade de se
encontrar maneiras efetivas de ensinar esse contedo aos
alunos. Os autores acreditam que o uso de um software de
simulao com capacidade de animao uma ferramenta
atrativa para ensinar alguns algoritmos e conceitos de
programao concorrente. Nesse sentido, os autores projetaram
um simulador dessa natureza chamado VITTY e que pode ser
usado como ferramenta de ensino para animar algoritmos
simples e elegantes (como o algoritmo de excluso mtua de
Knuth) e se aprofundar em sua lgica.
Para que possa ser mais amplamente utilizado, o OA e

seu cdigo, que aberto (open source), podem ser
gratuitamente baixados da Internet atravs dos stios
http://querobolo.esy.es/ e https://github.com/fagnersistematx/
querobolo. Para executar o programa, basta realizar o
download do arquivo .jar e ter Java instalado na mquina,
independentemente do sistema operacional do usurio. Em
alguns sistemas basta o duplo clique nesse arquivo. Em outros
sistemas operacionais pode-se ir pelo terminal ao diretrio
onde esse arquivo foi baixado e executar: java jar
nomeArquivo.jar, onde nomeArquivo o nome com que se
salvou o arquivo.
O Robocode [3] tambm relacionado a este trabalho. Ele

uma ferramenta de ensino desenvolvida pela IBM e que
permite o aprendizado de programao em Java atravs de um
engenho de simulao de uma batalha de robs. O usurio
escreve o cdigo que controla um mini tanque que combate
outros tanques construdos por outros usurios em um campo
de batalha. Embora seja concorrente, o foco do aprendizado
proporcionado pelo Robocode em outras questes da
linguagem Java como chamadas de API, herana, eventos, etc
j que o usurio normalmente controla um rob.
Semelhante ao Robocode, o jogo educacional proposto
Fig. 1. OA Quero Bolo Tela inicial
79
FEES
caixas de seleo correspondentes so ativadas no Quero

Bolo.
IV. O OBJETO DE APRENDIZAGEM QUERO BOLO

Quero Bolo uma ferramenta construda na linguagem de
programao Java para executar em desktops/notebooks e que
tem como intuito apoiar na compreenso de conceitos iniciais
da programao concorrente utilizando tambm essa
linguagem. Ela basicamente mostra uma animao cujo
comportamento pode ser influenciado pelo usurio. Nessa
animao so apresentados trs bonecos (cozinheiro, me e
filho) onde apenas o cozinheiro e a me se movimentam. Estes
representam duas threads cujo incio e velocidade so
controlados pelo usurio do OA. medida que estes bonecos
se movimentam, so mostrados os estados de suas threads a
cada momento, conforme se pode observar nos cantos
superiores da Figura 1. Alm disso, pode-se visualizar o cdigo
parcial destas threads, controlar sua velocidade por meio de
botes, inici-las ou paus-las. O objeto de aprendizagem
oferece ainda um boto para ajuda, onde algumas informaes
sobre a sua utilizao ou sobre o contedo introdutrio relativo
a programao concorrente so apresentados.
TABELA I.
CDIGO PARCIAL DO COZINHEIRO E DA ME

CDIGO PARCIAL DO COZINHEIRO
class Cozinheiro extends Thread {

int velocidade = 10;
boolean sentido = ESQUERDA;
Bolo bolo;
public void run(){
while(! levouBoloBalcao()){
andar();
if(encontrouFogao()){
pegarBolo();
mudarSentido();
}
}
synchronized(bolo){
bolo.notifyAll();
}
}
public void andar(){
incrementarPosicao();
try {
Thread.sleep(VELOC_MAXIMA/velocidade);
} catch (InterruptedException e){}
}
} //...
A animao mostrada pelo Quero Bolo ilustra uma me

que vai at a confeitaria buscar um bolo para seu filho e que
aguarda no balco at que este bolo seja trazido, caso ele ainda
no esteja l. ilustrado tambm um cozinheiro que vai buscar
o bolo no fogo e o leva ao balco. Para iniciar o movimento
da me e do cozinheiro, necessrio que o usurio inicie a
thread representando cada um, o que ocorre quando se clica no
boto Iniciar respectivo a cada boneco. Quando ativados, os
mesmos invocaro os mtodos start() de ambas as threads.
Quando as threads se iniciam, os botes Iniciar se
transformaro em botes de pausar. A funo do boneco
cozinheiro buscar o bolo que est no forno esquerda e levar
at a mesa que se encontra no centro da tela para que possa ser
levado pela me, o que representa uma concorrncia pelo
recurso compartilhado (o bolo). Para representar em cdigo
essa concorrncia, pode-se ver trechos de cdigo da me e do
cozinheiro. Quando o bolo colocado em cima da mesa, no
cdigo da thread do cozinheiro ocorre a chamada ao mtodo
bolo.notify(), o qual pode acordar a thread da me, caso esta
esteja esperando pelo bolo. A espera da me pelo bolo
representada no cdigo mostrado no OA pela invocao
bolo.wait() que ocorre caso o boneco me chegue at a mesa e
o bolo no esteja l.
CDIGO PARCIAL DA ME
class Mae extends Thread {
int velocidade = 10;
boolean sentido = ESQUERDA;
Bolo bolo;
public void run(){
while(! encontrouBalcao){
andar();
}
synchronized(bolo){
while(!encontrouBolo()){
bolo.wait();
}
}
pegarBolo();
mudarSentido();
while(!encontrouFilho()){
andar();
}
}
public void andar(){
incrementarPosicao();
try {
Thread.sleep(VELOC_MAXIMA/velocidade);
} catch (InterruptedException e){}
}
} //...
Quando um dos botes Iniciar ativado, o usurio poder

controlar a velocidade do boneco que foi ativado. Isso ocorre
atravs de uma barra deslizante cujos valores variam entre zero
e cem e que define o valor utilizado pelo mtodo
sleep(timeout) da classe Thread. O usurio tambm pode
pausar qualquer thread, ativando o boto Pausar. Com isso, o
mesmo se transformar novamente no boto Iniciar. Outra
funcionalidade a de reiniciar o OA quando o boto
Reiniciar ativado.
Uma outra tela apresentada pelo OA um menu com

botes e que acionado quando o usurio seleciona o boto de
ajuda, representado pela ? na verso 1.0 do Quero Bolo. Dentre
as opes que esta tela oferece est a opo de saber mais sobre
threads ou saber mais sobre como a ferramenta funciona.
V. AVALIAO DO QUERO BOLO
O objeto de aprendizagem pode mostrar parte do cdigo

relativo a cada uma dessas threads para assim trabalhar
aspectos relativos sincronizao de variveis em Java e das
operaes da linguagem que fazem com que threads
modifiquem seus estados, como wait e notify. Os cdigos
apresentados na tela referentes me e ao cozinheiro so
apresentados na Tabela 1 e so exibidos pelo OA quando as
Com o trmino do desenvolvimento da primeira verso do

OA Quero Bolo por parte do aluno sob a superviso de sua
orientadora fez-se necessrio realizar uma avaliao deste
software por estudantes para investigar as seguintes variveis:
o seu nvel de aceitao do OA, a utilidade percebida por eles
para o aprendizado e os principais pontos positivos e negativos
80
FEES
observados. Para esta avaliao foi escolhida uma turma de

POO (disciplina do terceiro perodo da graduao em SI e LCC
da UFPB-Campus IV) para a qual havia sido introduzido o
contedo relativo programao concorrente. Para preservar o
anonimato das respostas e o mximo de sinceridade por parte
dos alunos, foi utilizado como instrumento de pesquisa um
formulrio online para esta avaliao. Foi feita uma
apresentao do OA em sala de aula e posteriormente o link
para a ferramenta e para o formulrio de avaliao foi
divulgado entre os alunos na lista de discusso de e-mails da
disciplina, que tinha cerca de trinta alunos matriculados. No
total, dezoito alunos responderam o formulrio. Este
apresentava quatorze perguntas, sendo algumas discursivas e
outras objetivas.
Licenciatura em Cincia da Computao e Sistemas de

Informao da UFPB-Campus IV.
De maneira geral, os resultados iniciais obtidos at ento
demonstram que o OA pode sim apoiar o ensino introdutrio
de programao concorrente e teve uma boa aceitao por parte
dos alunos, embora necessite evoluir para contemplar mais
contedos relacionados. Um dos trabalhos futuros planejados
com relao ao objeto de aprendizagem Quero Bolo a sua
utilizao e avaliao em outras turmas, como as turmas da
disciplina de Sistemas Operacionais, outras turmas da
disciplina de Programao Orientada a Objetos ou de outras
disciplinas especficas da rea, por meio de um experimento
formal que avalie o OA. Antes disso, importante que sejam
acrescentados nele mais recursos, como os que foram sugeridos
na avaliao, principalmente mais recursos instrucionais no
menu de Ajuda e que permitam ao aluno aprender mais com a
ferramenta sobre os conceitos de programao concorrente que
ela trabalha. Seria interessante tambm alguma explicao
sobre os cdigos da me e cozinheiro para melhor explicar o
uso de synchronized e do wait e notity, contedos nem sempre
bem compreendidos quando se est aprendendo a fazer
sistemas concorrentes em Java. Alm disso, o OA poderia
explorar tambm e discutir melhores implementaes do
comportamento concorrente, como o uso da interface Runnable
ao invs da extenso da classe Thread e permitir no futuro que o
aluno possa alterar o cdigo e ver o efeito disso na animao
mostrada. Um outro trabalho futuro planejado disponibilizar
no site da ferramenta suas verses futuras (inclusive uma
verso Applet) e um frum de discusso sobre a ferramenta
para assim incentivar o desenvolvimento de futuros OAs deste
gnero e tambm contribuies para a prpria ferramenta por
outros desenvolvedores.
Uma das formas de identificar o nvel de aceitao do OA

por parte dos alunos foi perguntar se o indicariam para colegas.
Observou-se que 87% dos alunos que responderam o
formulrio indicaria o OA Quero Bolo para algum colega.
Alm de observar se os alunos indicariam a ferramenta para
colegas, avaliou-se tambm a percepo dos alunos sobre o
quanto a ferramenta poderia lhes ajudar a absorver o contedo
visto. 59% dos alunos responderam que a ferramenta poderia
sim ter auxiliado em uma melhor absoro do assunto visto em
sala de aula sobre programao concorrente e 35%
responderam Talvez. Apenas 6% responderam que no. Com
base nisso, confirma-se para este grupo pesquisado a hiptese
de que foi til utilizar o Quero Bolo para apoiar a introduo
desse contedo considerado difcil por vrios alunos. Este
aspecto foi tambm verificado atravs de outra questo em que
se perguntava se eles acreditavam que o OA pode auxiliar no
ensino de programao concorrente. 81% dos alunos que
responderam acreditam que o OA Quero Bolo pode auxiliar no
ensino da programao concorrente, o que foi um resultado
positivo e que mostra que a ferramenta teve uma boa aceitao
inicial (hiptese que foi considerada nessa avaliao feita).
REFERENCES
Foram levantados os aspectos positivos e negativos

observados pelos participantes da avaliao. Alguns dos
principais aspectos positivos se referiam interface, que foi
considerada bastante amigvel para desmistificar um assunto
que causa certo receio aos alunos. Outro ponto positivo
levantado o de que o OA uma forma divertida de se
entender o bsico de threads em Java em pouco tempo. Foi
observado que a maioria dos alunos acharam a ferramenta
interessante e acreditavam que ela ajudaria muitos estudantes
que tm dificuldade em assimilar este contedo.
[1]
Os principais aspectos negativos se referiram a sugestes

para que o OA Quero Bolo pudesse ter mais explicaes sobre
threads e outros contedos relacionados. Um outro ponto
negativo levantado a falta de recursos de udio na ferramenta
e o fato de no explorar outros aspectos da programao
concorrente como o uso de semforos em Java.
[5]
[2]
[3]
[4]
[6]
[7]
VI. CONCLUSES E TRABALHOS FUTUROS

Este trabalho apresentou e discutiu a aplicao de um
objeto de aprendizagem produzido para apoiar o ensino
introdutrio de programao concorrente na disciplina de
Programao Orientada a Objetos para alunos dos cursos de
[8]
81
N. Akimoto; J. Cheng An Educational Game for Teaching and

Learning Concurrency. In: Knowledge Economy and Development of
Science and Technology (KEST 2013), 2013.
G. L. Davies. Teaching concurrent programming with Pascal-FC.
ACM SIGCSE Bulletin, v. 22, n. 2, p. 38-41, 1990.
S. Li. Rock 'em, sock 'em Robocode! Learning Java programming is
more fun than ever with this advanced robot battle simulation engine.
IBM Developer Works. 1 jan 2002. Disponvel em: <
http://www.ibm.com/developerworks/java/library/j-robocode/>
L. N. Macdo; A. A. M. Macdo; J. A. C. Filho. Avaliao de um
Objeto de Aprendizagem com Base nas Teorias Cognitivas. WIE, Rio
de janeiro, julho. de 2007.
V. Manickam, V. e A. Aravind. If a picture is worth a thousand words,
what would an animation be worth? In Proceedings of the 16th Western
Canadian Conference on Computing Education, New York, NY, USA,
2011.
A. Ortiz. Teaching concurrency-oriented programming with Erlang. In
Proceedings of the 42nd ACM technical symposium on Computer
science education, SIGCSE 11, 2011, pages 195-200, New York, NY,
USA. ACM.
S. S. Toscani. Vale4 Uma Linguagem Didtica para Ensino de
Programao Concorrente. In: Anais do I Workshop de Sistemas
Operacionais (WSO 2004), 2004.
P. Van Roy; J. Armstrong, M. Flatt; B. Magnusson. The role of language
paradigms in teaching programming. In ACM SIGCSE Bulletin (Vol. 35,
No.
1,
pp.
269-270).
ACM.
2003
FEES
O uso de questionrios para elicitao de informaes

sobre uma estratgia didtica em Engenharia de
Requisitos
Joanna Pivatelli Bistene, Roxana Quintanilla Portugal, Priscila Engiel, Edgar Alexander,, Julio Cesar Sampaio do
Prado Leite
Departamento de Informtica, PUC-Rio, Rio de Janeiro, RJ, Brasil
Departamento de Cincias Exatas e Tecnolgicas, UESC, Ilhus, Bahia
{jpivatelli, rportugal, pengiel}@inf.puc-rio.br, edgar@wais.com.br, www.inf.puc-rio/~julio
construo de um software. Uma abordagem para minimizar

essa dificuldade a criao artificial de interessados (clientes),
com o material humano disponvel no curso, isto , os prprios
alunos.
Resumo o ensino de Engenharia de Requisitos apresenta

uma srie de desafios para os educadores, sendo um dos
principais, o ensino de mtodos, tcnicas e ferramentas de
elicitao. Uma estratgia para mitigar alguns dos desafios vem
sendo adotada na PUC-Rio no ensino de Engenharia de
Requisitos e foi avaliada com base em uma tcnica de elicitao, o
questionrio, junto aos alunos no fim do semestre de 2014.1.
Apresentamos um resumo da estratgia, o processo de construo
do questionrio, bem como uma anlise das informaes
coletadas.
Apesar do sucesso obtido com essa estratgia em cursos

anteriores [4], faltava um instrumento sistmico para auxiliar
no entendimento de como essa estratgia era assimilada pelos
alunos. Para isso, produzimos um questionrio que permitisse
elicitar como a estratgia tinha sido percebida pelos alunos.
Esse questionrio foi elaborado com quinze perguntas
quantitativas, baseadas na escala Likert [5], e duas perguntas
qualitativas de respostas livres. O questionrio foi construdo
com especial cuidado, visto que serviria tambm como parte
do ensino da disciplina. Ele serviu como instrumento
quantitativo e como exemplo de uma forma de elicitar
requisitos. O questionrio foi implantado no software Google
Forms [6] e respondido aps o trmino do semestre.
Palavras-chave engenharia de requisitos; elicitao;

didtica; questionrio
I. INTRODUO
A Engenharia de Requisitos pode ser entendida como
composta de partes que esto em constante interao e
concorrncia. Essas partes so: elicitao, modelagem,
anlise e gerncia [1]. Um dos desafios no ensino de
Engenharia de Requisitos a dificuldade que os alunos de
graduao tm para aprenderem da elicitao de requisitos.
Um dos motivos o fato de que a elicitao de requisitos
fortemente ligada s disciplinas da rea social [2].
O objetivo deste artigo apresentar as informaes

elicitadas a respeito da estratgia didtica utilizada, na
disciplina de Engenharia de Requisitos da graduao. Este
artigo segue com a Seo II que descreve a os trabalhos
relacionados, a Seo III que apresenta estratgia didtica
adotada, a Seo IV que detalha o processo de criao do
questionrio, a Seo V que apresenta os resultados da
aplicao do questionrio e a Seo VI que apresenta a
concluso e prope trabalhos futuros.
Dentre as tcnicas ensinadas no curso de Engenharia de

Requisitos, relacionadas rea social, temos, por exemplo:
identificao de fontes de informao, entrevistas
(estruturadas, semi estruturadas e no estruturadas),
questionrios (qualitativos e quantitativos), reunies (brainstorming, JAD e orientado listas), observao e
etnografia [1]. Para fixao e melhor compreenso dessas
tcnicas importante que elas sejam praticadas gerando
questionamentos e vivncias experimentais de forma que o
conceito seja consolidado.
II. TRABALHOS RELACIONADOS

Apesar do IEEE REET (Requirements Engineering
Education and Training Workshop) estar na sua oitava
edio, a literatura focada em elicitao de requisitos ainda
, em geral, escassa. Dos artigos publicados destacamos [7]
que procura utilizar alunos, sem conhecimento de engenharia
de software, como clientes para responderem a perguntas com
base em um detalhado documento. Nossa estratgia difere
porque no fornecida nenhuma descrio, cabendo equipe
de interessados pensar e criar uma necessidade real. No caso
No entanto, disponibilizar fontes de informao para a

disciplina de Engenharia de Requisitos difcil e custoso,
visto que o papel de interessado requer o envolvimento de um
grupo que tenha conhecimento e interesse na evoluo ou
82
FEES
em pauta, tivemos quatro aplicaes: um sistema geogrfico

para indicaes dentro de um bairro, um gerenciador de
exerccios de academia, um controle de bancas de jornal e um
sistema de troca de jogos.
anlise, os grupos praticaram estratgias de verificao,

principalmente a inspeo de modelos com base em uma lista
de perguntas estabelecida para cada tipo de modelo. Como
parte da estratgia de gerncia, enfatizamos a construo de
rastros, por meio da descrio da histria do processo de
construo.
Outros autores propem o uso de jogos [8] para substituir a

interao entre indivduos, mas cremos que o resultado dessa
estratgia para o ensino de Engenharia de Requisitos em
turmas de graduao limitado devido ao fato de este ser, na
maioria, o primeiro contato dos alunos com a disciplina.
Acreditamos que o contato humano ainda necessrio para as
abordagens de ensino de elicitao, modelagem, anlise e
gerncia.
IV. QUESTIONRIO
Elaboramos o questionrio de forma colaborativa visando
avaliar a estratgia de ensino adotada no decorrer da disciplina
de Engenharia de Requisitos da graduao. Dividimos as
questes em categorias segundo os papis assumidos pelos
alunos da graduao, as percepes quanto ao papel dos
alunos de ps-graduao e aspectos gerais que possibilitassem
reflexo sobre a atuao dos grupos.
III. A ESTRATGIA DIDTICA

No processo de ensino da disciplina de Engenharia de
Requisitos da graduao, simulado um cenrio mais prximo
possvel da realidade de elicitao de requisitos, no qual
grupos de alunos representam empresas de construo de
requisitos com o objetivo de levantar as necessidades de um
cliente, representado por outro grupo de alunos. Os alunos
tambm desempenharam o papel de auditores, no qual eles
realizam anlise, atravs de tarefas de verificao. No caso, a
verificao foi conduzida nas representaes criadas por outro
grupo utilizando mtodos de inspeo com listas de perguntas,
inspiradas em Fagan1. Com isso, ao longo da disciplina, cada
grupo teve a possibilidade de exercer trs papis diferentes:
construtor de requisito, cliente e auditor.
Na categoria referente ao papel de engenheiro de

requisitos, foram agrupadas seis questes que nos permitiram
identificar como o respondente avaliou o desempenho do seu
grupo no papel de engenheiro de requisitos. A ideia era
verificar se o grupo teve o entendimento das tarefas de um
engenheiro de requisitos e se ele conseguiu execut-las
Na categoria referente ao papel de cliente, foram
agrupadas quatro questes que nos permitiram observar como
o respondente compreendeu a relevncia das atividades
pertinentes ao cliente. A ideia era verificar se os alunos
entenderam melhor o papel de engenharia de requisitos por ter
desempenhado o duplo papel, ou se este duplo papel apenas
dificultou o aprendizado.
Portanto, a disciplina de Engenharia de Requisitos vem

utilizando a estratgia de um projeto prtico [3], entremeado
com as aulas. Esse projeto pressupe a formao de empresas
que atuaro na construo de requisitos para um determinado
grupo de interessados, o grupo cliente. Para tal, cada grupo de
alunos, quando assume o papel de empresa construtora de
requisitos, responsvel por construir requisitos para um
grupo de interessados. Ocorre que este grupo de interessados
outro grupo de alunos da disciplina. No caso em questo, a
turma tinha quatro grupos, onde cada um foi, ao mesmo
tempo, cliente e construtor. Com isso, os grupos A, B, C e D
formaram 4 pares: A - construtor, D cliente; A - cliente, B construtor; B cliente, C - construtor; D - construtor, C cliente.
Na categoria referente ao papel de auditor, foram

agrupadas duas questes que nos permitiram identificar como
o respondente assimilou a atividade de inspecionar o trabalho.
Alm de verificar o entendimento das tarefas de inspeo, a
ideia era verificar se eles entenderam a importncia desta fase
dentro do processo como um todo.
Na categoria referente ao papel do consultor, temos uma
questo com o intuito de verificar se a presena de um
membro externo foi benfica para a compreenso e
entendimento das etapas de elicitao.
Na categoria de aspectos gerais, temos duas questes: uma
sobre gerncia e outra sobre a participao dos membros do
grupo. Alm disso, nessa parte do questionrio fizemos duas
perguntas qualitativas: Diga sumariamente os 3 pontos fortes
da estratgia de ensino e Diga sumariamente os 3 pontos
fracos da estratgia de ensino
Desta forma, cada grupo empregou tcnicas de elicitao

com o seu cliente, ou seja, outro grupo de alunos. Alm disso,
cada grupo desempenhou, tambm, o papel de auditor externo,
por meio da tcnica de inspeo [9, 10 e 11]. Cada grupo foi
apoiado por um consultor, papel esse desempenhado por
alunos de ps-graduao em Engenharia de Requisitos.
Para cada questo, foi definido e apresentado ao

respondente o objetivo, a justificativa e cinco possveis
respostas gradativas que possibilitavam identificar o grau de
satisfatibilidade, conceito de satisfao a contento proposto
em [14], do aluno. Realizamos cinco reunies para debater o
questionrio e dividimos as tarefas de propor questes por
grupos entre os autores. Obter a cobertura desejada, dentro de
um limite de 15 perguntas quantitativas um desafio e faz
parte da competncia do Engenheiro de Requisitos, no uso da
tcnica de questionrio.
Para elicitao de requisitos, os grupos usaram as tcnicas

[1] apresentadas nas aulas tericas, como, por exemplo,
reunies, questionrios, entrevistas, leitura de documentos e
observao. Para a modelagem, cada grupo utilizou trs
linguagens apresentadas nas aulas tericas, dentre elas,
cenrios [12] e lxico ampliado da linguagem [13]. Para a
1
Michael E. Fagan, "Advances in software inspections," IEEE

Transactions on Software Engineering, vol. 12, no. 7, pp. 744-751,
July, 1986.
As respostas foram elaboradas de acordo com uma ordem

ascendente de satisfao a contento ou entendimento quanto a
83
FEES
questo de referncia. Desta forma, foi possvel identificar

que, caso a resposta a uma pergunta tenha sido 1, o grau de
satisfatibilidade do aluno foi o mais baixo possvel. Em
contrapartida, caso a resposta do aluno tenha sido 5, o grau de
satisfatibilidade foi o mais alto possvel.
Pontos fracos:
Gerncia no atuante
Consistncias:
Na maioria das perguntas quantitativas e
qualitativas possvel perceber que h
consistncia
Aps a concluso da disciplina, enviamos um e-mail

solicitando aos 26 alunos que respondessem ao questionrio,
cujo objetivo era entender como a estratgia de ensino tinha
sido percebida e como poderia ser melhorada. Obtivemos 19
questionrios respondidos completamente. Cabe ressaltar que
o preenchimento do questionrio foi annimo, no houve
associao s notas atribudas e no coletamos quaisquer
informaes pessoais que possibilitassem a identificao dos
alunos. Alm disso, o aluno poderia abandonar o questionrio
a qualquer momento sem a necessidade de finaliz-lo.
Discrepncias:
Algumas perguntas apresentam algum
grau de insatisfao, porm, no disserta
a respeito
Tab 1 - Consolidao das Respostas do Questionrio
A. Identificao de pontos fortes e pontos fracos

Os pontos fortes e fracos foram elicitados atravs das duas
questes qualitativas que solicitavam, aos alunos da disciplina
de Engenharia de Requisitos da graduao, trs pontos fortes e
trs pontos fracos da estratgia de ensino utilizada.
A Figura 1 ilustra uma questo quantitativa presente no

questionrio referente ao papel de Engenheiro de Requisitos.
Os pontos fortes apresentados demonstraram que os alunos

da disciplina de Engenharia de Requisitos da graduao
aproveitaram a presena dos consultores no decorrer da
execuo do trabalho, destacando o auxlio prestado durante a
elaborao das atividades. Alm disso, os pontos fortes
identificaram a experincia do trabalho como algo prximo
realidade, contribuindo positivamente para a assimilao do
contedo da disciplina. Outros temas como a gerncia,
paralelizao e diviso das tarefas foram citados como
consequncia da maximizao da qualidade dos trabalhos
produzidos. Os diferentes papis que os alunos de graduao
puderam vivenciar foram citados, com destaque maior para o
papel de cliente que possibilitou maior compreenso do papel
de empresa construtora de requisitos. Por ltimo, o uso de atas
foi citado como um ponto importante para manter a
organizao no grupo.
Fig 1 - Feedbak sobre o Trabalho de E.R.
V. RESULTADOS DA APLICAO DO QUESTIONRIO

As respostas obtidas por meio das perguntas qualitativas
foram estudadas por todos os alunos de ps-graduao. Para
facilitar a anlise, as respostas foram divididas entre os quatro
alunos fazendo com que cada um trabalhasse com um total de
quatro ou cinco conjuntos de respostas. A Tabela 1 apresenta
os resultados relevantes obtidos por meio das 19 respostas e
contm os pontos fortes, os pontos fracos, as consistncias e as
discrepncias identificadas na comparao das respostas
qualitativas e quantitativas de cada conjunto de questes
respondidas.
ALUNO 01
Pontos fortes:
Presena do consultor
Experincia prxima da realidade
Pontos fortes:
Tamanho do grupo
Consistncias:
O papel cliente foi evidenciado
Falta de um enunciado formal foi
evidenciada
Discrepncias:
O papel cliente foi considerado
indiferente para o aprendizado porm
no destacado como ponto negativo
ALUNO 03
Pontos fortes:
Gerncia atuante
Uso de atas
Pontos fracos:
Tamanho do grupo
Falta de um enunciado formal
Conhecimento dividido
Consistncias:
O paralelismo das tarefas e melhoria
do trabalho
Nas
perguntas
quantitativas
e
qualitativas possvel perceber que h
consistncia
Discrepncias:
No identificada
Os pontos fracos apresentados demonstraram a

insatisfao quanto ao tamanho dos grupos (seis a sete
membros) justificada sob a dificuldade de gerenciar um
nmero grande de pessoas, acarretando em conhecimento
concentrado naquele que executou a tarefa de gerncia. A
gerncia no atuante e a falta de um enunciado formal foram
apontadas como demais pontos fracos.
ALUNO 02
Pontos fortes:
Estratgia de tarefas paralelizadas
Diviso das tarefas
Pontos fracos:
Tamanho do grupo
Conhecimento dividido
Consistncias:
O paralelismo das tarefas e melhoria
do trabalho
Nas
perguntas
quantitativas
e
qualitativas possvel perceber o
conhecimento dividido
Discrepncias:
O papel cliente foi considerado
indiferente para o aprendizado porm
no destacado como ponto negativo
ALUNO 04
Pontos fortes:
Estratgia de tarefas paralelizadas
Diviso das tarefas e diferentes papis
Experincia prxima da realidade
B. Identificao de consistncias e discrepncias

A identificao de consistncias e discrepncias foi
realizada a partir das questes quantitativas e incidncias
destas no que foi respondido nas questes qualitativas e viceversa. Desta forma, por exemplo, caso o respondente tenha
selecionado uma resposta que traduza que o papel de cliente
no contribuiu para o trabalho, espera-se que esse aluno tenha
citado o papel de cliente no processo de elicitar requisitos
como ponto fraco da estratgia adotada.
Com isso, foi possvel identificar discrepncias gerais
acerca de informaes coletadas nas perguntas que no foram
citadas nas duas questes qualitativas. Observamos que o
papel cliente teve boa receptividade, sendo citado como ponto
positivo nas respostas qualitativas e evidenciadas nas
84
FEES
propiciou aos alunos compreenderem a aplicao de tcnicas

de elicitao, bem como a experincia de assumir o papel do
cliente que, geralmente, no levada em considerao ou,
ainda, no destacada.
quantitativas, apresentando homogeneidade no conjunto de

respostas fornecidas.
C. Resultados
Aps a identificao dos pontos fortes, dos pontos fracos,
das consistncias e discrepncias, foi realizado um clculo
para mensurar a aceitabilidade da estratgica de ensino
adotada. Para o clculo, foi considerada a escala Likert [5] de
forma que a primeira resposta teria valor 1, a segunda resposta
teria valor 2, e assim por diante. Para cada questo, foi
identificada aquela que teve maior incidncia de votos e, para
as questes que apresentaram duas opes como mais votadas,
contabilizamos a mdia.
Nossos resultados iniciais corroboram no sentido de que a

estratgia adotada positiva e auxiliaram os alunos a
compreender melhor as atividades de um Engenheiro de
Requisitos, entretanto, necessrio replic-la em mais turmas.
Entendemos que, alm do questionrio, devemos analisar as
observaes feitas pelos alunos da ps-graduao como
consultores do projeto. Acreditamos que esse um dos
trabalhos futuros que pode ser realizado.
A disponibilizao do material aqui utilizado bem como os
questionrios, ajudar na replicao do estudo em outras
instituies, possibilitando uma melhor anlise quanto a
eficcia da estratgia didtica proposta.
Na Figura 2 apresentamos a mdia para as perguntas

relacionadas ao papel de Engenheiro de Requisitos, 3,75, para
o papel de Cliente, 4,37, para o papel de Auditor, 4, para o
papel de Consultor, 5 e, finalmente, para os aspectos gerais a
mdia, 3,5. A mdia geral dos itens citados 4,1 e este
numeral que define o grau de aceitabilidade da estratgia
educacional adotada no perodo de 2014.1 na turma de
graduao da disciplina de Engenharia de Requisitos.
REFERNCIAS
[1]
[2]
[3]
[4]
[5]
[6]
Fig. 2 - Resultado Obtido
[7]
Considerando 1 como Ruim, 2 como Fraco, 3 como

Mdio, 4 como Bom e 5 como timo, temos duas
categorias com mdias entre Mdio e Bom, uma categoria
com Bom e duas categorias com mdias entre Bom e
timo. Desta forma, consideramos a estratgia utilizada
positiva com a mdia geral 4,1 entre Bom e timo.
[8]
[9]
A categoria Aspectos Gerais, com mdia 3.5, reflete os

pontos fracos citados agregando consistncia s informaes
apresentadas, conforme contemplado na Tabela 1.
[10]
VI. CONCLUSO
Dos pontos fracos apontados pelo alunos em relao a
estratgia didtica, destacamos dois: a falta de um enunciado e
o tamanho do grupo de trabalho que foi considerado grande.
interessante observar que estes pontos fizeram parte da
estratgia. A falta de enunciado formal foi proposital, para
contrapor com uma constante no ensino de engenharia de
requisitos que o fornecimento de descries completas para
alunos, o que irreal e pouco ajuda a tarefa de elicitao, com
exceo da tcnica de leitura de documentos. O tamanho dos
grupos de trabalho tambm faz parte da estratgia utilizada,
pois a coordenao do grupo um problema real e o tamanho
ajudou na conscientizao do problema. Alm disso, a
possibilidade de simular um projeto prximo da realidade
[11]
[12]
[13]
[14]
85
J.C.S.P. Leite, .Livro Vivo: Engenharia de Requisitos,

http://livrodeengenhariaderequisitos.blogspot.com/, 2007.
H.S. Becker, Segredos e Truques da Pesquisa, Ed. Zahar, 2008.
L.F. Silva,. J.C.S.P. Leite,. ,K. K. Breitman, Ensino de Engenharia de
Software: Relato de Experincia, Workshop de Educao em
Informtica (WEI 2004), 12., Salvador, 2004.
M. Serrano, F. Napolitano, M. Serrano, E. Kinder, M. Douglas, D.
Loyola, B. Rezende, J.C.S.P. Leite Uma Proposta para Avaliao de
Equipes de Requisitos. Anais do WER08 - Workshop em Engenharia
de Requisitos, Barcelona, Catalonia, Spain, Setembro 12-13, pp 34- ,
2008.
R.A. Likert, A technique for the measurement of attitudes Archives
of Psychology.Vol. 22 n. 140, p. 42-53, 1932.
Google Docs Create Form in http://www.google.com/google-ds/createforms.html, acessado e criado em maio de 2014.
G. Gabrysiak, H. Giese, A. Seibel, S. Nerumann, Teaching
requirements engineering with virtual stakeholders without software
engineering knowledge. 2010 IEEE: IEEE Computer Society 2010.
T. Hainey, T.M. Connolly, M. Stansfield, and E.A. Boyle. Evaluation
of a game to teach requirements collection and analysis in software
engineering at tertiary education level. Comput. Educ. 56, 1, 21-35,
January 2011.
A. Belgamo, S. Fabbri. GUCCRA: Contribuindo para a Identificao
de Defeitos em Documentos de Requisitos Durante a Construo
de Modelos de Casos de Uso. Anais do WER04 - Workshop em
Engenharia de Requisitos, Tandil, Argentina, Dezembro 9-10, 2004, pp
100-111.
L.A. Bertini, T.G. Kirner, M.I. Montebelo, I.A. R. Lara. Tcnicas de
Inspeo de Documentos de Requisitos de Software: um Estudo
Comparativo. Anais do WER06 - Workshop em Engenharia de
Requisitos, Rio de Janeiro, RJ, Brasil, Julho 13-14, 2006, pp 67-74.
G.N. Kaplan, G.D.S. Hadad, J.H.Doorn, J.C.S.P. Leite. Inspeccin Del
Lexico Extendido Del Lenguaje. Anais do WER00 - Workshop em
Engenharia de Requisitos, Rio de Janeiro-RJ, Brasilpp 70-91, Julho 1314, 2000.
K.K. Breitman, Evoluo de cenrios, Tese de Doutorado,
Departamento de Informtica, Pontifcia Universidade Catlica do Rio
de Janeiro, RJ, 2000.
R. Nitsche, L.A. Bortoli, E-LAL: Um Editor Para o Lxico Ampliado
da Linguagem,INFOCOMP Journal of Computer Science, vol. 5, no.
3, pp.59-67, 2006.
H. Simon, Theories of Decision-Making in Economics and
Behavioral. Science The American Economic Review, Vol. 49, No.3,
Pags. 253-283, 1959.
FEES
Prticas de colaborao no desenvolvimento de

Software com o Governo: impactos na
aprendizagem de alunos de graduao
Camila Ferreira1 , Aline Gonalves1 , Marisa Santos2 , Paulo Meirelles1 , Hilmer Neri1
1
Faculdade UnB Gama Universidade de Braslia (UnB), Brasil

Ministrio do Planejamento, Oramento e Gesto (MP), Brasil
{camilaferreira251,alinegsantoss}@gmail.com, marisa.santos@planejamento.gov.br, {paulormm,hilmer}@unb.br
2
verses lanadas a partir daquele ano. Dessa forma, o SPB

passou um processo de estagnao tecnolgica e qualquer evoluo a ser realizada na ferramenta demandava muito tempo e
esforo dos analistas da SLTI/MP. Sendo assim, o SPB atual
conta com uma srie de problemas, especialmente a ausncia
de uma ferramenta para desenvolvimento colaborativo e um
ambiente de rede social para as comunidades do projetos.
Nesse contexto, um dos passos para a concretizao de
uma nova plataforma para o SPB a integrao com novas
tecnologias, desde uma plataforma colaborativa at sistemas
de controle de verso e de monitoramento da qualidade do
cdigo fonte, gerenciadas e apresentadas em uma plataforma
integrada no back-end e, em especial, no front-end para que os
usurios e as comunidades tenham um conjunto de recursos
para encontrarem os projetos, bem como colaborarem em torno
de um sofware pblico.
Mesmo com as limitaes citadas, o Portal do Software
Pblico Brasileiro teve em 2013 mais de 600 mil visitantes
nicos, com mais de 1 milho de acessos, gerando mais de
16 milhes de visitas nas pginas, com um total de mais
de 49 milhes de hits. no Portal SPB. Avaliando apenas os
principais projetos, houveram mais de 15 mil downloads e 4
mil mensagens trocadas nos fruns. Essa amostra ilustra bem
o potencial do SPB que mesmo com alguns problemas possui
uma boa quantidade de acessos, softwares e usurios.
Para concretizar a evoluo do SPB, a Universidade de
Braslia est coordenando tal processo, atravs de uma equipe
heterogne de alunos, professores e profissionais, que esto
aplicando prticas colaborativas de desenvolvimento de software e gesto de projeto que impactam no projeto em si
e, em especial, na aprendizagem dos alunos envolvidos, que
esto tendo contato com mtodos geis como XP e Scrum,
alm de novas ferramentas de suporte ao desenvolvimento de
software. Portanto, neste artigo iremos relatar, na Seo II,
apresentamos uma viso geral da arquitetura e das tecnologias livres que esto sendo usadas e evoludas para compor
a nova plataforma do SPB; na Seo III, as metodologias
usadas e as principais prticas adaptadas equipe em questo;
na Seo IV, discutimos os resultados de uma pesquisa de
levantamento da aprendizagem dos alunos do projeto; na
ResumoO Portal do Software Pblico Brasileiro (SPB), na

prtica, um sistema web que se consolidou como um ambiente
de compartilhamento de softwares. O projeto de evoluo deste
portal est sendo desenvolvido pela Universidade de Braslia e
conta com integrantes de diversos perfis e nveis de formao.
O projeto utiliza algumas prticas de mtodos geis em sua
metodologia de desenvolvimento. O objetivo deste artigo relatar
a experincia no desenvolvimento, ao lado do Ministrio de
Planejamento, bem como mostrar o quanto o projeto tem
contribudo para a formao dos seus integrantes.
Index TermsEngenharia de Sofware, Software Livre, Software Pblico, Evoluo de Software
I. I NTRODUO
O governo federal brasileiro vem nos ltimos anos buscando
melhorias nos seus processos de desenvolvimento e adoo de
software. Desde 2003, a recomendao da adoo de software
livre passou a ser uma poltica incentivada na esfera federal,
inicialmente com a criao do Guia Livre1 . Hoje, tal iniciativa
coordenada pelo Comit Tcnico de Implementao de
Software Livre do Governo Federal2 .
No contexto da promoo do software livre no governo
federal, a Secretaria de Logstica e Tecnologia da Informao
(SLTI) do Ministrio do Planejamento, Oramento e Gesto
(MP) inaugurou em 2007, o Portal do Software Pblico
Brasileiro (SPB), que, na prtica, um sistema web que
se consolidou como um ambiente de compartilhamento de
projetos de software no governo. Por exemplo, a Instruo
Normativa 04/20123 indica que os gestores devem consultar
as solues existentes no Portal do SPB antes de realizar uma
contratao de software. Hoje, com o portal do SPB tem cerca
de 69 comunidades de desenvolvimento e mais de 200.000
usurios cadastrados.
Entretanto, a evoluo do SPB foi comprometida, desde
2009, quando a plataforma do SPB no acompanhou a evoluo do seu arcabouo base, o OpenACS4 . Com isso, no tendo
1 governoeletronico.gov.br/acoes-e-projetos/guia-livre
2 softwarelivre.gov.br
3 governoeletronico.gov.br/biblioteca/arquivos/instrucao-normativa-no-04de-12-de-novembro-de-2010
4 openacs.org
86
FEES
Seo V, apresentamos as consideraes finais deste relato

de experincia.
Para Forge para SVN estamos utilizando o Trac, que

uma ferramenta open source para controle de mudanas
em projetos de desenvolvimento;
Para sistemas de controle de verso estamos utilizando
SVN e Git, que so ferramentas open-source para controle de mudanas em projetos de desenvolvimento;
Para Forge para Git estamos utilizando o GitLab, que
um software livre de colaborao de cdigo online que
utiliza a ferramenta de gerncia de cdigo fonte Git;
Para sistema de gerenciamento estamos utilizando o
Redmine, que uma aplicao web de gerenciamento
de projetos que disponibiliza diversas ferramentas para
auxiliar a gesto e manuteno de um projeto;
Para suporte a Single Sign On estamos utilizando o
Mozilla Persona, que foi desenvolvido pela Mozilla e
permite o suporte a single sign on;
Para Sistema de Integrao contnua estamos utilizando o
Jenkins, que uma aplicao web de integrao contnua
de construo de projetos.
Para integrar todas estas ferramentas estamos utilizando o
Colab, que uma plataforma de integrao de ferramentas.
Nele, so tambm integradas as interfaces das ferramentas para
que, ao navegar, o usurio tenha a sensao de estar navegando
em uma nica ferramenta.
II. A RQUITETURA
O sistema que ir atender a evoluo e reformulao do
Portal do Software Pblico Brasileiro composto por diversos mdulos, os quais iro comunicar-se entre si de forma
organizada e integrada para suprir as necessidades do projeto.
Figura 1. Proposta de arquitetura do Novo Portal do Software Pblico
III. M ETODOLOGIA
Pelo contexto colaborativo e emprico do desenvolviemento
de software livre, adotamos algumas prticas dos geis, baseada em Scrum e Extreme Programming (XP). O XP prover
o suporte aos aspectos mais tcnicos, enquanto o Scrum
prov prticas e tcnicas para gerenciamento, planejamento
e acompanhamento [1], [2].
Para melhor gerenciamento a durao total do projeto foi
dividida em sete Releases, cada uma com durao de quatro
meses. Ao final de cada release realizada uma entrega. Ou
seja, sero ao todo sete etapas de resultados a serem disponibilizadas ao longo da execuo do projeto. Para homologao e
ateste tcnico, disponibilizado um resultado prvio um ms
antes da entrega da Release, chamadas de Releases Candidatas.
Assim, a partir da disponibilizao do resultado da release
candidata, temos trinta dias para ajustes, correes e testes
finais.
Alm disso, so disponibilizados resultados intermedirios
mensalmente. Trata-se da oportunidade da equipe da SLTI/MP
poder fornecer feedbacks de possveis alteraes ou novas
funcionalidades, as quais so tratados como novos itens no
backlog para priorizao.
A equipe formada, em sua maioria, por estudantes, 16
de graduao e 5 de ps-graduao, de engenharia de software, cincia da computao, artes e desenho industrial, da
Universidade de Braslia e da Universidade de So Paulo,
os quais esto tendo sua formao complementada por meio
dessa oportunidade de participarem como protagonistas em um
projeto de grande magnitude. Cinco professores coordenam
as subequipes do projeto e dois desenvolvedores, criadores
da duas principais ferramentadas livres adotadas, atuam como
No incio do projeto realizamos estudos de possveis ferramentas que pudessem ser utilizadas para atender as necessidades do projeto, chegando ento na lista apresentada abaixo.
Na anlise realizada chegamos ao entendimento que utilizar
elementos j oferecidos por softwares livres existentes seria o
ideal, pois eles j atendem s nossas necessidades, evitando o
retrabalho e customizando os elementos necessrios.
As ferramentas que sero utilizadas para suprir essas necessidades sero:
Para lista de e-mail estamos utilizando o Mailman na

verso 2, que um software gratuito para gerenciamento
de discusso eletrnica de e-mail e listas e- newsletter;
Para Chat estamos utilizando Punjab BOSH (XMPP),
que uma interface HTTP cliente jabber. um gerenciador de conexo BOSH que permite conexes de
clientes persistentes para um servidor XMPP (protocolo
de comunicao para mensagens orientadas a middleware
baseado em XML);
Para Plataforma de Buscas estamos utilizando Apache
Solr, que uma plataforma de busca open source da
Apache Lucene escrita em Java;
Para rede social estamos utilizando o Noosfero que
uma plataforma web livre para criao de redes sociais
com blog, e-Portiflios, CMS, RSS, discusso temtica,
agenda de eventos, galeria de imagens, chat, entre outros.
Ele foi desenvolvido pela Cooperativa de Tecnologias
Livres Colivre 3 em 2007, sob a licena AGPL v.3,
com a proposta de permitir ao usurio criar sua prpria
rede social personalizada, livre e autnoma;
87
FEES
arquitetos de software, liderando as decises tcnicas. Alm

deles, trs analistas do SLTI/MP acompanham e tambm
participam da gesto do projeto e das decises tecnolgicas.
Em resumo, os integrantes esto divididos em subequipes que
atuam, no momento, em quatro frentes: Proxy de Integrao,
Rede Social, Monitoramento de cdigo-fonte e Design de
interao. Contamos ainda com um professor cuidando mais
de perto do gerenciamento do projeto como um todo.
Pela natureza do projeto, utilizao de prticas geis e
proximidade dos analistas do SLTI/MP, utilizamos user stories
para levantamento de requisitos. So feitas reunies de acompanhamento do projeto com os analistas que seguem de perto
o andamento do mesmo e assim temos a chance de escrever
juntamente com os administradores do SPB as user stories.
utilizada a prtica de programao em par para o desenvolvimento de todas as histrias. Temos observado que tal
prtica facilita o nivelamento e a disseminao do conhecimento entre todos os membros da equipe sem atrapalhar a
produtividade da mesma, com essa prtica a validao e a
verificao da histria mais confivel por estar sendo feito
por pelo menos duas pessoas.
Devido a formao diversificada, a disponibilidade de horrio variadas e a distribuio geogrfica da equipe (com
integrantes de Braslia, da Bahia e de So Paulo), precisamos
definir algumas prticas que facilitassem a comunicao entre
os integrantes.
Para informar o status das tarefas do projeto e evitar falhas
de comunicao mantemos uma lista de e-mail com todos
os integrantes do projeto, na qual relatado diariamente o
status das histrias da sprint atual e eventuais problemas que
precisam ser resolvidos.
Para manter o controle das atividades do projeto, utilizamos
a ferramenta de gerenciamento Redmine com configurao
gil, onde so mantidos o product backlog com as histrias de
usurios, as histrias tcnicas e suas respectivas tarefas. Para
cada histria, h um responsvel associado, o qual responde
pelo progresso da histria, e uma pontuao, que corresponde
ao esforo planejado para a mesma.
Baseado nos eventos da metodologia gil Scrum, a equipe
realiza algumas cerimnias, dentre elas:
IV. R ELATO DE E XPERINCIA

Para verificar o quanto o projeto est auxiliando a formao
do aluno em diferentes aspectos, foi aplicado um questionrio
na equipe de desenvolvimento do Novo Portal do Software
Pblico, onde os mesmos poderiam expressar o quanto esto
aprendendo com o projeto.
O questiorio foi respondido por 17 integrantes do projeto
que tm entre 20 e 26 anos, os quais ento entre o 5o e o 10o
semestre do curso de Engenharia de Software.
A primeira questo pretendia averiguar o nvel de conhecimento dos entrevistados, em uma escala de 1 a 5, em
relao s ferramentas que esto sendo utilizadas no projeto.
Como resultados tivemos que 63% responderam nvel 3, 19%
responderam nvel 2 e 19% responderam nvel 4.
A segunda questo pretendia averiguar o quanto o projeto
est contribuindo para a formao do entrevistado. Em uma
escala de 0 a 5, 69% dos entrevistados responderam "5 Contribui muito, mais que determinadas disciplinas", 19% dos
entrevistados responderam "4 - Contribui, no mesmo nvel de
muitas disciplinas"e 13% dos entrevistados responderam "3 Contribui, da mesma forma que um estgio convencional".
A terceira questo est relacionada, tambm em uma escala
de 0 a 5, a quanto o projeto atrapalha a sua performance
nas disciplinas da graduao. Como resultados, 19% dos
entrevistados responderam "3 - Atrapalha minha graduao da
mesma forma que um estgio", 50% dos entrevistados responderam "2 - Atrapalha moderadamente", 19% dos entrevistados
responderam "1 - Atrapalha pouco, menos que um estgio"e
13% dos entrevistados responderam "0 No atrapalha em nada
na minha graduao".
A quarta questo averigua o quanto, em uma escala de
0 a 5, os conhecimentos adiquiridos durante a execuo do
projeto ajudam os entrevistados nas disciplinas da graduao.
Como resultados, 7% dos entrevistados responderam "5 Ajuda muito, sempre utilizo os conhecimentos adiquiridos nas
disciplinas da graduao ", 47% respondeu "4 Ajuda muito,
utilizo os conhecimentos com frequncia nas disciplinas da
graduao", 27% respondeu "3 - Ajuda, utilizo os conhecimentos nas disciplinas da graduao"13% respondeu "2 - Ajuda
moderadamente, as vezes utilizo os conhecimentos adquiridos
no projeto"e 7% respondeu "1 Ajuda um pouco, utilizo
pouco os conhecimentos do projeto".
E a quinta questo perguntou o quanto, em uma escala de
0 a 5, o entrevistado acredita que o projeto do Novo SPB
vai contribuir em experincia para o mercado de trabalho.
Como resultados, 38% responderam "5 O projeto me tornar
experiente para o mercado de trabalho", 38% responderam "4
- O projeto me dar muita experincia para o mercado de
trabalho"e 25% responderam "3 - O projeto me dar uma boa
experincia para o mercado de trabalho".
Stand-up: a equipe realiza stand-up dirios fisicamente,

onde cada frente de trabalho comunica o que foi feito,
o que est sendo feito e eventuais problemas. Para que
os integrantes da equipe localizados em estados diferentes
acompanhem o stand-up, utilizada uma ferramenta para
hangout.
Reunies de planejamento: no incio de cada sprint,
realizada uma reunio de planejamento na qual so
definidas as histrias que seram desenvolvidades e essas
histrias so pontuadas com a prtica Planning Poker.
Reunies de encerramento: ao final de cada sprint, realizada uma reunio de encerramento, onde apresentado
o que foi desenvolvido e concludo para a sprint e o que
pode ser melhorado.
A. Discusso dos resultados

J era esperado o resultado da questo relacionada ao
nvel de experincia da equipe com as ferramentas a serem
utilizadas pois, era sabido que por serem alunos de graduao
88
FEES
j poderiam ter tido alguma experincia com as ferramentas nas disciplinas sem chegar a ser usurio avanado ou
desenvolvedores experientes nas mesmas, mas teriam algum
conhecimento que auxiliaria na execuo das atividades.
O projeto tem como objetivo auxiliar na formao dos
alunos e por isso foi questionada a opinio dos alunos respeito da contribuio trazida pelo projeto para sua formao,
obtivemos respostas positivas para essa pergunta pois o projeto
proporciona um ambiente de aprendizado e conhecimento de
novas tecnologias e metodologias de desenvolvimento alm de
adiantar problemticas que ainda sero vistas nas disciplinas
da graduao.
Sabendo que o projeto retira do aluno horas semanais que
poderiam estar destinadas ao estudo para as disciplinas da
graduao, trouxemos a questo de quanto o projeto atrapalha
no desempenho das disciplinas da graduao. As respostas
foram mais variadas, alguns responderam que no atrapalha
em nada na graduao, outros que atrapalham menos ou da
mesma forma que um estgio e a maioria respondeu que
atrapalha moderadamente, ou seja, o projeto est atrapalhado
na graduao mas compensado pelo conhecimento adquirido
j que nenhum entrevistado respondeu que est se sentindo
prejudicado por causa do projeto.
O projeto tm auxiliado nas disciplinas da graduao, segundo os entrevistados, como j mencionado, sendo assim o
projeto adianta para os integrantes alguns assuntos que ainda
seriam vistos nas disciplinas de graduao, diminuindo a curva
de aprendizados dessas disciplinas durante a graduao.
Uma preparao para o mercado de trabalho importante
e segundo os entrevistados o projeto est trazendo uma boa
experincia profissional para os seus integrantes. O contexto
de um projeto real com prazos e necessidades especficas em
diferentes reas da engenharia de software devem ter sidos
pensadas pelos entrevistados para a resposta desta questo.
O projeto tambm tem beneficiado o aprendizado dos alunos
em temas relacionados a Administrao Pblica pois o Portal
do SPB um sistema web que tambm visa beneficiar aos
rgos das esferas federal, estadual e municipal. Essa relao
com o governo auxilia tanto no crescimento profissional, uma
vez que estabelece um contato com usurios de governo, como
uma viso sobre negcios que envolvem toda a Administrao
Pblica.
ao conhecimento prvio adquirido no somente de prticas

geis mas tambm de novas linguagens de programao. Ficou
conhecido tambm que tempo gasto trabalhando no projeto
atrapalha moderadamente o desempenho na graduao dos
integrantes do projeto, mas o esforo ser recompensado com
uma boa experincia para o mercado de trabalho.
De maneira geral o projeto tem ajudado os seus integrantes
a aprender a lidar com dificuldades encontradas no desenvolvimento de software, est trazendo conhecimento tcnico e
gerencial para os membros da equipe alm de auxiliar nas
relaes interpessoais.
VI. T RABALHOS F UTUROS
Como proposta de trabalho futuro seria interessante abordar
como a presena dos profissionais chamados sniors no projeto
supracitado contribui para a formao dos alunos integrantes
do mesmo bem como o aprendizado de mercado que esse
profissionais passaramm para os alunos.
R EFERNCIAS
[1] K. Schwaber and M. Beedle, Agile Software Development with Scrum,
1st ed. Upper Saddle River, NJ, USA: Prentice Hall PTR, 2001.
[2] B. Fitzgerald, G. Hartnett, and K. Conboy, Customising agile methods
to software practices at intel shannon, Eur. J. Inf. Syst., pp. 200213,
2006.
V. C ONCLUSO
Neste projeto so utilizadas diversas ferramentas que no
tm sua linguagem de programao em comum e sobretudo
so relativamente novas no mercado e mesmo com esses
impecilhos podemos afirmar, a partir do relato de experincia, que os alunos no tinham expericia nas ferramentas a
serem utilizadas no projeto mas esta aparente dificuldade no
impediu os alunos de contribuir com o projeto
Foi possvel concluir tambm que o projeto est contribuindo com a construo da formao dos alunos, pois coloca
em prtica algumas situaes antes vistas apenas na teoria
dentro da sala de aula. O desempenho dos alunos nas disciplinas da graduao tambm ajudado pelo projeto,devido
89
FEES
Experincia no Projeto Framework de Solues de TI

Thatiany Lima de Sousa, Rejane Maria da Costa Figueiredo, Elaine Venson, Ricardo Ajax Koslovisk
Centro de Qualidade e Testes de Software - CQTS
Universidade de Braslia Faculdade do Gama
Gama, Brasil
Thaty_Sousa13@hotmail.com, {RejaneCosta, ElaineVenson, RicardoAjax}@unb.br
relatos pelo TCU, a dependncia excessiva do fornecedor

[3]. O trabalho de transferncia de conhecimento, no primeiro
ano de execuo, foi conduzido por Brito [4] com metodologia
descritiva e procedimento de estudo de caso. Dando
continuidade, para a avaliao da proposta, objetiva-se
executar um projeto piloto, fazendo uso da metodologia
explicativa e procedimento de pesquisa-ao.
Resumo A contratao de servios de Tecnologia da

Informao (TI) tem se tornado uma prtica comum nas
organizaes. Com a crescente popularidade das metodologias
geis, as organizaes pblicas esto adotando-as para
realizarem gesto de demandas de desenvolvimento de software.
A fim de contribuir com uma necessidade real do governo, uma
das frentes do projeto Framework de Solues de TI de
Melhoria de Processo, a qual tem o objetivo de produzir
conhecimentos e definir um processo de gesto de demandas,
baseado em princpios geis, para um Ministrio do governo
federal que recorre contratao de fornecedor de
desenvolvimento de software. Visando a reduo da dependncia
excessiva do fornecedor, um dos aspectos abordados nesta frente
a transferncia de conhecimento. Com o intuito de
compartilhar conhecimentos e experincias, este trabalho tem o
objetivo de apresentar os principais resultados e relatar a
experincia dos autores na conduo da Frente Melhoria de
Processo Transferncia de Conhecimento. No relato, tambm
so apresentados as dificuldades encontradas, o aprendizado
adquirido durante a execuo do projeto e as sugestes de
trabalhos futuros.
Com o intuito de compartilhar as experincias e os

conhecimentos adquiridos com o projeto, o objetivo deste
trabalho apresentar os principais resultados e relatar a
experincia dos autores na conduo da Frente Melhoria de
Processo Transferncia de Conhecimento. Para isso, sero
apresentados os principais resultados alcanados, o
aprendizado adquirido, as principais dificuldades encontradas
e os resultados esperados.
Este artigo est organizado em cinco Sees. Na Seo II
so apresentados os conceitos relacionados contratao de
servios de Tecnologia da Informao (TI) e transferncia de
conhecimento em contrataes. Na Seo III so apresentadas
informaes sobre o projeto de pesquisa, Framework de
Solues de TI. Na Seo IV apresentado o relato de
experincia com a execuo do projeto. Por fim, na Seo V
so apresentadas as consideraes finais e as sugestes de
trabalhos futuros.
Palavras-chave transferncia de conhecimento; contrataes

;software; metodologias geis; organizaes pblicas
I. INTRODUO
As organizaes pblicas tem buscado melhorar os seus
processos acreditando que produziro produtos com maior
qualidade. Desde 2001, as metodologias geis vm ganhando
crescente popularidade, inclusive dentro da administrao
pblica [1].
II. CONTRATAES DE SERVIOS DE TI

A terceirizao de servios de TI tem se tornado uma
prtica comum nas empresas [5]. No Brasil, a APF uma das
principais contratantes de servios de TI.
Em 2013, o Tribunal de Contas da Unio (TCU) publicou

um acrdo para relatar a adoo de mtodos geis pelas
organizaes pblicas [2]. Das organizaes analisadas,
algumas recorriam contratao de fbrica de software e
faziam uso dessas metodologias para realizarem a gesto das
demandas de desenvolvimento de software.
Devido a irregularidades e impropriedades encontradas em

contrataes, o TCU recomendou a elaborao de um modelo
de licitaes e contratao de servios de TI. Como resultados,
foram elaborados: a Instruo Normativa n 04/2010 (IN
04/2010) [6], o Guia Prtico de Contrataes de TI (MCTI)
[7], o Processo de Contratao de Servios de TI para
Organizaes Pblicas Brasileiras (PCSTI) [8] e o Guia de
Boas Prticas em Contratao de Solues de TI [3].
No contexto de pesquisa e desenvolvimento envolvendo

um rgo da Administrao Pblica Federal (APF), a
Universidade de Braslia (UnB) possui um Termo de
Cooperao com um Ministrio do Governo Federal. O
projeto teve incio em 2012 e tem como um dos objetivos
apoiar a definio de um processo de gesto de demandas de
desenvolvimento de software, baseado em metodologias e
princpios geis, e alinhado a legislao pertinente.
As contrataes de fbrica de software envolvem riscos e

desafios. Um dos ricos a dependncia excessiva dos
fornecedores [3] [5]. Com o objetivo de reduzir essa
dependncia, as normas e modelos preveem a execuo de
atividades de transferncia de conhecimento no incio, durante
e no fim da contratao.
Um dos aspectos abordados no projeto a transferncia de

conhecimento, uma vez que um dos riscos das contrataes,
90
FEES
radiodifuso, postais e de telecomunicaes. O Ministrio

apresenta um baixo quantitativo de servidores de TI. Cerca de
78% da fora de trabalho do rgo de terceirizados e apenas
cerca de 18% so servidores da casa [15]. Como
consequncia, o rgo recorre a contratao de servios de TI
e fica a cargo apenas da gesto dos contratatos.
A. Transferncia de Conhecimento em Contrataes

A Gesto do Conhecimento para Nonaka e Takeuchi [9]
est baseada na converso do conhecimento tcito-explcito,
por meio das etapas: combinao, internalizao, socializao
e externalizao do conhecimento. O ciclo entre as etapas
apresentadas anteriormente denomina-se ciclo SECI. Chau,
Maurer e Melnik afirmam que o ciclo SECI pode ser utilizado
para a transferncia de conhecimento em projetos de
desenvolvimento de software [10]. Alm desse ciclo, o
modelo eSourcing Capability Model for Service Providers for
clients (e-SCM-CL) apresenta sete prticas voltadas para
transferncia de conhecimento em contrataes [11].
Atualmente, os trs contratos mais significativos

gerenciados pela TI so relacionados fbrica de software,
qualidade (validao dos entregveis e contagem em pontos de
funo) e infraestrutura de TI.
Alm do baixo quantitativo dos servidores, o rgo
apresenta a Metodologia de Gesto de Projetos de TI (MGPTI)
[16], a qual estabelece um ciclo de gerenciamento de projetos
de TI dividido em fases. Aps cada fase, so realizadas
reunies de decises que autorizam a passagem do projeto
para a prxima fase.
Alguns estudos mostram que a transferncia de

conhecimento impacta no sucesso das contrataes [12] [13]
[14]. Devido a essa importncia, observa-se que como o MCTI
e o PCSTI so alinhados a IN 04/2010, ambos possuem
atividades e artefatos, bem similares, voltados para
transferncia de conhecimento.
Devido insatisfao com o modelo corrente de gesto de

contrato, o rgo objetiva adotar metodologias geis para
realizar a gesto das demandas de desenvolvimento de
software.
Outra realidade a crescente adoo de metodologias

geis por organizaes pblicas brasileiras. Em 2013, o TCU
publicou um acrdo [2] em que relata a adoo de
metodologias geis por organizaes pblicas. A insatisfao
das organizaes com o modelo corrente de desenvolvimento
ou gesto de demandas tem impulsionado as organizaes a
adotarem metodologias geis para tal fim.
B. Frente Melhoria de Processo

O objetivo desta frente de trabalho definir um processo
de gesto de demandas de desenvolvimento de software,
alinhado a legislao pertinente e baseado em metodologias e
princpios geis, a ser adotado pelo Ministrio.
III. O PROJETO
Atualmente, o projeto est no segundo ano de execuo. O

segundo ano da frente contempla pesquisas acadmicas e a
execuo de atividades como: detalhamento de atividades de
validao de software; estabelecimento de atividades de
transferncia de conhecimento; evoluo do modelo de
critrios de aceitao do produto; apoio implantao do
processo por meio de projetos piloto; e avaliao e ajustes do
processo, a partir dos resultados da execuo do projeto piloto.
O projeto Framework Solues de TI oriundo de um

Termo de Cooperao entre a UnB, representada pelo
laboratrio de pesquisa, Centro de Qualidade e Testes de
Software (CQTS), e um Ministrio do Governo Federal
Brasileiro. O projeto foi criado em 2012, com o objetivo de
produzir conhecimentos, assentados em bases acadmicocientficas, que possam viabilizar a elaborao e a implantao
de um framework de solues para a Coordenao Geral de TI
(CGTI) do Ministrio, de forma a proporcionar um
alinhamento entre as suas estratgias e aes de
gerenciamento de TI com a estratgia de governana em TI do
Ministrio.
Assim, nesta frente de trabalho so abordados trs

aspectos: verificao e validao de software, transferncia de
conhecimento e adaptao da metodologia Scrum. Alm
desses aspectos, h o contexto de gerenciamento de projetos
sob o olhar da MPGTI. Uma vez que, o processo proposto
deve estar alinhado a metodologia de gerenciamento de
projetos adotada pelo Ministrio.
Devido multidisciplinaridade do projeto foram definidas

trs frentes de trabalho no contexto de: Processo de Gesto de
Demandas de Desenvolvimento gil para Contratao de
Fbrica de Software; Arquitetura de Software; e Infraestrutura
de TI. Neste artigo, o foco a frente de definio de processos
nomeada de Melhoria de Processos.
C. Transferncia de Conhecimento
O trabalho de transferncia de conhecimento [4], no
primeiro ano de execuo, foi conduzido por Brito com
metodologia descritiva e procedimento de estudo de caso. A
proposta de Brito teve como pilares o ciclo SECI apresentado
por Nonaka e Takeuchi [9] e as prticas de transferncia de
conhecimento do modelo e-SCM-CL [11].
Inicialmente, a frente era composta por seis integrantes, 3

professores e 4 estudantes bolsistas. Atualmente composta
por sete integrantes, 4 professores e 3 estudantes bolsistas. No
segundo ano do projeto, o integrante bolsista que trabalhava
com transferncia de conhecimento finalizou a graduao e
uma nova estudante, primeira autora deste artigo, integrou o
grupo. A substituio ocorreu para que fosse possvel dar
continuidade ao trabalho de Brito [4].
Futuramente, para realizar a avaliao da proposta de

Brito, ser executado um projeto piloto do processo proposto.
Para isso, pretende-se aplicar a metodologia explicativa com o
procedimento de pesquisa-ao. Para a execuo do projeto
ser levado em considerao as caractersticas ideais de um
projeto piloto, sugeridas por Cohn [17]. Para a avaliao ser
A. A Organizao Pblica
A organizao participante do termo de cooperao um
Ministrio cujas reas de competncia so os servios de
91
FEES
levado em considerao o aspecto de satisfao dos receptores

[18].
o projeto piloto; transferir conhecimento dos pesquisadores

para os envolvidos do Ministrio; e participar e contribuir nos
eventos acadmicos da rea.
IV. RELATO DE EXPERINCIA
A. Dinmica de Trabalho
Para realizar a definio do processo, os integrantes
realizaram estudos de alguns casos de adoo de metodologias
geis por organizaes pblicas; estudos de ferramentas de
modelagem de processos, para a escolha da ferramenta mais
adequada para o contexto; e anlise de editais de outras
organizaes, que adotaram geis, com o intuito de identificar
os artefatos mais recorrentes.
Como resultado, do primeiro ano de execuo, houve a

definio do processo de gesto de demandas, nomeado de
ProGeDDAS. O resultado inclui a definio das atividades de
transferncia de conhecimento. Para isso, Brito [4] realizou:
uma reviso sistemtica sobre transferncia de conhecimento
em processos de contratao de fbricas de software por
organizaes pblicas; definio de atividades, tarefas e
artefatos de transferncia de conhecimento, respeitando o
paradigma gil Scrum; e detalhamento de atividades de
transferncia de conhecimento.
Para a realizao do trabalho, a equipe utilizou algumas

ferramentas. Para a modelagem do processo utilizou-se a
ferramenta Bizagi Process Modeler1. Para a organizao dos
estudos identificados nas bases de dados eletrnicas utilizouse o Zotero2. J para a distribuio e acompanhamento das
atividades, utilizou-se o Trello3.
Durante a execuo do segundo ano do projeto foi possvel

identificar pontos com necessidades de melhorias que foram
abordados no primeiro ano de execuo. Como continuidade
do trabalho de Brito [4], no segundo ano de execuo foram
realizadas: reunies semanais com os envolvidos do
Ministrio para a validao da proposta realizada no primeiro
ano de execuo; adaptao da proposta de Brito conforme as
mudanas solicitadas nas reunies com os envolvidos do
Ministrio; detalhamento dos artefatos definidos, quando
possvel; e apresentao das caractersticas ideais de um
projeto piloto.
Em relao interao junto ao rgo, so realizadas

reunies para apresentao e anlise do processo.
Internamente, tambm, so realizadas reunies, conforme
necessrio (geralmente semanais), para acompanhamento e
resoluo de impedimentos. Para a comunicao interna
utiliza-se lista de e-mail.
O impacto da rotatividade de pessoal minimizado com o
compartilhamento de conhecimento entre todos os membros
da equipe. Cada integrante procura entender todos os aspectos
que so abordados no projeto. Alm disso, quando possvel,
antes da sada de determinado membro h a insero de um
novo integrante com certa antecedncia.
As atividades voltadas para transferncia de conhecimento

e os artefatos definidos para o ProGeDDAS esto na Tabela I.
TABELA I.
ATIVIDADES E ARTEFATOS
Atividades
Artefatos
Definir viso da soluo
Documento de viso
Revisar viso da soluo
Documento de anlise e viabilidade
Workshop de soluo
Backlog do produto
Escrever histrias de usurio da

primeira sprint
Escrever histrias de usurio da
prxima sprint
B. Aprendizado adquirido
O projeto contribui para uma necessidade real de uma
Organizao Pblica Federal Brasileira. Tal contribuio
permitir a organizao melhorar a sua forma de trabalho,
visando obteno de melhores resultados. Permitindo,
futuramente, a melhor aplicao das verbas pblicas
empregadas em projetos de software.
Em relao contribuio acadmica, o projeto contribui
para as pesquisas de uma rea em crescente demanda, a
adoo de metodologias geis por parte das organizaes
pblicas brasileiras. Alm disso, permite aos alunos bolsistas a
vivncia prtica das teorias estudadas na universidade.
Os principais aprendizados proporcionados pelo projeto
so relacionados : contrataes de servios TI,
principalmente do servio de fbrica de software; legislao
aplicvel s contrataes; metodologias geis; adoo de
metodologias por parte das organizaes pblicas; e
transferncia de conhecimento em contrataes de fbrica de
software.
A experincia proporcionada pelo projeto importante
para a formao dos alunos de engenharia de software, uma
vez que mescla a teoria com a prtica. Isso faz com que o
aluno saia mais capacitado e preparado para o mercado de
trabalho. O projeto proporciona aos bolsistas um ambiente de
projeto real com prazos e necessidades reais. Dessa forma, o
projeto de pesquisa colabora para a formao profissional dos
Documento de arquitetura
Cdigo fonte documentado
Colaborar com o time scrum
Testes unitrios automatizados
Realizar reunio de reviso da

sprint
Testes de integrao
Treinar usurios
Evidncia de teste
Modelo de entidade relacionamento
Dicionrio de dados
Manual do usurio
Relatrio de qualidade
Lies aprendidas
Wiki
Neste segundo ano, alguns pontos ainda devero ser

aprofundados, como: apoiar a implantao do novo processo
de gesto de demandas, a partir do uso de projeto piloto;
definir treinamentos; acompanhar o projeto piloto; ajustar o
novo processo proposto, com base nos resultados obtidos com
http://www.bizagi.com/
https://www.zotero.org/
3
https://trello.com/
2
92
FEES
Universidade de Braslia e parcialmente financiada pelo

projeto de pesquisa Framework de Solues de Tecnologia da
Informao.
bolsistas, para a pesquisa acadmica e para a resoluo de uma

situao problemtica real do governo.
C. Dificuldades encontradas
Durante a execuo do projeto algumas dificuldades foram
encontradas no segundo ano de execuo. A principal
dificuldade est relacionada execuo do projeto piloto. Uma
vez, que o rgo apresenta trs contratos distintos relacionados
aos servios de TI (desenvolvimento, qualidade e
infraestrutura) e os trs esto presentes no ProGeDDAS.
REFERNCIAS
[1]
[2]
Outras dificuldades encontradas e observadas foram:

alinhamento da metodologia gil Scrum MGPTI do rgo;
compatibilidade de agenda de reunies entre os pesquisadores
e os envolvidos do rgo e preocupao com a mudana da
cultura organizacional atual.
[3]
[4]
A ltima dificuldade um desafio a ser enfrentado durante

a execuo do projeto piloto. Dado que, segundo relatos dos
envolvidos do Ministrio, atualmente, no cultura da
organizao a participao ativa da rea de negcio durante a
execuo dos projetos de software.
[5]
[6]
D. Resultados esperados com a pesquisa

Ao concluir o Projeto (Frente Melhoria de Processo) so
esperados os seguintes impactos no contexto do Ministrio: (i)
gerao de maiores benefcios para a CGTI e seus clientes; (ii)
reduo de riscos e atrasos inesperados nos projetos; (iii)
melhoria na comunicao e no envolvimento dos usurios de
negcios nos projetos; (iv) maximizao no valor de negcio
gerado pelos produtos de software entregues; e (v) reduo de
dependncia do fornecedor.
[7]
[8]
[9]
[10]
V. CONSIDERAES FINAIS E TRABALHOS FUTUROS

Algumas organizaes pblicas esto adotando
metodologias geis para gerenciar as demandas de
desenvolvimento de software. Estudos sobre transferncia de
conhecimento em contrataes de fbrica de software so
necessrios e importantes para o crescimento da academia e
das organizaes. Alm disso, a transferncia de
conhecimento um fator crtico para o sucesso dos projetos e
a reduo de dependncia do fornecedor por parte das
organizaes. Projetos de pesquisa dessa natureza, que
mesclam a teoria com a prtica e que visam resoluo de um
problema real enfrentado pelo governo, so importantes para o
desenvolvimento das organizaes pblicas, da academia e
dos estudantes. O projeto proporciona o aluno vivenciar a
resoluo de um problema prtico, o que importante para
uma graduao de engenharia. Como trabalhos futuros do
projeto sugere-se a definio de atividades, tarefas e artefatos
de transferncia de conhecimento para o processo de
manuteno e a execuo de projetos similares em outras
organizaes pblicas.
[11]
[12]
[13]
[14]
[15]
[16]
[17]
[18]
AGRADECIMENTOS
Este trabalho foi realizado no laboratrio de pesquisa
Centro de Qualidade e Testes (CQTS) da Faculdade Gama da
93
C. de O. Melo e G. R. Ferreira, Adoo de mtodos geis em uma

Instituio Pblica de grande porte-um estudo de caso, in Workshop
Brasileiro de Mtodos geis, Porto Alegre, 2010, vol. 24.
Brasil, Acrdo No 2314/2013. Levantamento de Auditoria.
Conhecimento Acerca da Utilizao de Metodologias geis nas
Contrataes de Software Pela Administrao Pblica Federal. 2013.
Brasil, Guia de Boas Prticas em Contratao de Solues de
Tecnologia da Informao. 2012.
M. F. Brito, Transferncia de conhecimento em processos de
contratao de fbricas de software por organizaes pblicas
federais, Trabalho de Concluso de Curso, Faculdade Gama,
Universidade de Braslia, Braslia, 2013.
M. Alaranta e S. L. Jarvenpaa, Changing IT Providers in Public Sector
Outsourcing: Managing the Loss of Experiential Knowledge, in
System Sciences (HICSS), 2010 43rd Hawaii International Conference
on, 2010, p. 110.
Brasil, Instruo Normativa No04, de 12 de novembro de 2010. Dispe
sobre o processo de contratao de Solues de Tecnologia da
Informao pelos rgos integrantes do Sistema de Administrao dos
Recursos de Informao e Informtica (SISP) do Poder Executivo
Federal. 2010.
Brasil, Guia Prtico para Contratao de Solues de Tecnologia da
Informao. 2011.
C. S. da Cruz, E. L. P. de Andrade, e R. M. da C. Figueiredo, Processo
de Contratao de Servios de Tecnologia da Informao para
Organizaes Pblicas. Braslia, 2011.
I. Nonaka e H. Takeuchi,
. Rio de Janeiro:
Campus, 1997.
T. Chau, F. Maurer, e G. Melnik, Knowledge sharing: Agile methods
vs. tayloristic methods, apresentado em 2012 IEEE 21st International
Workshop on Enabling Technologies: Infrastructure for Collaborative
Enterprises, 2003, p. 302302.
W. E. Hefley e E. A. Loesche, The eSourcing Capability Model for
Client Organizations (eSCM-CL), Part 2: Practice Details., Carnage
Mellon University, Information Technology Services Qualification
Center, 2006.
S. Blumenberg, H.-T. Wagner, e D. Beimborn, Knowledge transfer
processes in IT outsourcing relationships and their impact on shared
knowledge and outsourcing performance, International Journal of
Information Management, vol. 29, no 5, p. 342352, out. 2009.
J.-N. Lee, The impact of knowledge sharing, organizational capability
and partnership quality on IS outsourcing success, Information &
Management, vol. 38, no 5, p. 323335, 2001.
M. Westner e S. Strahringer, Determinants of success in IS offshoring
projects: Results from an empirical study of German companies,
Information & Management, vol. 47, no 56, p. 291299, ago. 2010.
Brasil, Plano Estratgico de Tecnologia da Informao (PETI) e Plano
Diretor de Tecnologia da Informao (PDTI) 2013 - 2015. 2014.
Brasil, Norma Operacional SPOA No 006, de 10 de Setembro de
2012. Dispe sobre a Metodologia de Gerenciamento de Projetos de
Tecnologia da Informao - MGP-TI, utilizada no mbito do Ministrio
das Comunicaes. 2012.
M. Cohn, Succeeding with agile: software development using Scrum.
Upper Saddle River, NJ: Addison-Wesley, 2010.
Y. Mei, Z. Wang, e Z. Cao, Performance evaluation model of
knowledge transfer, in Artificial Intelligence, Management Science
and Electronic Commerce (AIMSEC), 2011 2nd International
Conference on, 2011, p. 56775681.
FEES
Uma Ferramenta de Apoio Criao e

Gerenciamento de Laudos Patolgicos Veterinrios
dylle Landy Oliveira
Luiz Venicio P. Conceio
Marcos Csar da Rocha Seruffo
Grupo de Pesquisa de Tomada de

Deciso Multicritrio (GPTDM)
Universidade Federal do Par
Castanhal, Par
e-mail: edylle@ufpa.br

Castanhal, Par
e-mail: luizpedrosa@ufpa.br

Belm, Par
e-mail: seruffo@ufpa.br
Resumo Este artigo tem como principal propsito apresentar

todas as fases de desenvolvimento de um sistema de laudos
patolgicos, indo do nvel conceitual ao implementacional, que
executa funcionalidades relativas ao cadastro, armazenamento,
edio, impresso dos laudos, bem como a exportao dos dados
para eventuais correlaes. Tal sistema ir padronizar todo o
processo na criao dos formulrios e criar uma base de dados
consistente.
Palavras-chave....informatizao;
padronizao; veterinria.
I.
laudos;
desenvolvimento do sistema, metodologia que descreve os

passos seguidos no projeto, resultados obtidos que trata sobre o
produto final que o software em si e finalizando com as
consideraes finais.
II. A FBRICA DE SOFTWARE
A Fbrica de Software da Faculdade de Sistemas de
Informao da UFPA/Castanhal um projeto que busca a
inovao e a interao contnua entre teoria e prtica,
subsidiando os alunos na aplicao real dos conceitos
aprendidos em sala de aula, promovendo uma maior integrao
e aperfeioamento dos componentes curriculares dos cursos
presentes na faculdade, assim como dos docentes e discentes
por meio da realizao de atividades de ensino, pesquisa e
extenso. Visa ainda simular o ambiente de uma empresa de
desenvolvimento de softwares, criando uma ferramenta de
gesto para micro e pequenas empresas e preparando mo-deobra especializada e qualificada para o mercado de
desenvolvimento de sistemas.
sistema;
INTRODUO
No contexto atual, a Tecnologia da Informao

desempenha tarefa crucial para o alcance dos objetivos das
instituies (Alavi & Joachimsthaler, 1992; Bergeron, Bateu &
Raymond, 1991). Contudo, a maneira como algumas
organizaes, tanto pblicas quanto privadas, organizam seus
dados faz com que haja uma carncia no gerenciamento dos
mesmos.
A admisso de candidatos para a Fbrica de Software foi

realizada atravs de uma seleo com discentes regularmente
matriculados nos cursos de Sistemas de Informao e
Engenharia da Computao da UFPA Campus de Castanhal.
Como requisito obrigatrio, o aluno deveria ter conhecimento
em programao, posteriormente participando da seleo que
era constituda de uma prova prtica com questes sobre
HTML5, CSS, JavaScript, MySQL e PHP e finalizando com
uma entrevista.
A soluo apresentada para o Laboratrio de Patologia

Animal da Universidade Federal do Par tem como objetivo
reduzir a circulao do volume de papel em que assentam os
processos, diminuindo o tempo de anlise das informaes para
que se possa ter um registro organizado sobre os animais
cadastrados, diagnsticos, etc. e que sirva de apoio tomada de
deciso com embasamento em toda a informao e histrico
que a base de dados disponibiliza.
Assim, o objetivo deste artigo apresentar as etapas de
desenvolvimento do Sistema de Laudos Patolgicos que vai
desde o nvel conceitual at o nvel implementacional. O
sistema tem como principal objetivo facilitar o trabalho das
pessoas que fazem necropsias e/ou biopsias em animais no
laboratrio de patologia animal que realizam cadastros de todos
os dados de animais, exames e diagnsticos e usar essas
informaes posteriormente para fazer correlaes.
A estrutura de recursos humanos da Fbrica de Software

possui uma hierarquia onde se tem: um Coordenador, que
possui uma viso mais ampla dos projetos que sero captados,
executados e que sero entregues dentro do prazo estipulado;
os Gerentes de Projeto, que so docentes da Faculdade de
Sistemas de Informao, responsveis pela superviso de
projetos de forma pontual, possuindo a tarefa de gerenciar o
cronograma de execuo e verificar as atividades da equipe de
desenvolvimento.
Este trabalho foi desenvolvido a partir da Fbrica de

Software da UFPA campus Castanhal. O artigo composto por
esta primeira seo introdutria, seguido pela contextualizao
da problemtica onde abordado os principais motivos para o
Durante o desenvolvimento do sistema, os integrantes da

Fbrica de Software foram orientados a estudar novas
94
FEES
tecnologias Web e/ou aprofundar suas noes nas que j

haviam um certo grau de conhecimento. O acompanhamento
da evoluo do desenvolvimento era feito com reunies
semanais, onde eram discutidos os novos requisitos, andamento
de atividades individuais, etc.
realizaram entrevistas e monitoraram a rotina e funcionamento

do ambiente para poder desenvolver um sistema altamente
personalizado a tarefa proposta.
Logo aps os requisitos concludos e validados junto
professora responsvel pelo pedido do sistema, um aluno
integrante da Fbrica de Software ficou responsvel pela
modelagem dos principais diagramas necessrios para o
desenvolvimento do projeto e outro aluno se comprometeu em
criar e arquitetar a interface do mesmo.
III. CONTEXTUALIZAO DA PROBLEMTICA

Uma das principais problemticas no Laboratrio de
Patologia Animal era o gerenciamento de laudos e
armazenamento de informaes. Como os laudos eram
preenchidos de forma manual, o armazenamento das
informaes gerava uma srie de problemas tais como:
ocupao de espaos e manuseios de grandes volumes do
mesmo, o que dificultava a recuperao das informaes,
duplicao de formulrios, falta de informaes devido ao no
preenchimento de alguns campos, etc.
A Figura 1 mostra o diagrama de casos uso. A modelagem

de um diagrama de casos de uso uma tcnica usada para
descrever e definir os requisitos funcionais de um sistema. Do
ponto de vista do usurio, as principais funcionalidades do
sistema de laudos patolgicos so: Cadastrar formulrio:
insero das informaes do animal, dono, plantonista, etc.;
Busca: edio, remoo e impresso de formulrios; Exportar
planilha: criao de uma planilha com informaes de acordo
com a busca do usurio.
Realizava-se coleta de informaes no laboratrio atravs

de dois tipos de laudos: Laudo de Histopatologia e Laudo de
Necropsia. Aps o preenchimento de todo o formulrio, os
dados eram inseridos de forma manual no software SPSS
(Statistical Package for the Social Sciences) que faz
correlaes de dados e gera clculos estatsticos que do apoio
s tomadas de decises. O SPSS um software do tipo
cientifico que capaz de fazer aplicao analtica, Data
Mining, Text Mining e estatstica que transformam os dados em
informaes importantes.
O SPSS consegue contemplar as necessidades de correlao
de dados, contudo o mtodo manual de alimentao do sistema
muito dispendioso e corre o risco de perda de dados, j que a
tabulao dependia exclusivamente do manuseio de papis.
IV. METODOLOGIA
Segundo [Ian Sommerville, 2003], um processo de software
um conjunto de atividades e resultados que geram um
produto de software. No projeto foi utilizado o modelo de
processo Iterativo/Incremental no qual foram feitas trs verses
durante quatro meses. A abordagem de desenvolvimento
incremental foi sugerida por Mills [Mills et al., 1980] como
uma soluo para diminuir o trabalho no processo de
desenvolvimento, ao mesmo tempo proporcionando ao cliente
a oportunidade de adiar decises sobre seus requisitos
detalhados at que eles tenham alguma experincia com o
sistema.
Fig. 1. Casos de Uso.
Com os diagramas prontos e as telas definidas, foi dado

incio ao processo de programao, o qual foi realizado de
forma colaborativa, onde cada integrante ficava responsvel
por uma funcionalidade do sistema. Durante este processo de
programao foram desenvolvidos trs releases sendo o
terceiro a verso final do sistema.
A modelagem do projeto foi feita usando UML (Unified
Model Language), diagramas de casos de uso, diagramas de
classe e diagramas de pacotes. Na codificao foram usadas as
seguintes tecnologias: Java Web, (X)HTML (eXtensible
Hypertext Markup Language), CSS (Cascading Style Sheets),
Java Server Faces (JSF), Primefaces e Hibernate fazendo
persistncia no banco de dados MySQL que foi escolhido pelo
fato de possuir consistncia, ter alta performance,
confiabilidade e ser fcil de usar. Os desenvolvedores
gerenciaram o projeto colaborativamente usando as
ferramentas de repositrio de cdigo fonte SVN e Assembla.
Na maioria dos projetos ocorre algum reuso de software.

Isso, em geral, acontece informalmente quando as pessoas que
trabalham naquele projeto conhecem projetos ou cdigos
similares queles exigidos [Ian Sommerville, 2003]. No
sistema de laudos foram utilizados alguns mdulos de um
sistema desenvolvido pela turma de 2011 de Sistemas de
Informao da UFPA-Castanhal como avaliao da disciplina
de Anlise e Projeto de Sistemas o qual foi desenvolvido para a
prefeitura do municpio de Castanhal objetivando a gesto de
carteirinhas de passagens municipais.
Os testes no foram realizados de forma automatizada

ficando a cargo de parceiros da Fbrica de Software e dos
usurios finais do sistema a tarefa de testar suas
Os alunos integrantes da Fbrica de Software fizeram o

levantamento dos requisitos junto aos professores e bolsistas
que utilizam o Laboratrio de Patologia Animal. Para tanto,
eles passaram dois dias no local onde o sistema seria utilizado,
95
FEES
funcionalidades. Os erros encontrados eram documentados

pelos desenvolvedores e corrigidos o quanto antes.
padronizar todo o processo de criao de laudos. A integrao

do sistema ao ambiente SPSS permite utilizar os dados
coletados para ajudar nas tomadas de decises.
A implementao do sistema foi realizada em um

computador que somente os professores e alunos bolsistas do
Laboratrio de Laudos Patolgicos tinham acesso e este serviu
como servidor de armazenamento do sistema. Foi instalado
nesta mquina, tambm, o software MySQL Backup Manager
para realizar o backup dos dados em uma conta de
armazenamento em nuvem que apenas os integrantes da
Fbrica de Software possuem acesso.
Com conceitos aprendidos em sala de aula vindo de

disciplinas como Engenharia de Software, Programao,
Anlise e Projeto de Sistemas, entre outras, os alunos puderam
colocar em prtica toda essa teoria durante o desenvolvimento.
Na parte de coleta e detalhamento de requisitos houve evoluo
devido ao contato real com o cliente, assim utilizando as
tcnicas aprendidas como entrevista e observao. Como todo
processo de desenvolvimento exige obedecer um cronograma,
os alunos vivenciaram uma experincia de como desenvolver
um projeto seguindo um prazo previamente definido.
V. RESULTADOS OBTIDOS
Como resultado foi alcanado um aplicativo para criao e
gerenciamento de laudos patolgicos animais. Como tela
principal foi obtida a Figura 2 que apresenta a pgina inicial do
sistema logo aps o login ser aceito.
A participao dos integrantes da Fbrica de Software na

realizao deste projeto trouxe uma expertise altamente
satisfatria na modulao de gerncia de processos e
habilidades nas ferramentas utilizadas. Por conta disso, a
equipe da Fbrica de Software foi capaz de fornecer um curso
de HTML5 e PHP para a comunidade acadmica de
Castanhal/PA que contou com a participao de vrios alunos
de diferentes instituies.
Na figura 2-A, o usurio pode escolher entre dois tipos de

formulrios: histopatologia ou necropsia. No final do cadastro
gerado, automaticamente, um cdigo no qual inserido a
primeira letra do tipo de laudo, H ou N, seguido de um
nmero que auto iterativo e por ltimo os dois ltimos dgitos
do atual ano; Ex: N1/14; Na figura 2-B onde o usurio ir
fazer o gerenciamento dos formulrios optando por: visualizar,
editar, imprimir ou excluir. A busca feita de acordo com o
que o usurio desejar, por tipo de formulrio, cdigo, nome do
proprietrio, nome do animal, espcie, raa, data de cadastro ou
diagnstico; Na figura 2-C onde o usurio ir exportar
planilhas com dados para ser importados no software SPSS; Na
figura 2-D ficam as opes de logoff no sistema e alteraes de
senhas de aluno e/ou professor.
Atualmente a ferramenta est sendo utilizada no

Laboratrio de Patologia Animal do Campus II da
Universidade Federal do Par Castanhal. Futuramente
pretende-se evoluir a ferramenta para uma nova verso com
melhor usabilidade, alm disso espera-se hospedar a aplicao
nos servidores da UFPA para que possa ser acessada de forma
online.
REFERNCIAS
[1]
[2]
[3]
[4]
[5]
[6]
Fig. 2. Tela do Sistema.
VI. CONSIDERAOES FINAIS

Este artigo apresentou a ferramenta Sistema de Laudos
Patolgicos que veio para fazer a informatizao do sistema de
informao j existente no Laboratrio de Patologia Animal e
que voltada para apoiar a gerncia de informaes e
[7]
96
Alavi, M., & Joachimsthaler, E. A. (1992, March). Revisiting DSS

implementation research: a meta analysis of the literature and
suggestions for researchers. MIS Quarterly, 16(1), 95-116.
Bergeron, F., Bateau, C., & Raymond, L. (1991, March). Identification
of strategic information systems opportunities: applying and comparing
two methodologies. MIS Quarterly, 15(1), 89-99
SOMMERVILLE, Ian. Engenharia de software. So Paulo. 6. ed.
Pearson Education Companion, 2003.
Pressman, Roger. S. (2005) Software Engineering: A practitioners
approach, McGraw Hill, 6th edition.
Mills DR, Kramer FR, Dobkin C, Nishihara T, Cole PE (1980)
Modification of cytidines in a Q beta replicase template: analysis of
conformation and localization of lethal nucleotide substitutions.
Biochemistry 19: 228-236. PMI: 6986163
SALES, Murilo F., SALES, Ernani O., LIMA REIS, Carla A., REIS, R.
Q. Uma Ferramenta de Gerncia de Requisitos Integrada a um Ambiente
de Desenvolvimento de Software Centrado em Processos. In: Congresso
Brasileiro de Software - Sesso de Ferramentas, 2010, Salvador - BA.
Congresso Brasileiro de Software: Teoria e Prtica, 2010.
DMSS Software. IBM SPSS Statistics. Disponvel em:
<http://www.dmss.com.br/teste/dmss/software/statistics/index.html>
Acesso
em:
19
maio
2014.
FEES
Um Estudo de Caso sobre a Adoo de Mtodos

geis na Gesto de Contratos de Fornecedores de
Desenvolvimento de Software em uma Organizao
Pblica Brasileira
Aline Gonalves1 , Hilmer Neri1
1
Faculdade UnB Gama - Universidade de Braslia (UnB), Brasil

alinegsantoss@gmail.com, hilmer@unb.br
desenvolvimento de software influenciaram no resultado final

do contrato do ponto de vista do gestor de contrato e do fiscal
tcnico do contrato, que juntos gerenciam o contrato?
ResumoAtualmente, algumas organizaes da Administrao Pblica Federal iniciam investimentos para adotar contrataes de servios de desenvolvimento de software utilizando mtodos geis, motivado pelo entendimento de que os instrumentos
contratuais, hoje em vigor, apresentam limitaes que causam
impacto nos custos dos projetos e na entrega do produto. O
objetivo desse trabalho foi analisar a influncia da adoo de
mtodos geis na gesto de contratos pblicos de desenvolvimento
de software. Para isso, foi realizada uma investigao emprica,
descritiva, por meio da execuo de um estudo de caso exploratrio. Analisamos os efeitos sobre a entrega de ordens de servio, a
qualidade interna do produto e a satisfao do cliente da soluo
desenvolvida na organizao. Aps a anlise dos dados coletados
conclumos que neste caso foi possvel a aplicao de mtodos
geis na gesto de contratos pblicos de desenvolvimento de
software, e que isso pode melhorar a atividade da gesto do
desenvolvimento, em que pese, haja restries face ao normativo
vigente.
II. M ETODOLOGIA DE P ESQUISA

Na metodologia de pesquisa adotada neste trabalho, foram
definidos: a natureza da pesquisa; o tipo de metodologia de
pesquisa; o tipo de abordagem de pesquisa; os mtodos de
procedimentos de pesquisa e os tipos de tcnicas de coletas
de dados.
O procedimento de pesquisa escolhido foi o estudo de
caso. As tcnicas de coleta de dados selecionadas foram
documentos, questionrios e entrevistas informais.
III. P ROJETO DO E STUDO DE C ASO
Como unidade de estudo de caso, foi selecionado o contrato
IPHAN No 28/2011 do Sistema Integrado de Conhecimento e
Gesto (SICG) do Instituto do Patrimnio Histrico e Artstico
Nacional-IPHAN. Trata-se de estudo exploratrio, onde foram
coletados dados qualitativos e qualitativos, que caracterizaram
a organizao contratante, a empresa contratada, o objeto do
contrato e a soluo de gesto de contrato definida. O foco
foi a anlise dos efeitos sobre a entrega de ordens de servio
e sobre a satisfao do cliente com o produto do referido
contrato.
A confiabilidade diz respeito a mostrar que se o estudo
for repetido utilizando as mesmas fontes de dados, poder
obter-se os mesmos resultados. Para isso, a definio do
protocolo do estudo de caso e o desenvolvimento de um banco
de dados do estudo foram tticas utilizadas para garantir a
confiabilidade desse estudo de caso, pode ser obtida em:
Index TermsGerenciamento, contrataes, software, organizaes pblicas, lean, mtodos geis, desenvolvimento, produo,
estudo de caso, engenharia de software.
I. I NTRODUO
Algumas organizaes pblicas tm compactuado entendimento de que os instrumentos contratuais, hoje em vigor,
no priorizam a entrega de software, tampouco sua qualidade
interna e valor de negcio. Isso contribui para que projetos
terminem sem sucesso, o que onera os cofres pblicos [1].
A partir dessa motivao algumas entidades da Administrao
Pblica, comeam adotar mtodos geis em suas equipes de
desenvolvimento, com destaque para o Scrum e o Extreme
Programming-XP [2]
Com objetivo de trabalhar a problemtica atual de adoo de
mtodos geis na gesto de contratos pblicos, em um trabalho
de concluso de curso, foi realizado um estudo de caso em uma
organizao pblica brasileira, a qual utiliza mtodos geis e
o pensamento lean na sua soluo de gesto de contrato de
fornecedores de desenvolvimento de software, se propondo a
responder a seguinte questo de pesquisa:
Questo de Pesquisa: Como o uso de mtodos geis e do
pensamento lean na gesto de contratos de fornecedores de
https://github.com/alinegs/TCC1_Aline_Goncalves.git
IV. R ESULTADOS DO E STUDO DE C ASO

Os resultados dos dados coletados foram categorizados em
dois efeitos: entrega de ordens de servio e satisfao do
cliente.
97
FEES
concluses. Nesta pesquisa houve triangulao de dados e de

metodologia. A triangulao de dados se deu pelo uso de base
de documentos e cdigo organizacionais, questionrios e entrevistas para coletar dados. A triangulao de mtodos ocorreu
pelo uso de mtodos de coleta quantitativos e qualitativos.
A validade externa diz respeito a estabelecer o quanto
as descobertas podem ser generalizadas. Pode-se testar a
coerncia entre os resultados do estudo e resultados de outras
investigaes similares. Para isso, [3] recomenda a replicaao
do estudo em mltiplos casos. Como o escopo deste trabalho
o estudo de um nico caso, a validade externa no pode ser
atingida.
A. Efeitos sobre a entrega de ordens de servio

A partir dos dados coletados da documentao dos Processos do projeto SICG foram calculadas as mtricas para
responder as questes especficas do protocolo do estudo de
caso, que caracterizam os efeitos sobre a entrega de ordens
de servio do uso de mtodos geis na gesto do contrato de
fornecedores de desenvolvimento de software.
A mdia geral de requisitos atendidos ao longo do projeto
de acordo com os dados levantados da documentao foi de
78%, o que coincide com a percepo dos envolvidos no
projeto: 75% dos envolvidos responderam ao questionrio que
a percepo geral de requisitos atendidos durante o projeto
estava entre 70% e 90%.
Ainda pelos dados coletados neste estudo, no foi evidenciada a utilizao de uma tcnica de gerenciamento de
custos de projeto, como exemplo, a anlise do valor agregado.
Uma soluo a ser investigada seria o uso de uma ferramenta
que automatizasse o processo de monitoramento de custos.
Assim, mtricas relacionadas a custo poderiam ser acessadas
tempestivamente de forma auxiliar o gestor na tomada de
deciso. O gestor do contrato poderia analisar, por exemplo,
se o que est sendo pago est de acordo com o que est sendo
produzido ou de acordo com o que foi planejado.
V. C ONCLUSO
Neste trabalho foi constatado que possvel aplicar uma
soluo baseada em mtodos geis e no pensamento lean sobre
a gesto de um contrato de desenvolvimento de software.
importante ressaltar que a soluo de gesto de contratos
definida pelo IPHAN no fere o que determinado na Lei
na lei geral de contrataes No. 8.666/93 ou na norma especfica, a Instruo Normativa No. 04/2010/MP ou mesmo
nos Princpios da Administrao Pblica Federal. Ao mesmo
tempo, a soluo foi baseada nos valores, princpios e prticas
do pensamento lean e de metodologias geis.
A abordagem de ensino-aprendizado utilizada neste trabalho
levou em considerao a participao ativa da aluna/orientador
na investigao do objeto do estudo, onde foi possvel se
posicionar diante do concreto, um contrato real em execuo,
e das experincias pessoais de ambos. Esse tipo de abordagem,
construtivista, se caracteriza pela interao pessoa-meio sobre
a realidade percebida [4]. Nesse contexto o desenvolvimento
no consiste em produzir cpias internalizadas da realidade
externa, mas sim, em produzir estruturas lgicas que permitam
ao indivduo atuar sobre o mundo de formas cada vez mais
flexveis e complexas [5] .
Assim, este trabalho foi essencial para aproximar a academia e uma organizao da Administrao Pblica Federal
na anlise dos efeitos advindos do uso de mtodos geis
na gesto de contratos de fornecedores de desenvolvimento
de software. A interao entre essas entidades contribuiu
para validar solues e sugerir melhorias visando melhores
resultados na gesto do errio e no atendimento s requisies
inerentes ao desenvolvimento de software.
B. Efeitos sobre a satisfao do cliente

O cliente do projeto SICG representado pelo papel de
Product Owner, que tambm atuou como gestor do contrato,
e por todos os envolvidos no projeto por parte do IPHAN.
Este nunca havia participado anteriormente de um projeto onde
a gesto do contrato era realizada com o uso de mtodos
geis, portanto, a experincia dos envolvidos no projeto com
esses mtodos era pouca. Para coletar a opinio do cliente foi
aplicado o questionrio.
Como resultado tivemos que cerca de 80% dos envolvidos
no projeto consideraram a visibilidade do processo como
"Alta", dentre eles o gestor do contrato. Alm disso, o resultado de satisfao do IPHAN com relao ao produto entregue,
de forma unnime foi considerado como "Satisfeito".
C. Anlise de Validade
As principais ameaas aplicveis aos estudos de caso so:
validade do constructo, validade interna, validade externa e
confiabilidade [3].
A validade de constructo diz respeito ao uso de mltiplas
fontes de evidncia e seleo de informantes chave. Neste
trabalho foram utilizadas mltiplas fontes de evidncias e os
informantes que responderam ao questionrio e s entrevistas
foram os principais envolvidos no projeto, tanto da autarquia
contratante quanto da empresa contratada. Alm disso, a
utilizao da tcnica GQM (Goal-Question-Metric) direcionou
a definio de mtricas, procurando-se ento a reforar a
validade do constructo.
A validade interna pode ser atingida por meio de diversas
estratgias, dentre elas a triangulao, uma tcnica para confirmar se os resultados de diversas fontes e de diversos mtodos
convergem, sendo possvel aumentar a aumentar a fora das
R EFERNCIAS
[1] Acrdo no 2314, Tribunal de Contas da Unio, Braslia, Brasil, 2013.
[2] C. Melo, V. A. Santos, H. Corbucci, E. Katayama, A. Goldman, and
F. Kon, Mtodos geis no Brasil: estado da prtica em times e organizaes, 2012.
[3] R. K. Yin, Estudo de Caso - Planejamento e Mtodos, 2010.
[4] M. Bigge, Teoras de aprendizagem para professores. Editora
pedaggica e universitaria, 1977. [Online]. Available: http://books.
google.com.br/books?id=A4ppAAAACAAJ
[5] C. Rappaport, W. Fiori, and C. Davis, Psicologia do desenvolvimento:
Teorias do desenvolvimento conceitos fundamentais. E.P.U., 1981,
no. v. 1. [Online]. Available: http://books.google.com.br/books?id=
CSMiQwAACAAJ
98
FEES
Um estudos sobre mtricas de produto e

vulnerabilidades para tomada de decises
Arthur Del Esposte1 , Carlos Bezerra1 , Paulo Meirelles1 , Hilmer Neri1
1
Laboratrio Avanado de Produo Pesquisa e Inovao em Software - LAPPIS

Faculdade UnB Gama, Universidade de Braslia, Brasil
{arthurmde,carlosfilipe.lb}@gmail.com, {paulormm,hilmer}@unb.br
cdigo-fonte possuem natureza objetiva que buscam mensurar

tamanho, complexidade e outros atributos importantes do
software [2][3]. Neste sentido, o estudo de mtricas e sua
utilizao no contexto de segurana e qualidade interna do
cdigo-fonte podem ser fundamentais para a formao do
Engenheiro de Software.
Neste artigo, iremos mostrar os estudos e avanos intermedirios de um trabalho de concluso de curso de Engenharia
de Software da Faculdade UnB Gama, cujo foco explorar
e potencializar a utilizao de mtricas para o monitoramento
de cdigo-fonte a partir da compreenso e estabelecimento de
possveis relaes existentes entre mtricas de vulnerabilidade
e qualidade de software. Assim, esse trabalho contempla a
composio de mtricas em cenrios de decises e o desenvolvimento e evoluo de duas ferramentas que possam
apoiar a utilizao de mtricas e cenrios na melhoria contnua
do desenvolvimento. A primeira ferramenta consiste em uma
plataforma livre de monitoramento de cdigo fonte chamada
Mezuro, enquanto a segunda consiste em um ambiente de Data
Warehousing que tambm j foi explorado em outros trabalhos
[4].
Na sequncia deste artigo, abordamos brevemente a metodologia para o desenvolvimento deste trabalho, na Seo II. J
na Seo III apresentamos os estudos realizados e resultados
alcanados. Por fim, na Seo IV fazemos as consideraes
finais deste trabalho.
ResumoNeste texto apresentamos os resultados intermedirios de um Trabalho de Concluso de Curso de Engenharia de

Software da UnB. Assim, explorada a importncia da utilizao
de mtricas estticas de cdigo-fonte para suportar a tomada
de decises, tanto a nvel tcnico quanto gerencial a respeito do
design e segurana do software. Alm disso, proposta uma nova
tcnica para realizar medies que ser viabilizada a partir da
evoluo de duas ferramentas de monitoramento de cdigo-fonte.
Index TermsMtricas; Design; Segurana; Monitoramento;
Cenrios de Decises; Cdigo-fonte;
I. I NTRODUO
A qualidade interna um dos fatores de sucesso de projetos de software, pois corresponde aspectos como manutenibilidade e segurana. Sistemas de software com boa
qualidade interna proporcionam maior produtividade uma vez
que possibilitam a criao de mais testes automatizados, so
mais compreensveis, reduzem o risco de bugs e facilitam
as modificaes e evolues no cdigo. Alm disso, um
estudo do ICAT/NIST 1 de 2005 j apontava que 80% das
vulnerabilidades explorveis esto ligadas a m codificao.
Nesse sentido, a medio pode ser utilizada como um
processo de apoio ao acompanhamento da segurana e qualidade, atravs do estabelecimento de metas e indicadores que
indiquem oportunidades de melhorias observveis do produto.
Em um cenrio otimista, os prprios Engenheiros de Software
podem adotar como prtica a medio do cdigo-fonte para
auxiliar as tomadas de decises, ou at mesmo para avaliao
do cdigo inserido ou da aplicao de refatoraes. Entretanto, uma grande quantidade de mtricas, coletas manuais e
poucos recursos de visualizao so fatores que acabam por
desmotivar o uso dessas para o monitoramento do cdigo.
Alm disso, assim como destacado por [1], a compreenso
do significado de valores obtidos atravs de mtricas no
uma tarefa trivial, demandando um grande esforo de coleta
e interpretao, cujas anlises podem ser errneas caso feitas
sobre mtricas isoladas, correlaes inexistes ou at mesmo a
escolha de mtricas inadequadas.
Nesse contexto, mtricas de cdigo-fonte podem ser utilizadas tanto no mbito gerencial quanto como referncia tcnica
para tomada de decises sobre o cdigo-fonte. Mtricas de
II. M ETODOLOGIA
Este trabalho tem sido realizado por dois graduandos de
Engenharia de Software cuja primeira etapa foi desenvolvida
ao longo do 1o semestre de 2014 e a finalizao deve-se dar
no fim do 2o semestre do mesmo ano.
Dentro da primeira etapa, realizamos uma extensa reviso
bibliogrfica com mais de 50 fontes de estudos relacionados
ao design e segurana de software cujo principal objetivo
era compreender os principais aspectos, problemas, princpios, tcnicas e prticas as quais o Engenheiro de Software
est exposto. Da mesma forma, exploramos os principais
conceitos relacionados a mtricas estticas de cdigo-fonte,
onde tambm listamos um conjunto de mtricas de design
de software e um conjunto de mtricas de vulnerabilidades.
As mtricas que foram explanadas foram selecionadas devido
sua popularidade tanto em trabalhos cientficos quanto em
ferramentas de anlise esttica de cdigo-fonte.
1 ICAT foi um motor de busca de vulnerabilidades, desenvolvido pelo

NIST(National Institue of Standards and Technology). O ICAT foi substituido
pelo NVD (National Vulnerability Database) - http://nvd.nist.gov/
99
FEES
A definio de estrutra dos Cenrios de Decises, explicados

na prxima sesso, foi advinda do estudo realizado por Almeida e Miranda [5] sobre mapeamento de mtricas de cdigofonte com os conceitos de Cdigo Limpo. A partir dos estudos
realizados sobre mtricas, design e segurana, foram propostos
alguns cenrios para tomada de decises sobre projetos de
software, principalmente sobre segurana e vulnerabilidade.
mtricas especficas de segurana podem compor por si s um

cenrios de deciso, pois estas j indicam pontualmente uma
situao de vulnerabilidade.
Cenrio
Ponto Crtico de
Falha
III. E STUDOS E R ESULTADOS

Com os estudos verificamos uma forte relao entre princpios de design de software com os princpios de design seguro,
onde a aplicao de ambos podem prover softwares mais
robustos, extensveis e seguros. Os cuidados com o bom design
do cdigo-fonte so fundamentais para o desenvolvimento de
cdigos seguros, podendo ser realizados atravs, por exemplo,
da prtica de refactorings e aplicao de padres de projeto.
Neste sentido, o monitoramento do cdigo fonte pode ser
utilizado para apoiar a utillizao de tcnicas que buscam
aplicar os princpios citados e este monitoramento pode ser
feito com o auxlio de mtricas de cdigo fonte.
Com o objetivo de minimizar as principais dificuldades
existentes na medio de cdigo fonte, como a escolha de
mtricas, interpretao de valores, redundncia de mtricas
e interpretaoes isoladas, buscamos definir o conceito de
Cenrios de Deciso. Os Cenrios de Deciso visam nomear
e mapear estados observveis atravs de mtricas de cdigofonte que indicam a existncia de determinada caracterstica
dentro do software, classe ou mtodo, potencializando o uso
de mtricas para tomada de decises em projetos. A estrutura
dos cenrios consistem em:
Nome: Identificao nica do cenrio
Mtricas Envolvidas: Mtricas necessrias para a caracterizao do cenrio
Nvel: Abstrao envolvida (projeto, classe, mtodo)
Descrio: Discuti os problemas, princpios envolvidos e
a caracterizao
Caracterizao com Mtricas: Define e discuti como as
mtricas envolvidas devem ser utilizadas para identificar
o cenrio
Aes Sugeridas: Prope um conjunto de aes especficas tais como uma refatorao, a utilizao de um padro
de projeto, prtica e aplicao de princpios
Neste sentido, projetos podem utilizar cenrios de referncia
ou at mesmo definir novos cenrios de acordo com parmetros de qualidade do projeto. Dentro da primeira etapa de desenvolvimento desse trabalho, baseado nos estudos e relaes
existentes sobre design e vulnerabilidades de software, definimos um conjunto de cenrios que visam identificar caractersticas de software relacionado violaes de princpios de segurana e presena de vulnerabilidades. Nos cenrios propostos,
observamos que alguns cenrios podem conter apenas mtricas
de design e mesmo assim determinar uma vulnerabilidade,
como o cenrio "Ponto Crtico de Falha"mostrado na tabela I.
Por outro lado, outros cenrios podem ser compostos apenas
com mtricas de segurana, como o caso do cenrio "Variveis
no inicializadas". Neste ultimo caso, notamos que algumas
Variveis no inicializadas
Caracterizao
do cenrio
Identificar classes muito
acopladas, que representam pontos crticos da
aplicao
Variveis no inicializadas podem causar falha da
aplicao ou acesso no
autorizado de informaes
caso sejam utilizadas
Tabela I
Caracterizao
com Mtricas
Alto valor de
ACC+NOC
Ao menos uma
ocorrncia
da
mtrica UAV
E XEMPLOS DE CENRIOS PROPOSTOS
Por fim, na primeira etapa dessa monografia, contribumos

tecnicamente com dois projetos de software livre que fazem
parte do contexto deste trabalho: o Mezuro2 e Analizo3 , que
um dos extratores utilizados pelo Mezuro. Os objetivos dessas
contribuies foi compreender a arquitetura desses projetos
para proporcionar evolues que contemplem a utilizao de
cenrios e a coleta e apresentao de novas mtricas de
vulnerabilidades.
IV. C ONSIDERAES F INAIS
A partir dos estudos realizados durante a primeira etapa
do trabalho de concluso de curso observou-se que existem
relaes explcitas entre o design de software e sua segurana.
Dessa forma, iniciamos o mapeamento de caractersticas observveis do software em mtricas a partir da estrutura criada
Cenrios de Decises, que por sua vez, se apresentam como
uma tcnica alternativa para suportar a medio em projetos
de software.
A segunda etapa deste trabalho ser destinada a evoluo
da plataforma de monitoramento Mezuro para viabilizar o
conceito de cenrios de decises assim como construir uma
proposta de ambiente DWing para monitoramento do cdigo.
Alm disso, pretendemos realizar um estudo estatstico para
aferir a correlao existente entre mtricas de design e de vulnerabilidades a partir da avaliao automatizada de softwares
livres em C/C++, com objetivo de apoiar cientificamente a
criao de cenrios de referncia.
R EFERNCIAS
[1] S. R. Chidamber and C. F. Keremer, A metrics suite for object oriented
design, in IEEE Transactions on Software Engineering, vol. 20, 1994,
pp. 476493.
[2] S. Henry and D. Kafura, The evaluation of software systems structure
using quantitative software metrics, in Software Practice and Experience,
1984, pp. 561573.
[3] T. Ssta, Static and dynamic reverse engineering techniques for java
software systems, Ph.D. dissertation, University of Tampere, Department
of Computer and Information Science. Finland, Maio 2000.
[4] G. M. Mazuco, Uma abordagem de data warehouse para gesto de
mtricas de software com anlise e valor agregado, Porto Alegre, 2011.
[5] L. T. Almeida and J. M. Miranda, Cdigo limpo e seu mapeamento para
mtricas de cdigo fonte, 2010.
100
2 http://mezuro.org/
3 http://analizo.org/
FEES
A Platform Fed by Software Industry Problems to

Learn Software Development
Luiz Ferreira
Eduardo Figueiredo
Departamento de Cincias da Computao

Universidade Federal de Minas Gerais
Belo Horizonte, Minas Gerais, Brasil
Email: luizpcf@dcc.ufmg.br
Departamento de Cincias da Computao

Universidade Federal de Minas Gerais
Belo Horizonte, Minas Gerais, Brasil
Email: figueiredo@dcc.ufmg.br
AbstractNowadays, simply knowing the theoretical aspects

of software engineering is not sufficient to remain competitive.
People must also learn to apply their knowledge in new domains
and practical situations to solve complex software development
problems. Professionals holding different jobs in software industry must be creative and flexible problem solvers. This requires
the ability to apply experience and practical knowledge to address
novel problems. Consequently, learning to think critically, to
analyze the problem description, and to synthesize information to
solve software development problems in groups are crucial skills
for successful participation in our modern and highly competitive
software market. This work then proposes the development of a
Web-based platform, named CodeChallenge, to teach people how
to solve complex problems in software development by programming solutions for actual problems. The learning experience is
going to be enhanced by students exchanging experience with
peers in an environment that mimics a social network. From the
business model point of view, it is possible to charge in a long
term our industry partners based on their problems solved by
our students.
I.
courses that teach theoretical aspects of software engineering

[2][3]. There are also initiatives to teach software development
based on games and simulators [4]. However, unlike these
approaches, we aim both to teach people how to program and
to generate value from this produced code. The main idea is
to create exercises based in actual problems from our industry
partners. That is, specific problems that are part of the requirements of actual software systems are posted in a repository.
Then, students are challenged to solve those specific problems
and, as a result, deliver useful code to that system owner. In
fact, several students are expected to solve the same problem.
Therefore, we plan to add a ranking of best solutions based
on users recommendations in a social network environment.
A similar ranking mechanism also applies to students based
on their number of correct solutions to open problems. In
summary, our general goal of the master dissertation is to teach
software development based on actual industry problems to a
large amount of people without costs for students.
II.
I NTRODUCTION
In a society where many people cannot afford paying for

education, it is important to create ways to facilitate access
to education. With respect to Software Engineering, a field of
study that always needs creative and flexible problem solvers,
it is of upmost importance to create alternatives to teach not
only theoretical aspects of software development, but also how
to solve complex software development problems. In addition,
creating a learning environment that favors critical thinking
and helps people to boost their careers is not only relevant but
also important and necessary.
The idea of learning from real-world problems is not new.
For instance, there is web approaches to teach people new
languages by making them translate documents and books [1].
The basic idea is simple in this case. Somebody who needs
a document translation uploads it to a Web repository. That
document then gets presented to students in a Web interface,
and students can translate it in order to practice the language
they are learning. When the document is fully translated, it
is returned to the original content owner who, depending on
the type of document they uploaded, pays for the translation.
Similar approach has been applied to other areas. However, as
far as we are concerned, there is anything like that to teach
software engineering.
There exists today a large amount of high quality online
101
C ODE C HALLENGE
In this work, we expect to create a platform of courses

related to software engineering called CodeChallenge. This
platform is composed of several courses aiming to teach
software development in different programming languages,
such as C#, Java, Ruby, JavaScript, and Python and different
subjects of software engineering . The exercises of all courses
are going to be designed as an implementation of real life
problems, like Minimum Viable Product (MVP) or prototypes
for startups and software products for small business. From
the business model side, we foresee solving real life complex
problems by breaking them into smaller problems which are
solved by students. After all sub-problems have been solved,
CodeChallenge aggregates one to another creating the solution
for the original problem. Software Engineering courses will be
available for free and, as a result, we believe that we are able
to achieve a widely audience.
Figure 1 presents an overview of CodeChallenge. This
figure shows that the proposed learning platform includes
two types of users: (industry) partners and students. Our
partners submit a real life problem of software development
to CodeChallenge. Each open problem is then displayed for
our students as an exercise that they can solve, based in
what problems they already solved. CodeChallenge will enable
students to solve problems by developing source code in its
Web front end or offline in the desirable IDE. In the latter
FEES
Fig. 1.
CodeChallenge Architecture
case, students have to upload the source code with the problem
solution. The verification of the quality of solutions is going
to be performed in three steps. First, the learning platform is
going to execute automated tests and those who pass in all tests
are marked as likely correct. The platform will allow users
to create more tests to guarantee that the solution proposed
will solve the partner problem. After that, each likely correct
solutions are going to be syntactically analyzed (e.g., to check
code style and patterns) and quantitatively evaluated by source
code metrics [5]. This automated analysis may approve or not
the solution and will help the users to rank the better solution.
Finally, users of the platform, i.e. students and partners, are
able to qualitatively evaluate the quality of the approved
solutions.
After a solution is solved by an user, CodeChallenge will
allow and encourage users to do code reviews and improve
code of others users. This will give us two benefits. First, will
increase students skills helping them to understand how they
can make better codes. Second, it will improve the overall
solution that each partner will receive, improving code quality
and maintenance.
exercises and verifies its correctness automatically. In a second

step, CodeChallenge will be evaluated by analyzing whether
it is capable of solving actual problems from industry partners
and delivered value for them. Detailed evaluations strategies
are expected to be designed during the work execution.
III.
C ONCLUSION AND E XPECTED R ESULTS
This project aims to help students older than 15 years

old, who cannot pay a large amount for learning how to
program or for improving their software development skills.
CodeChallenge focuses on people either who are not ready
yet to start their careers or have interests in learning new
technologies. We believe that this project can impact the IT
industry worldwide, by providing skilled manpower to an ever
growing software market and by helping poor people to grow
and enhance their programming skills.
We expect that at the end of the work, in December
of 2015, Luiz Ferreira will be able to defend his master
dissertation under the supervision of Eduardo Figueiredo.
IV.
ACKNOWLEDGEMENTS
This can introduce a new business model to massive open

online courses [6] by developing a model based on creating
small products to early stage companies. This approach will
allow entrepreneurs to test their hypothesis faster at low cost.
This work was partially supported by CNPq (grant Universal 485907/2013-5) and FAPEMIG (grants APQ-02532-12
and PPM-00382-14).
The work has two milestone. First, it is expected to develop

a teaching platform to allow worldwide students to practice
their program skills in real world problems. This first milestone
is planned for 2014. Second, both the learning and programming platforms are going to be integrated and evaluated
based on empirical research methods, such as surveys and
experiments [7].
R EFERENCES
This work can be divided in 3 phases. 1st Term: Development of a prototype module that allow students to do
software engineering exercises and verifying automatically if
the exercise is correct in the cloud. 2nd Term: Development of
a module of the course to teach software engineering based on
real life problems provided by our industry partners. 3rd Term:
Design empirical studies to evaluate the proposed platform.
The first prototype version of CodeChallenge is going to
be evaluated both in a controlled experiment with students in
our university and by applying a survey with worldwide users
[7]. We aim first to analyze if the platform is able to create
an environment where students can write source code to solve
102
[1]
[2]
[3]
[4]
[5]
[6]
[7]
L. von Ahn, Duolingo: learn a language for free while helping to

translate the web, in Proceedings of the 2013 international conference
on Intelligent user interfaces. ACM, 2013, pp. 12.
E. Figueiredo, J. Pereira, L. Garcia, and L. Lourdes, On the evaluation
of an open software engineering course, 44th Annual Frontiers in
Education (FIE) Conference.
D. C. Schmidt and Z. McCormick, Creating and teaching a mooc
on pattern-oriented software architecture for concurrent and networked
software, in Proceedings of the WaveFront Forum at the SPLASH 2013
conference, 2013.
N. Tillmann, J. De Halleux, T. Xie, S. Gulwani, and J. Bishop, Teaching
and learning programming and software engineering via interactive
gaming, in Software Engineering (ICSE), 2013 35th International Conference on. IEEE, 2013, pp. 11171126.
S. R. Chidamber and C. F. Kemerer, A metrics suite for object oriented
design, Software Engineering, IEEE Transactions on, vol. 20, no. 6, pp.
476493, 1994.
C. Dellarocas and M. Van Alstyne, Money models for moocs, Communications of the ACM, vol. 56, no. 8, pp. 2528, 2013.
C. Wohlin, P. Runeson, M. Hst, M. C. Ohlsson, B. Regnell, and
A. Wessln, Experimentation in software engineering. Springer, 2012.
FEES
Um estudo sobre bibliotecas digitais no contexto da

participao social
Luiz Matos1 , Fernando Cruz1 , Paulo Meirelles1
1

luizff.matos@gmail.com, {fwcruz, paulormm}@unb.br
ResumoEste artigo relata os resultados intermedirios da

primeira etapa de um trabalho graduao de Engenharia de
Software na Universidade de Braslia, que prope a construo de
uma biblioteca digital distribuda, tomando o portal Participa.br,
que utiliza o software livre Noosfero, como um provedor de
servios e os mecanismos formais de participao social como
provedores de dados, cuja a comunicao ocorre por meio de
um protocolo de interoperabilidade.
Index TermsBibliotecas digitais, Participao social, Software livre, Interoperabilidade, Biblioteca digital semntica.
I. I NTRODUO
A participao popular pode ser compreendida como um
processo no qual homens e mulheres se descobrem como
sujeitos polticos, exercendo seus direitos polticos [1]. Uma
das formas de participao previstas na Constituio de 1988
e instituda no Decreto 8243/2014 atravs dos mecanismos
formais de participao (conselhos, conferncias, ouvidorias,
entre outros), que tem como objetivo, permitir o acesso do
cidado ao processo decisrio.
Um dos problemas enfrentados a inexistncia de um local
para busca de informaes sobre os mecanismos, eles possuem
seu prprio repositrio de informaes, em diversos formatos
digitais. Embora exista uma quantidade enorme de informaes sobre participao social, a maioria delas possuem
informaes heterogneas e desatualizadas, principalmente as
disponibilizadas em catlogos impressos e em sites.
Por isso, prope-se criar um local para disponibilizar as
informaes sobre os mecanismos. No entanto, do ponto
de vista da Engenharia de Software foi necessrio juntar
conhecimento com outras reas, a fim pensar em uma soluo
que seja duradoura e atualizada.
Este artigo apresenta o andamento de um trabalho de
concluso de curso (graduao) de Engenharia de Software na
Universidade de Braslia (UnB), que tem o objetivo conceber
um ambiente para consulta colaborativa dos mecanismos ,
onde cada instncia ser responsvel pela manuteno de suas
informaes.
O restante deste artigo est organizado da seguinte maneira:
a seo II descreve como foi nossa metodologia de trabalho;
a seo III apresenta os estudos e resultados obtidos at o
momento; e a seo IV conclui este artigo.
II. M ETODOLOGIA
Este trabalho iniciou-se com o problema sobre a catalogao
e sistematizao dos canais formais de participao. Primeiramente foi realizado um estudo inicial sobre o tema na literatura
concernente (IPEA1 ) e nos contedos disponibilizados nos
sites dos mecanismos.
Alm disso, realizou-se entrevistas e reunies com os principais gestores dos conselhos e conferncias. Essas entrevistas auxiliaram no entendimento sobre o funcionamento dos
mecanismos formais, como tambm, ajudaram a definir as
principais necessidades de informao (requisitos), necessrios
na etapa de catalogao dos mecanismos formais dentro da
biblioteca digital.
Aps o levantamento, foi visto que a catalogao manual
desses mecanismos formais invivel, tendo em vista que:
(i) as informaes ficam facilmente desatualizadas, (ii) h
mecanismos que possuem pouca ou nenhuma informao, (iii)
ou com quantidade muito grande.
A fim de manter uma soluo mais duradoura e inteligente, foi percebido que conceitos da Cincia da Informao
e Biblioteconomia poderiam complementar a Engenharia de
Software no intuito de resolver o problema. Durante os estudos
foi proposto a criao de uma biblioteca digital, contendo as
principais informaes sobre os mecanismos, na qual cada um
responsvel pela manuteno de suas informaes.
Em seguida, foram feitos estudos sobre as principais plataformas de software livre voltadas para construo de bibliotecas digitais. Analisando as principais caractersticas, podemos comprovar qual ferramenta que atende as necessidades
levantadas. Alm disso foi realizada uma prova de conceito,
adotando um desses softwares para demonstrao de uma
possvel biblioteca digital de participao social.
Percebendo-se a possibilidade de colaborar com a Cincia
da Informao, foi feita uma proposta para ampliar a biblioteca
digital para um espao semntico e social colaborativo, com
base em ontologias e metodologias j conhecidas a fim de
disponibilizar um ambiente mais completo para o usurio.
III. E STUDOS E R ESULTADOS
A biblioteca digital de participao social funcionar integrada com a plataforma Participa.br (Plataforma Federal
1 O IPEA (Fundao Instituto de Pesquisa Econmica Aplicada)fornece
suporte tcnico e institucional s aes governamentais para a formulao de
polticas pblicas e programas de desenvolvimento.
103
FEES
da Participao Social), que busca a criao de um espao

colaborativo para participao social atravs de ferramentas e
metodologias.
Uma biblioteca digital no somente uma coleo digital
com ferramentas para manter as informaes. Ela composta
por um ambiente que possui colees, servios e pessoas
apoiando um ciclo de vida de disseminao, uso e preservao
do dado, informao e conhecimento. A biblioteca digital
tem vrias finalidades, dentre elas: (i) preservar objetos de
informao; (ii) melhorar a acessibilidade; e (iii) integrar
vrios formatos de informao.
O Participa.br utiliza o Noosfero2 , uma plataforma livre
para criao de redes sociais. O Noosfero utiliza o arcabouo
Ruby on Rails, que influencia em maior produtividade para
o programador. Utiliza o padro arquitetural Model-ViewController (MVC) e extensvel atravs de plugins.
Figura 1. Modelo de comunicao entre o portal e os mecanismos de

participao. Adaptado de [2]
Mediante o uso do protocolo de interoperabilidade 3 OAIPMH, que um protocolo que permite o compartilhamento
de metadados 4 , foi realizado um primeiro prottipo de funcionamento da biblioteca. A Figura 1 representa um consrcio
de bibliotecas digitais, onde os mecanismos formais tero um
mdulo de biblioteca digital pr-configurado e preenchero
informaes, tais como: telefones de contato, nomes dos conselheiros, entre outras. O Participa.br (Noosfero), vai coletar
as informaes dos mecanismos, j que ter acoplado a si um
plugin de biblioteca digital.
Dentro da participao social, a ampliao da biblioteca
digital para o contexto de web semntica interessante, pois
a descrio dos mecanismos pode ser feita com auxlio da
comunidade de usurios, alm de tornar mais abrangente
que uma biblioteca comum. Para a proposio inicial da
biblioteca, foram utilizadas como base: (i) a ontologia de
2 Maiores
informaes em: http://www.noosfero.org

de dois ou mais componentes de software cooperarem [3].
4 Dados sobre outros dados, ou seja, so as informaes detalhadas de
um determinado contedo (documentos, mdias, planilhas, etc) que est na
biblioteca
3 Capacidade
participao social feita por [4]; e (ii) a proposta metodolgica

feita por [5]. Durante o decorrer do trabalho foi visto que
algumas ontologias podem ser utilizados, como o caso da
FOAF (Friend of a Friend). Atravs da ferramenta LOV 5
(Linked Open Vocabularies), podem ser escolhidos diversos
vocabulrios para serem usados na biblioteca semntica.
IV. C ONSIDERAES F INAIS
Em funo das manifestaes sociais que circulam pelo
Pas, o Participa.br tem sido considerado como uma plataforma
estratgica para o Governo Federal e h interesse direto na
sua divulgao e uso, com disponibilizao de contedos que
beneficiam os mecanismos.
De fato, durante o perodo do trabalho de concluso de
curso, foram realizadas vrias atividades que passaram pelas
principais disciplinas presentes no currculo de graduao de
um Engenheiro de Software. Nas atividades relacionadas a
concepo e elaborao de projetos, o arcabouo visto no
curso foi proveitoso. No entanto, tendo em vista as dificuldades encontradas no desenvolvimento da biblioteca, dentre elas:
evoluo de cdigo fonte, instalao do software, manuseio
de servidores, etc, foi notado que as disciplinas no ajudaram
muito na soluo desses problemas, pois o currculo aborda
muito pouco na rea do desenvolvimento, algo que est
mudando nos currculos atuais.
Outro fator importante foi a possibilidade de integrao da
Engenharia de Software com outras reas de conhecimento
para solucionar o problema encontrado. Vendo que bibliotecas
digitais era a soluo mais vivel, analisamos que ainda no
seria um ambiente suficiente e utilizamos tcnicas estudadas
na Engenharia de Software buscando a criao de um ambiente
mais completo para os usurios, j que entendemos que essa
um dos principais objetivos do Engenheiro de Software.
At o momento da escrita desse artigo, j foram feitas
proposies dos metadados iniciais para catalogao dos mecanismos, levantamento das principais ferramentas de bibliotecas digitais e criao de um ambiente de homologao para
biblioteca. Os prximos passos sero: formalizar a biblioteca
digital, criar o formulrio para os mecanismos e estender a
biblioteca de participao.
Espera-se que, com essas iniciativas, o portal Participa.br
possa ser um catlogo de informaes de participao social
sempre atualizado e organizado com a ajuda dos prprios
canais de participao.
R EFERNCIAS
[1] G. A. de Almeida, Participao e controle social na garantia dos
direitos humanos, 2011. [Online]. Available: http://www.dhnet.org.br/
dados/cursos/dh/cc/2/participacao.htm
[2] C. L. d. C. Renan Rodrigues de Oliveira, Implementao de interoperabilidade entre repositrios digitais por meio do protocolo oai-pmh, 2009.
[3] P. Wegner, Interoperability, ACM Computing Surveys, vol. 28, pp. 285
287, 1996.
[4] R. Fabbri, Relatrio tcnico do pnud - ontologia do portal federal de
participao social, 2014.
[5] F. Solagna, Anlise de experincias nacionais e internacionais de participao mediada por internet, 2014.
5 Base contendo as principais vocabulrios utilizados em web semntica.
Disponvel em: http://lov.okfn.org/dataset/lov/
104
FEES
Aspectos da Validao de Software em Metodologias geis

Aplicveis Terceirizao do Desenvolvimento de Software
Eduardo Pinto Barbosa
Orientadora: Elaine Venson
Universidade de Braslia UnB,

Faculdade do Gama - FGA
Braslia, Brasil
Universidade de Braslia UnB,

Faculdade do Gama - FGA
Braslia, Brasil
eduduarduo@hotmail.com
elaine.venson@gmail.com
Trabalho de Concluso de Curso de Graduao

I. INTRODUO
A administrao pblica federal brasileira tem aderido a
metodologias geis de desenvolvimento de software em suas
contrataes de servios de TI [1]. Um acrdo publicado pelo
Tribunal de Contas da Unio apresenta algumas das unidades
da administrao pblica que j fazem uso, assim como riscos
da utilizao de metodologias geis na terceirizao do
desenvolvimento de software [2].
TABELA I
Estgios da Iterao
gil
Interao entre Cliente e equipe de

desenvolvimento
Pr-Iterao
A aceitao e consequente pagamento dos servios e

produtos de software em um contrato so dependentes da
validao dos mesmos [3]. A validao de software garante que
as necessidades e expectativas do cliente sejam satisfeitas e que
o produto certo esteja sendo desenvolvido ao longo do
processo [4].
Prticas de Validao de Software

gil
Interao entre Cliente e pessoas do

negcio
desenvolvimento
Planejamento
Iterao
da
Itens como os requisitos de software e o produto final

devem ser validados para se obter um produto de qualidade [5].
Interao
de
programadores
da
desenvolvimento
testadores
equipe
de
Requisitos geis
desenvolvimento
Este trabalho visa responder como prticas e

recomendaes no desenvolvimento gil se relacionam com
questes j estabelecidas sobre validao na engenharia de
software [6]. Especificamente, busca-se compreender como
ocorre a validao de software em processos de
desenvolvimento gil e a partir deste entendimento, prope
instrumentos para viabilizar esta atividade em um contexto de
terceirizao de projetos de software por rgos da
Administrao Pblica Federal.
Interao entre Cliente e pessoas do

negcio
Dentro da Iterao
Interao
de
programadores
da
desenvolvimento
testadores
equipe
de
Testes geis
Teste de Aceitao
II. VALIDAO GIL

A iteratividade e entregas mais constantes do
desenvolvimento gil fazem com que a validao desses itens
tambm ocorra iterativa e constantemente ao longo do projeto
[7]. As prticas de software que foram identificadas para
validao gil so apresentadas na Tabela I.
Ps-Iterao/ Final
da iterao
Reviso da Iterao
III. CONCLUSO
Instrumentos foram desenvolvidos para um estudo de caso
especifico em um rgo da administrao pblica federal para
viabilizar a atividade de validao. Tais instrumentos so
apresentados na Tabela II.
105
FEES
TABELA II
Prticas de Validao de
Software gil
Interao entre Cliente e
pessoas do negcio
Interao entre Cliente e
equipe de desenvolvimento
Requisitos geis
Testes geis
Teste de Aceitao
Reviso da Iterao
O trabalho resultado de uma pesquisa aplicada,

qualitativa e descritiva sobre aspectos da validao de software,
em que se analisam as prticas de validao de acordo com os
estgios de uma iterao do Processo de Desenvolvimento de
Software gil [8].
Instrumentos propostos para

o estudo de caso
Atuao do Product Owner
Partner (POP)
Atuao do Product Owner
Partner (POP)
Agenda do Product Owner
(PO)
Template de histrias de
usurio e critrios de
aceitao
Definio do conceito de
Pronto para a iterao
Definio dos testes a serem
utilizados pela equipe de
desenvolvimento
Template dos testes de
aceitao
Execuo dos testes de
aceitao
Apresentao de resultados
dos testes
Deciso de Aceite
Apresenta-se um mapeamento e anlise das prticas de

validao de software gil, as quais foram materializadas em
instrumentos de validao geis e aplicadas ao processo de um
estudo de caso em uma organizao da administrao pblica
federal brasileira.
REFERENCIAS
[1]
[2]
[3]
[4]
[5]
[6]
[7]
[8]
106
C. de O. Melo, V. Santos, E. Katayama, H. Corbucci, R. Prikladnicki,

A. Goldman, e F. Kon, The evolution of agile software development in
Brazil, J. Braz. Comput. Soc., vol. 19, no 4, p. 523552, nov. 2013.
Brasil, Acrdo 2314/2013. Tribunal de Contas da Unio, 28-ago2013.
M. BRASIL, Instruo Normativa - SLTI 4. 12-nov-2010.
ISO/IEC, ISO 12207:2008 - Standard for Systems and Software
Engineering - Software Life Cycle Processes. IEEE, 2008.
A. Barti , Garantia da qualidade de software. Rio de Janeiro: Elsevier,
2002.
T. Dingsyr, S. Nerur, V. Balijepally, e N. B. Moe, A decade of agile
methodologies: Towards explaining agile software development, J.
Syst. Softw., vol. 85, no 6, p. 12131221, jun. 2012.
R. E. Gallardo-Valencia e S. E. Sim, Continuous and Collaborative
Validation: A Field Study of Requirements Knowledge in Agile,
Second International Workshop on Managing Requirements Knowledge,
2009.
M. F. de C. Tozoni-Reis, Metodologia da Pesquisa, 2o ed. Curitiba:
IESDE Brasil S.A., 2009.
FEES
Mezuro, Evoluo de Software Livre: Da

Arquitetura Experincia do Usurio
Renan Costa1 , Vincius Vieira1 , Paulo Meirelles1
1

{renan2703,vvieira17}@gmail.com, paulormm@unb.br
ResumoEste trabalho apresenta um estudo e as colaboraes

na evoluo de uma plataforma para monitoramento de cdigosfonte chamada Mezuro, que, em sua concepo, ela pensada como
um plugin de uma plataforma de redes sociais. Com sua evoluo,
a equipe de desenvolvimento decidiu ento por re-escrev-la como
aplicao independente. Neste trabalho, apresentamos um relato
das nossas colaboraes nesse projeto de software livre.
Index TermsMtricas de software, software livre, anlise de
cdigo-fonte, contribuio, evoluo de software, requisitos de
qualidade.
I. I NTRODUO
H vrias caractersticas que fazem do software um sistema
de qualidade ou no. Entre elas h algumas que so obtidas
exclusivamente atravs do cdigo-fonte. Quando compilamos
um software, por exemplo, caractersticas podem ser analisadas, mas outras como organizao e legibilidade no. Isso
no refletiria tamanho, modularidade, manutenibilidade, complexidade, flexibilidade, que so caractersticas encontradas na
anlise de cdigos-fonte [1]. O que define essas caractersticas
em sistemas de software so suas mtricas de cdigo-fonte. O
esforo necessrio para extra-las, ou obt-las, manualmente
pode ser considerado imensurvel. Quanto maior e mais complexo o cdigo, esse tipo de atividade se torna ainda mais
distante das equipes de desenvolvimento, dada a quantidade
de propriedades e linhas de cdigos a se analisar, alm de no
ser vivel pelo tempo despendido. Existem ferramentas que
auxiliam nessas atividades, por meio da extrao e monitoramento automtico de mtricas de cdigo-fonte, auxiliando a
equipe durante o processo de desenvolvimento. Porm, existem
existem poucas ferramentas disponveis, e muitas delas nem
sempre so adequadas para anlise do projetos de software
livre [2], que ponto central deste trabalho ao apresentamos
a evoluo do projeto Mezuro. Dessa forma, o artigo est
organizado, de forma que, na Seo II, apresentamos o projeto
Mezuro; na Seo III, discutimos as contribuies deste trabalho ao projeto Mezuro; na Seo IV, abordamos a metodologia
de desenvolvimento usada; por fim, na Seo V fazemos as
consideraes finais.
II. P ROJETO M EZURO
denominada Mezuro1 , que possibilita o monitoramento de

caractersticas especficas do software. O Mezuro foi concebido como instncia de uma plataforma web conhecida como
Noosfero, com o plugin Mezuro ativado. O Noosfero um
software livre para criao de redes sociais, que est disponvel
sob licena AGPL 2 V3, com o intuito de permitir que os
usurios criem sua prpria rede social livre e personalizada
de acordo com suas necessidades. Porm, o Noosfero limitava
o desenvolvimento do Mezuro, ao passo que as verses do
arcabouo Rails e da linguagem Ruby, tecnologias utilizadas
para seu desenvolvimento, eram verses antigas, sem tantos
recursos e com suporte menor da comunidade comparando
com as verses mais atuais. Alm disso, os recursos relacionados a redes sociais no so to relevantes para ferramentas
de anlise de cdigo-fonte. Adio e remoo de recursos que
no se encaixam no ambiente onde o sistema est inserido
so intenes da evoluo de software. Dessa forma, a equipe
do Mezuro decidiu pela reescrita do seu cdigo, extraindo-o
do Noosfero e transformado-o numa plataforma independente,
desenvolvida com as verses mais novas do arcabouo Rails e
da linguagem Ruby. Essa deciso foi importante, no apenas
pelo ganho de liberdade no desenvolvimento ou por tornar o
Mezuro uma ferramenta mais enxuta, e concisa em relao as
suas funcionalidades. Ela foi relevante tambm para formatar
uma comunidade de software livre, formada no apenas pela
equipe core, a qual concebeu o Mezuro, mas tambm por
desenvolvedores externos, ou co-desenvolvedores.
III. C ONTRIBUIES
As contribuies, do ponto de vista de implementao, da
equipe UnB para o Mezuro, podem ser divididas em cinco grupos, que representam os ciclos de desenvolvimento de algumas
das features do Mezuro. So elas: i) Manter Repositrios; ii)
Manter Configuraes; iii) Refatorao do Fluxo de Adio
de Mtricas de Configurao; iv) Aplicao de uma Tcnica
de Visualizao de Informaes; v) Aplicao de Tcnicas
de Usabilidade. Para monitorar um determinado cdigo-fonte
no Mezuro necessrio, criar uma conta de usurio. Com
a conta criada possvel criar um projeto, o qual pode
conter um repositrio de dados ou mais. O monitoramento do
A partir da necessidade de extrair mtricas de cdigo-fonte

e interpretar seus valores, foi desenvolvida uma plataforma
107
1 http://mezuro.org/
2 Licena
de software GNU Affero General Public License
FEES
cdigo-fonte acontece por meio da entidade repositrio, que

processado e apresenta as mtricas ao usurio no final.
A primeira contribuio relacionada a este trabalho foi a
funcionalidade de Manter Repositrios. Apesar de simples,
uma funcionalidade vital para o funcionamento do Mezuro,
alm de representar o primeiro contato com as tecnologias
envolvidas no projeto, e a primeira contribuio de desenvolvedores externos equipe core. A segunda funcionalidade
foi Manter Configuraes, a qual teve um tempo de sprint
de uma semana, j que a familiaridade com o cdigo-fonte
e tecnologia estava maior. A terceira funcionalidade por sua
vez, foi a que teve o maior ciclo de desenvolvimento, e foi
desenvolvida em sua grande parte utilizando pair programmming. O objetivo dessa terceira contribuio era melhorar o
fluxo de adio de mtricas de configurao, que era pouco
eficiente e montono para o usurio. A quarta contribuio,
relacionada a visualizao de software, teve o objetivo de
aplicar uma tcnica de visualizao de software ao Mezuro.
A visualizao de software um ramo da visualizao de
informaes que mais cresce atualmente. Tem como objetivo
principal aumentar o poder de compreenso das informaes
apresentadas, neste caso as mtricas, por meio de grficos
ou tcnicas de visualizao. A quinta contribuio aconteceu
paralelamente a todas as outras contribuio. Ela se resume
em vrios ciclos de usabilidade que objetivavam melhorar a
utilizao do sistema pelos usurios finais aplicando princpios
ou tcnicas de usabilidade ao Mezuro. Entretanto, os aspectos
relevantes deste trabalho no esto restritos apenas aos pontos
prticos ou de implementao citados. A colaborao com um
software livre, de acordo com os padres de contribuio voltadas para softwares livres, passando por vrios dos processos
que compem a engenharia de software, alm da aplicao
de prticas geis, interao e envolvimento com uma equipe
remota tambm so pontos notveis deste trabalho.
IV. M ETODOLOGIA DE D ESENVOLVIMENTO
Durante as contribuies foi possvel observar os seguintes
grupos de padres associados s colaboraes com softwares
livre: i) Padres de seleo; ii) Padres de envolvimento; iii)
Padres de contribuio. No grupo dos padres de seleo,
aquele que foi mais relevante para este trabalho foi o terceiro
padro, o qual incentiva os futuros colaboradores a procurar
por projetos que ofeream funcionalidades atrativas, independente da familiaridade com as tecnologias envolvidas. E foi
exatamente isso que foi feito num primeiro momento, onde
no havia conhecimento das tecnologias utilizadas no desenvolvimento do Mezuro. Entretanto suas funcionalidades despertavam o interesse para as contribuies. Diversos padres
do grupo de envolvimento foram aplicados, j que muitos
colaboradores da plataforma, auxiliaram durante o processo
de envolvimento, apresentando funcionalidades e principais
cenrios do sistema, alm de fornecer documentao necessria para o entendimento do contexto no qual o Mezuro est
inserido. Os dois primeiros grupos tratam de como iniciar e se
familiarizar com o projeto, enquanto o grupo de contribuio
trata do fornecimento de insumos adequados para o projeto
de software livre, sejam eles cdigo-fonte ou outros artefatos

presentes no desenvolvimento. As polticas estabelecidas no
processo de desenvolvimento do Mezuro, como poltica de
commits e padres de desenvolvimento satisfazem a grande
parte desses padres.
J em relao s prticas geis utilizadas dentro dos ciclos
de desenvolvimento, destacam-se o pair programming, diviso
das iteraes em sprints, sprint planning meetings e sprint
review meetings. As prticas do pair programming foi a
mais eficiente, j que otimizava o tempo, seja na rapidez
no alcane dos objetivos ou na passagem de conhecimento
a outro desenvolvedor. Em relao a eficcia h destaque
para a prtica da reviso da sprint, pois ajustes eram feitos,
quando necessrio, o que contribua bastante para o alcance
dos objetivos na iterao seguinte.
V. C ONSIDERAES F INAIS
A evoluo do Mezuro no foi motivada por um motivo
isolado. Um conjunto de fatores influenciaram e convenceram
a equipe que o melhor para o futuro do projeto Mezuro
seria um conjunto de modificaes em sua estrutura. Os
desenvolvedores estavam restritos aos ultrapassados recursos
do Rails 2 e do Ruby 1.8, a qual no recebia mais suporte de
seus desenvolvedores. A equipe criadora do Mezuro almejava
por liberdade na tomada de decises, como por exemplo
atualizar o Mezuro para as novas verses do Rails e do
Ruby, aproveitando suas melhorias e novos recursos. Porm,
estavam subordinados as decises e andamento do projeto
Noosfero. A equipe se deu conta que os recursos relacionados
a redes sociais fornecidos no eram necessrios para uma
ferramenta de monitoramento de cdigo-fonte. Alm disso,
a manutenibilidade e insero de novos desenvolvedores ao
projeto eram tarefas difceis, j que o Mezuro crescia bastante
e se tornava cada vez mais uma aplicao dentro de outra
aplicao, ao invs de um plugin com funcionalidades bem
especficas.
Os aspectos relevantes deste trabalho no esto restritos
apenas aos pontos prticos ou de implementao citados.
A colaborao com um software livre, de acordo com os
padres de contribuio, passando por vrios dos processos
(implementao, gerencia de configurao, requisitos e manuteno e evoluo de software) que compem a engenharia de
software, alm da aplicao de princpios geis. Por fim, as
melhorias alcanadas por essas contribuies foram medidas
atravs de questionrios e avaliao heurstica aplicados aos
contribuidores originais da plataforma.
R EFERNCIAS
[1] P. R. M. Meirelles, Monitoramento de mtricas de cdigo-fonte em
projetos de software livre, Ph.D. dissertation, Instituto de Matemtica
e Esttistica Universidade de So Paulo (IME/USP), 2013.
[2] P. Meirelles, C. Morais, R. Martins M., F. Kon, C. Santos Jr., and
J. Maldonado, Mezuro: A source code tracking platform, Ph.D. dissertation, FLOSS Competence Center University of So Paulo, Instituto
de Matemtica e Estatstica, Maio 2010.
108
FEES
Tcnicas de usabilidade e testes automatizados em

processos de desenvolvimento de software emprico
Rodrigo Medeiros, Jnatas Medeiros, Paulo Meirelles
{rodrigo.mss01,jonatasmm}@gmail.com, paulormm@unb.br
ResumoEste artigo apresenta um estudo sobre usabilidade

e testes automatizados no desenvolvimento emprico de software,
voltado para a plataforma livre Noosfero. Neste estudo, levantamos hipteses sobre a influncia dos testes automatizados nas
tcnicas de usabilidade.
Index TermsTestes Automatizados, Usabilidade, Mtodos
Empricos, Software Livre, Mtodos geis
I. I NTRODUO
O desenvolvimento de software usando mtodos empricos,
como software livre e mtodos geis, uma realidade, tendo
como prtica bsica testes automatizados, preocupando-se com
as aplicaes de testes em sistemas dinmicos e reutilizveis
elevando qualidade e produtividade [1]. Adicionalmente, a
usabilidade vem sendo estudada para ser aplicadas no desenvolvimento de software. Criar software que seja til e fcil
de usar fator importante para a evoluo dos sistemas [2].
O Noosfero, plataforma de desenvolvimento em que se baseia
as aplicaes estudadas, j teve iniciativas para a melhoria da
usabilidade.
II. M TODOS E MPRICOS DE D ESENVOLVIMENTO DE
S OFTWARE
O Empirismo baseia-se na aquisio de sabedoria atravs
da percepo do mundo externo [3]. Como mtodo emprico,
Software livre uma filosofia que trata programas de computadores como fontes de conhecimento que devem ser compartilhados. A utilizao de mtodos geis no desenvolvimento tem
como caractersticas intrnsecas a flexibilidade e rapidez nas
respostas a mudanas. Existe uma relao entre mtodos geis
e software livre, que tem a essncia da sua comunidade em
manter indivduos que interajam de forma a produzir o que
mais importante [4]. Alm de compartilharem os mesmos
valores, sendo mtodos empricos, que buscam tomar decises
rpidas de acordo com a percepo do mundo externo.
III. T ESTES
A automao de testes uma prtica gil, eficaz e de
baixo custo para melhorar a qualidade do software. Os testes
automatizados afetam diretamente a qualidade do software,
mesmo que os artefatos produzidos no sejam visveis para
os usurios finais [5]. Esses testes podem ser divididos em
diversos tipos, sendo os abordados neste estudo:
1) Testes de unidade: testes de correo responsvel pelos

menores trechos de cdigo com um comportamento [5].
2) Testes funcionais: testes que tem como objetivo verificar a eficincia dos componentes de um sistema [6].
3) Testes de aceitao: testes para verificar se um mdulo
se comporta como foi especificado [7].
Foram utilizados neste estudo, o desenvolvimento dirigido
por testes, TDD (Test-Driven Develepment), uma tcnica se
d pela repetio de um ciclo de passos de implementao de
testes e do sistema [8]. E a tcnica de desenvolvimento dirigido
por comportamento (BDD - Behavior Driven Development)
que induz a utilizao de uma linguagem ubqua entre cliente
e equipe de desenvolvimento.
IV. U SABILIDADE
A usabilidade definida como o fator que assegura que
um produto fcil de usar, eficiente e agradvel [9]. Para
entender o que usabilidade e como ela est inserida no desenvolvimento de software, precisamos compreender algumas
relaes: Design centrado no usurio uma filosofia baseada
nas necessidades e interesses dos usurio, com nfase em
fazer produtos usveis e inteligveis [10]. O termo usado
frequentemente para sintetizar toda a experincia com um
produto de software. No engloba somente as funcionalidades
e sim o quanto agradvel ao usurio [11]. Um problema
encontrado em softwares livres a pouca ateno aos aspectos
de usabilidade, o que pode ser causado pela sua prpria
comunidade que apenas enfatiza na criao, melhoria e teste do
cdigo fonte. A integrao entre os processos de usabilidade
e mtodos geis esperada visto que tanto os mtodos geis
como a usabilidade tem em comum caractersticas que tem
foco nas necessidades dos usurios.
V. E STUDO
Foi planejado um estudo de usabilidade para analisar a interao dos usurios com o portal Participa.Br a fim de avaliar
a qualidade em uso do portal. Este estudo de usabilidade
ser aplicado na segunda fase deste trabalho. Assim, foram
definidas questes sobre o que preciso saber de forma a
apoi-la a entender se o objetivo foi alcanado, e para cada
questo foram definidas as mtricas relacionadas na Tabela I:
Elencamos algumas tcnicas para identificao dos usurios:
109
FEES
Questes
Q1. Qual o perfil do
usurio que utiliza
o Participa.Br?
Q2. Qual o grau de
satisfao do usurio
do Participa.Br
Q3. Quantidade de tempo
gasto para realizar
as tarefas
Mtricas
Perfil
Diretrizes para
interpretao
Anlise de Dados Estatsticos,
criao de personas, anlise
dos dados qualitativos
Satisfao
do usurio
Escore da satisfao global

pelo usurio
Durao
Tempo gasto
Tabela I
Q UESTES DE P ESQUISA
1) Dados Estatsticos : Possibilita identificar algumas informaes sobre o perfil dos usurios, coletadas de base
de dados, redes sociais, etc.
2) Questionrio de identificao de perfil dos usurios:
Pesquisa que busca compreender quem so, qual o
conhecimento e como utilizam o sistema.
3) Identificao de Personas: Persona so personagens
fictcios criados com base em dados reais.
Elencamos algumas tcnicas para avaliar a usabilidade do
portal Participa.Br:
Tcnica
Observar Usurios
Perguntar aos usurios
Descrio
Um observador ir registrar o tempo gasto por cada
participante para concluir o estudo de caso, avaliar a
ferramenta e se necessitou de alguma ajuda
Os questionrios ASQ e PSSUQ de satisfao dos
usurios ser utilizado para coletar as opinies dos
participantes.
Tabela II
T CNICAS DE AVALIAO PARA OS TESTES COM USURIOS
Os instrumentos de coletas de informaes utilizados so

dois questionrios para medir a satisfao do usurio. So eles
o After-Scenario Questionnaire (ASQ) destinado ao uso em
testes de usabilidade baseados em cenrios. Possui trs itens:
(1) facilidade de concluso da tarefa, (2) tempo necessrio
para completar uma tarefa e,(3) a adequao das instrues
ou materiais de apoio fornecidos. Ainda temos o Post-Study
System Usabiliy Questionnaire (PSSUQ), aplicado aps a concluso de todos os cenrios para uma avaliao da usabilidade
do sistema de forma mais ampla, podendo avaliar: satisfao
geral, utilidade do sistema, qualidade da interface e qualidade
da informao.
O estudo sobre testes teve enfoque na rede Comunidade
UnB, sendo desenvolvidos alguns plugins para verificar a
aplibilidade. A rede Comunidade UnB necessita de restrio
de acesso aos usurios. Assim foi desenvolvido um plugin no
noosfero, que efetuasse essas restries, utilizando o protocolo
de autenticao da UnB, o LDAP (Lightweight Directory
Access Protocol).
Com os testes unitrio e funcionais do plugin alcanamos
os seguintes dados:
Quantidade de testes executados: 96 testes;
Quantiadde de falhas obtidas: 0 falhas;
Taxa de cobertura de cdigo: 88.94;
Outro plugin (plugin de Envio de TCC) desenvolvido para
o Noosfero, porm em uma aplicao diferente, o Portal UnB
Gama, responsvel por criar uma atribuio de trabalhos,

chamada de work assignment. Essa atribuio possui algumas
funcionalidades especficas como possibilitar que os usurios
envolvidos sejam notificados via email sobre a submisso de
um trabalho. Segue os dados sobre a execuo dos testes:
Quantidade de testes executados: 28 testes;
Taxa de cobertura de cdigo: 73.30;
Para o plugin de envio de tcc, foram definidos testes de
aceitao, para verificar o comportamento da funcionalidade:
Quantidade de cenrios executados: 6 cenrios;
Quantidade de passos executadas: 130 passos;
VI. C ONSIDERAES FINAISS
Com desenvolvimento baseado em testes e a avaliao de
usabilidade voltados para o Noosfero, chegamos a algumas
hipteses que sero respondidas na segunda fase do trabalho.
Como inserir os princpios de usabilidade no processo
desenvolvimento emprico de software?
possvel alcanar melhores resultados em testes de
usabilidade utilizando prticas do BDD e TDD?
Nesse contexto, a ideia do estudo inicial sobre projeto
Participa.Br foi conhecer como funciona algumas tcnicas de
avaliao da usabilidade. Aplicamos as tcnicas de usabilidade
pesquisadas durante o trabalho, em um processo baseado em
BDD e TDD, a fim de verificar problemas de usabilidade, e
satisfao e uso em um estudo de caso da plataforma Noosfero.
Assim, a segunda fase deste trabalho de graduao ser aplicar
o estudo realizado, a fim de verificar a influncia de testes
automatizados na usabilidade do sistema e possui previso de
entrega em dezembro de 2014.
R EFERNCIAS
[1] A. A. Vicente, Definio e gerenciamento de mtricas de teste no
contexto de mtodos geis, Masters thesis, USP - Universidade de
So Paulo, 2010.
[2] A. P. Santos, Aplicao de prticas de usabilidade gil em software
livre, 2012.
[3] M. Chau, Convite a filosofia, 2003.
[4] H. Corbucci, Mtodos geis e software livre: um estudo da relao
entre estas duas comunidades, Ph.D. dissertation, Universidade de So
Paulo, 2011.
[5] P. C. Bernardo, Padres de testes automatizados, Masters thesis,
Instituto de Matemtica e Estatstica Universidade de So Paulo,
2011. [Online]. Available: http://www.teses.usp.br/teses/disponiveis/45/
45134/tde-02042012-120707/
[6] L. Molinari, Teste de Software. Produzindo Sistemas Melhores e Mais
Confiveis., 2003.
[7] R. C. Martin, The test bus imperative: Architectures that support
automated acceptance testing, 2005. [Online]. Available: http:
//www.martinfowler.com/ieeeSoftware/testBus.pdf
[8] L. Koskela, Test Driven: Pratical TDD and Acceptance TDD for Java
Developers. Manning Publications, 2007.
[9] J. Preece, Y. Rogers, and H. Sharp, Design de Interao: Alm do homem
computador, 2007.
[10] D. Norman, O design do dia-a-dia. Rocco, 2006. [Online]. Available:
http://books.google.com.br/books?id=8zd8PgAACAAJ
[11] t. Lowdermilk, Design Centrado no Usurio: Um guia para o desenvolvimento de aplicativos amigveis, 2013.
110
FEES
O desenvolvimento do Novo Portal do Software

Pblico Brasileiro
Camila Ferreira1 , Aline Gonalves1 , Marisa Santos2 , Paulo Meirelles1 , Hilmer Neri1
1
Faculdade UnB Gama Universidade de Braslia (UnB), Brasil

Ministrio do Planejamento, Oramento e Gesto (MP), Brasil
{camilaferreira251,alinegsantoss}@gmail.com, marisa.santos@planejamento.gov.br, {paulormm,hilmer}@unb.br
2
ResumoO Portal do Software Pblico Brasileiro (SPB), na

prtica, um sistema web que se consolidou como um ambiente
de compartilhamento de softwares. O projeto de evoluo deste
portal est sendo desenvolvido pela Universidade de Braslia e
conta com integrantes de diversos perfis e nveis de formao.
O projeto utiliza algumas prticas de mtodos geis em sua
metodologia de desenvolvimento. O objetivo deste artigo relatar
a experincia no desenvolvimento, ao lado do Ministrio de
Planejamento.
Index TermsEngenharia de Sofware, Software Livre, Software Pblico, Evoluo de Software
I. I NTRODUO
O governo federal brasileiro vem nos ltimos anos buscando
melhorias nos seus processos de desenvolvimento e adoo de
software. Desde 2003, a recomendao da adoo de software
livre passou a ser uma poltica incentivada na esfera federal,
inicialmente com a criao do Guia Livre1 . Hoje, tal iniciativa
coordenada pelo Comit Tcnico de Implementao de
Software Livre do Governo Federal2 .
No contexto da promoo do software livre no governo
federal, a Secretaria de Logstica e Tecnologia da Informao
(SLTI) do Ministrio do Planejamento, Oramento e Gesto
(MP) inaugurou em 2007, o Portal do Software Pblico Brasileiro (SPB)3 , que um sistema web que se consolidou como
um ambiente de compartilhamento de projetos de software no
governo. Por exemplo, a Instruo Normativa 04/20124 indica
que os gestores devem consultar as solues existentes no
Portal do SPB antes de realizar uma contratao de software.
Hoje, com o portal do SPB tem cerca de 69 comunidades de
desenvolvimento e mais de 200.000 usurios cadastrados.
Entretanto, a evoluo do SPB foi comprometida, desde
2009, quando a plataforma do SPB no acompanhou a evoluo do seu framework base, o OpenACS5 . Com isso, no
tendo verses lanadas a partir daquele ano.
Nesse contexto, um dos passos para a concretizao de
uma nova plataforma para o SPB a integrao com novas
tecnologias, desde uma plataforma colaborativa at sistemas
1 governoeletronico.gov.br/acoes-e-projetos/guia-livre
2 softwarelivre.gov.br
3 softwarepublico.gov.br/O_que_e_o_SPB
4 governoeletronico.gov.br/biblioteca/arquivos/instrucao-normativa-no-04de-12-de-novembro-de-2010
5 openacs.org
de controle de verso e de monitoramento da qualidade do

cdigo-fonte. Para concretizar a evoluo do SPB, a Universidade de Braslia est coordenando tal processo, atravs de
uma equipe heterognea de alunos, professores e profissionais,
que esto aplicando prticas colaborativas de desenvolvimento
de software e gesto de projeto que impactam no projeto e,
em especial, na aprendizagem dos envolvidos. A equipe
formada, em sua maioria, por estudantes de graduao e de
ps-graduao, os quais esto tendo sua formao complementada por meio dessa oportunidade de participarem como
protagonistas em um projeto de grande magnitude, o qual
envolve dezenas de comunidades e milhares de usurios.
II. A RQUITETURA E TECNOLOGIAS PROPOSTAS
A soluo que ir atender a evoluo e reformulao do
Portal do Software Pblico Brasileiro composto por diversos mdulos, os quais iro comunicar-se entre si de forma
organizada e integrada para suprir as necessidades do projeto.
Figura 1. Proposta de arquitetura do Novo Portal do Software Pblico
No incio do projeto realizamos estudos de possveis ferramentas que pudessem ser utilizadas para atender as necessidades do projeto, chegando ento na lista apresentada abaixo.
Na anlise realizada chegamos ao entendimento que utilizar
elementos j oferecidos por softwares livres existentes seria o
ideal, pois eles j atendem s nossas necessidades, evitando o
retrabalho e customizando os elementos necessrios.
111
FEES
As ferramentas que sero utilizadas para suprir essas necessidades sero:

Para lista de e-mail estamos utilizando o Mailman na verso
2, que um software livre para gerenciamento de discusso
eletrnica de e-mail e listas e- newsletter;
Para Chat estamos utilizando Punjab BOSH (XMPP), que
uma interface HTTP de cliente jabber. um gerenciador de
conexo BOSH que permite conexes de clientes persistentes
para um servidor XMPP (protocolo de comunicao para
mensagens orientadas a middleware baseado em XML);
Para Plataforma de Buscas estamos utilizando Apache Solr,
que uma plataforma de busca open source da Apache
Lucene escrita em Java;
Para rede social estamos utilizando o Noosfero que uma
plataforma web livre para criao de redes sociais com blog,
e-Portiflios, CMS, RSS, discusso temtica, agenda de eventos, galeria de imagens, chat, entre outros. O desenvolvimento
dele foi iniciado pela Cooperativa de Tecnologias Livres
Colivre em 2007, sob a licena AGPL v.3, com a proposta
de permitir ao usurio criar sua prpria rede social personalizada, livre e autnoma;
Para Forge com SVN estamos utilizando o Trac, que uma
ferramenta open source para controle de mudanas em projetos de desenvolvimento;
Para sistemas de controle de verso estamos utilizando SVN
e Git, que so ferramentas open-source para controle de
mudanas em projetos de desenvolvimento;
Para Forge com Git estamos utilizando o GitLab, que um
software livre de colaborao de cdigo online que utiliza a
ferramenta de gerncia de cdigo fonte Git;
Para sistema de gerenciamento estamos utilizando o Redmine, que uma aplicao web de gerenciamento de projetos
que disponibiliza diversas ferramentas para auxiliar a gesto
e manuteno de um projeto;
Para suporte a single sign on estamos utilizando o Mozilla
Persona, que foi desenvolvido pela Mozilla e permite o suporte a single sign on;
Para Sistema de Integrao contnua estamos utilizando o
Jenkins, que uma aplicao web de integrao contnua de
construo de projetos.
Para reunir todas estas ferramentas estamos utilizando o
Colab, que uma plataforma de integrao de ferramentas.
Nele, so tambm integradas as interfaces das ferramentas para
que, ao navegar, o usurio tenha a sensao de estar navegando
em uma nica ferramenta.
III. M ETODOLOGIA
Pelo contexto colaborativo e emprico do desenvolvimento
de software livre, adotamos algumas prticas geis com base
nas experincias destacadas em [1] e [2], sobre a motivao de
adoo dos mtodos geis, XP e Scrum, no desenvolvimento
de software moderno, as quais so apresentadas a seguir.
Para melhor gerenciamento a durao total do projeto foi
dividida em sete Releases, cada uma com durao de quatro
meses. Ao final de cada release realizada uma entrega. Ou
seja, sero ao todo sete etapas de resultados a serem disponibilizadas ao longo da execuo do projeto. Para homologao e
ateste tcnico, disponibilizado um resultado prvio um ms
antes da entrega da Release, chamadas de Releases Candidatas.

Assim, a partir da disponibilizao do resultado da release
candidata, temos trinta dias para ajustes, correes e testes
finais.
Alm disso, so disponibilizados resultados intermedirios
mensalmente. Trata-se da oportunidade da equipe da SLTI/MP
poder fornecer feedbacks de possveis alteraes ou novas
funcionalidades, as quais so tratados como novos itens no
backlog para priorizao.
A equipe utiliza a prtica de programao em par para
o desenvolvimento de todas as histrias de usurios, que
representam as funcionalidades a serem desenvolvidas, e histrias tcnicas. Temos observado que tal prtica facilita o
nivelamento e a disseminao do conhecimento entre todos os
membros da equipe sem atrapalhar a produtividade da mesma,
pelo contrrio, com essa prtica a validao e a verificao da
histria mais confivel por estar sendo feito por pelo menos
duas pessoas.
Devido a formao diversificada, a disponibilidade de horrio variadas e a distribuio geogrfica da equipe (com
integrantes de Braslia, da Bahia e de So Paulo), precisamos
definir algumas prticas que facilitassem a comunicao entre
os integrantes.
Para informar o status das tarefas do projeto e evitar falhas
de comunicao mantemos uma lista de e-mail com todos
os integrantes do projeto, na qual relatado diariamente o
status das histrias da sprint atual e eventuais problemas que
precisam ser resolvidos.
Para manter o controle das atividades do projeto, utilizamos
a ferramenta de gerenciamento Redmine com configurao
gil, onde so mantidos o product backlog com as histrias de
usurios, as histrias tcnicas e suas respectivas tarefas. Para
cada histria, h um responsvel associado, o qual responde
pelo progresso da histria, e uma pontuao, que corresponde
ao esforo planejado para a mesma.
Baseado nos eventos da metodologia gil Scrum, a equipe
realiza algumas cerimnias, dentre elas: Stand-up, Reunies
de planejamento (com Planning Poker) e Reunies de encerramento (com retrospectivas).
IV. C ONCLUSO
Conclumos que a utilizao de metodologias geis contriburam favoravelmente para o desenvolvimento do projeto,
pois o escopo do mesmo est em contnua mudana e tais
metodologias facilitaram a adaptao da equipe. Destacamos
que XP e Scrum complementam um ao outro bem, com o
XP provendo suporte para aspectos mais tcnicos enquanto o
Scrum prov prticas e tcnicas para gerenciamento, planejamento e acompanhamento.
R EFERNCIAS
[1] K. Schwaber and M. Beedle, Agile Software Development with Scrum,
1st ed. Upper Saddle River, NJ, USA: Prentice Hall PTR, 2001.
[2] B. Fitzgerald, G. Hartnett, and K. Conboy, Customising agile methods
to software practices at intel shannon, Eur. J. Inf. Syst., pp. 200213,
2006.
112
FEES
Rede de colaborao social para universidades

brasileiras: um estudo de caso de implantao e
desenvolvimento distribudo de uma plataforma
livre na Universidade de Braslia
Daniel Costa Bucher1 , Paulo Meirelles1
1

daniel.bucher88@gmail.com, paulormm@unb.br
ResumoEste trabalho de concluso de curso apresenta os

resultados de um estudo para viabilizar a implantao de
uma rede de colaborao para a Universidade de Braslia
(UnB), que atue como um ambiente virtual para a criao e
o compartilhamento de conhecimento de forma colaborativa e
horizontal. Para isso, escolhemos utilizar a plataforma brasileira
para redes sociais livres Noosfero, por entender que esta satisfaz
as necessidades imediatas do projeto, de acordo com estudos
feitos pela Universidade de So Paulo, quando adotou a mesma.
Alm da implantao em si na UnB, este estudo contemplou um
levantamento de requisitos e a implementao de um conjunto
de funcionalidades e melhorias para a plataforma em questo,
de forma que atendesse as necessidades bsicas para podermos
realizar estudos de caso com alunos da UnB Gama. Dessa forma,
indicando como podemos oficializar a rede Comunidade.UnB,
bem como quais os prximos passos para que melhor atenda o
pblico dessa universidade. Adicionalmente, os esforos e conhecimento adquiridos neste trabalho foram repassados para uma
equipe de desenvolvedores na UnB Gama, o que proporcionar a
continuidade e concretizao da implantao desta rede na UnB,
em 2014.
Index TermsRedes sociais, software livre, engenharia de
software, Ruby on Rails.
I. I NTRODUO
Este artigo apresenta os resultados de um estudo de caso
de implantao e desenvolvimento de software livre na Universidade de Braslia (UnB). O software livre em questo
o Noosfero1 , uma plataforma para a criao de redes
sociais livres criada pela Cooperativa de Tecnologias Livres
- Colivre2 , uma empresa cooperativa que atua exclusivamente
com solues livres. As contribuies para a comunidade do
Noosfero so feitas por alunos do Laboratrio Avanado de
Produo, Pesquisa e Inovao em Software (LAPPIS)3 da
UnB Gama desde junho de 2013 e produziram como resultado
a implantao e a manuteno de dois ambiente Noosfero na
universidade: (i) Comunidade.UnB4 , e o (ii) Portal da UnB

Gama5 . O primeiro uma rede de colaborao social para
alunos, professores e funcionrios tcnico-administrativos da
UnB, ainda em estgio de homologao, e tem por objetivo
fornecer um ambiente virtual para a criao e o compartilhamento de conhecimento. O segundo o portal de informaes
e notcias da Faculdade do Gama (UnB/FGA). At a data
da escrita deste artigo, os alunos do LAPPIS j contriburam
com mais de vinte merge requests incorporados no core do
Noosfero e o Comunidade.Unb j possui 167 usurios e 24
comunidades.
II. F UNDAMENTAO T ERICA
O princpio bsico do ecossistema do software livre
promover a liberdade do usurio, sem discriminar quem tem
permisso para usar um software e seus limites de uso, baseado
na colaborao e num processo de desenvolvimento aberto.
Software livre aquele que permite aos usurios us-lo,
estud-lo, modific-lo e redistribui-lo, em geral, sem restries
para tal e prevenindo que no sejam impostas restries
aos futuros usurios [1]. Entendemos que este modelo de
desenvolvimento de distribuio de software seja o ideal em
um estudo de caso envolvendo uma universidade, uma vez
que entendemos ser o papel da universidade no s promover
a construo de conhecimento, mas tambm a disseminao
deste conhecimento para a sociedade. A utilizao do software
livre permite isso por causa dos direitos que este fornece6 .
Nesse contexto, o Noosfero uma plataforma web livre
para criao de redes sociais,com a proposta de permitir aos
usurios criarem sua prpria rede social personalizada, livre e
autnoma.
O Noosfero foi desenvolvido na linguagem de programao Ruby verso 1.8.7, e utiliza o framework Model-ViewController (MVC) para aplicaes web Ruby on Rails, verso
2.3.5. Este framework possui uma alta capacidade produtiva
1 http://noosfero.org/
4 http://comunidade.unb.br/
2 http://colivre.coop.br/
5 http://fga.unb.br/
3 http://fga.unb.br/lappis/
6 Extrado
113
de http://www.gnu.org/ em Julho de 2014
FEES
por priorizar conceitos como convention over configuration

e DRY (Dont Repeat Yourself ). Alm disso, a comunidade
do Ruby on Rails bem alinhada e adota vrias prticas da
comunidade de metodologias geis de desenvolvimento, como
o TDD e o BDD. Estas prticas foram utilizadas neste trabalho.
Alm disso, a arquitetura do Noosfero foi pensada para
permitir que este seja facilmente expansvel, de forma que
funcionalidades que no sejam comuns ao conceito de redes
sociais sejam desenvolvidas como plugins, assim diminuindo
o acoplamento e aumentando a coeso dos diversos mdulos
do sistema.
III. M ETODOLOGIA
O processo de colaborao com o Noosfero inclui uma srie
de prticas apresentadas pelas metodologias geis de desenvolvimento de software como o uso de testes automatizados,
a descrio das funcionalidades do projeto no formato de
histrias de usurio e a adoo de ferramentas para a utilizao
da metodologia Behavior Driven Development (BDD)7 , uma
evoluo do Test Driven Development (TDD)8 apresentada por
Dan North [2].
Em suma, o processo de desenvolvimento de software utilizado durante este trabalho tambm se baseia em metodologias
geis, com a utilizao de ciclos curtos de forma a permitir
que haja feedback de forma mais rpida. A funcionalidades
desenvolvidas eram ento submetidas upstream e passam por
uma reviso dos commiters oficiais do Noosfero antes de
serem incorporadas, o que permite que o desenvolvedor tenha
feedback sobre a qualidade de seu cdigo e possa melhor-lo
caso necessrio.
IV. R ESULTADOS
A primeira funcionalidade desenvolvida surgiu da necessidade de se ter sub-comunidades para cada projeto da disciplina
de Manuteno e Evoluo de Software da FGA, ministrada
pelo Prof. Paulo Meirelles. O Noosfero j possuia um plugin
que adicionava a possibilidade de criamos sub-comunidades
de determinada comunidade, no entanto este no oferecia
uma forma clara do usurio visualizar a relao entre estas.
Como primeira colaborao deste trabalho, desenvolvemos
uma camada de visualizao, dentro de uma comunidade,
na qual o usurio pudesse visualizar todas as comunidades
filhas ou todas as comunidades pais desta, uma vez que
a relao entre comunidade e sub-comunidade de N para
N. Esta contribuio pode ser visualizada na comunidade da
disciplina mencionada9 .
Outra contribuio interessante pro contexto da UnB, foi a
melhoria no plugin de submisso de trabalhos, uma demanda
que surgiu da necessidade de existir um sistema web no qual os
alunos pudessem enviar seus trabalhos de concluso de curso
7 http://en.wikipedia.org/wiki/Behavior-driven_
development
8 http://en.wikipedia.org/wiki/Test-driven_
development
9 http://comunidade.unb.br/profile/mes-fga/plugin/
sub_organizations/children?display=full&type=
community
(TCC) e notificar seus orientadores e outros interessados a respeito. Este plugin permite no s que os alunos faam upload
de um arquivo, mas tambm que o mesmo seja versionado,
criando uma nova verso para cada novo upload realizado pelo
mesmo aluno, alm de permitir a possibilidade de notificar
pessoas interessadas via e-mail. No primeiro semestre de 2014,
foi realizado um teste10 com os alunos do curso de engenharia
de software da FGA que estivessem fazendo TCC.
A wiki do Participa.Br11 , um projeto de uma rede social
livre para possibilitar a participao social no meio virtual
desenvolvido pela presidncia da repblica e que tambm
contou com a contribuio dos alunos do LAPPIS, possui uma
srie de patchs (ou merge requests enviados no contexto deste
trabalho, e de outros projetos do laboratrio, e j incorporado
no ncleo do Noosfero.)
V. C ONCLUSO
Ao longo deste trabalho, realizamos atividades que passam pelas principais reas de conhecimento da Engenharia
de Software, como a gerncia de projetos, a gerncia de
configurao de software, o levantamento e a elaborao de
requisitos, a anlise e o design, a implementao, e aqui
inclumos a criao de testes automatizados, a manuteno
e a implantao de uma plataforma real de software livre,
dentre outras. Nos preocupamos em contribuir, na prtica,
com a escrita de cdigo, uma vez que, em nossa viso,
esta a principal misso de um Engenheiro de Software.
Outra atividade realizada, e que julgamos ser de fundamental
importncia para a continuidade deste trabalho, diz respeito
ao repasse do conhecimento adquirido para uma equipe de
alunos do curso de Engenharia de Software, que trabalhou
inicialmente no Portal da UnB Gama.
O fato deste trabalho ter sido desenvolvido dentro de uma
comunidade de software livre possibilitou que o aprendizado
fosse compartilhado entre os membros desta, permitindo que
houvesse discusses sobre as funcionalidades desenvolvidas
para que estas se adequassem melhor as necessidades dos
diversos ambientes Noosfero existentes, alm de possibilitar
que haja um feedback em relao qualidade do cdigo
submetido.
Esta experincia nos proporcionou a possibilidade de participar de um processo distribudo de desenvolvimento de
software com outras equipes espalhadas pelo pas e de fazer
parte de uma comunidade de software livre. Ao final deste
trabalho, julgamos que a rede Comunidade.UnB est bem
prxima da capacidade de ser lanada oficialmente para a
universidade.
R EFERNCIAS
[1] P. R. M. Meirelles, Monitoramento de mtricas de cdigo-fonte em
projetos de software livre, Thesis, 2013. [Online]. Available: http://www.
teses.usp.br/teses/disponiveis/45/45134/tde-27082013-090242/pt-br.php
[2] D. North, Introducing BDD, Better Software, 2006. [Online]. Available:
http://dannorth.net/introducing-bdd/bdd
10 http://fga.unb.br/tcc
11 https://gitlab.com/participa/noosfero/wikis/
CodeReview
114

Cbsoft 2014 Anais

Enviado por

Direitos autorais:

Formatos disponíveis

Cbsoft 2014 Anais

Enviado por

Dados do documento

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Cbsoft 2014 Anais

Enviado por

Direitos autorais:

Formatos disponíveis

Congresso Brasileiro de Software: Teoria e Prtica

28 de setembro a 03 de outubro de 2014 Macei/AL

VII FRUM DE EDUCAO EM ENGENHARIA DE SOFTWARE

VII Frum de Educao em Engenharia de Software

COORDENADOR DO COMIT DE PROGRAMA

VII Frum de Educao em Engenharia de Software

Comits Tcnicos / Program Committee

Comit organizador / Organizing Committee

ndice / Table of Contents

Aplicao de mtodos de avaliao da experincia do usurio na

Gamebok: jogo educativo para o ensino-aprendizagem do PMBOK

Avaliao por Meio de Questionrios de um Curso Online para

Ambiente Integrado como Apoio ao Ensino da Engenharia de

O uso do dojo na prtica pedaggica do ensino de

Um Jogo Educacional para o Ensino de Metodologias geis

Formao de Equipes de Alto Desempenho para Desenvolvimento

ARPostIts: Mobile Application for Agile Software Engineering using

Aprendendo Programao Concorrente em Java com o Objeto de

O uso de questionrios para elicitao de informaes sobre uma

Relatos estudos de casos

Experincia no Projeto Framework de Solues de TI

Uma Ferramenta de Apoio Criao e Gerenciamento de Laudos

Um estudos sobre mtricas de produto e vulnerabilidades para

A Platform Fed by Software Industry Problems to Learn Software

Um estudo sobre bibliotecas digitais no contexto da participao

Aspectos da Validao de Software em Metodologias geis

Mezuro, Evoluo de Software Livre: Da Arquitetura Experincia

Tcnicas de usabilidade e testes automatizados em processos de

O desenvolvimento do Novo Portal do Software Pblico Brasileiro

Rede de colaborao social para universidades brasileiras: um

Apoiando o Ensino de Qualidade de Software

Abstract Usability inspection is a key activity for ensuring

learning to verify if the game can assist them in better learning

Uma das tcnicas de inspeo de usabilidade mais

Keywords Usability Evaluation; Software Quality; Serious

Uma forma de estimular o aprendizado de conceitos

atributos de usabilidade para prever se ocorrer ou no um

Com o intuito de melhorar o entendimento das regras de

O restante deste trabalho est organizado da seguinte

Durante o processo de inspeo cada avaliador percorre

II. BACKGROUND E TRABALHOS RELACIONADOS

C. Jogos no Ensino de Qualidade de Software

para treinar, aprender e executar atividades reais de

forma terica [14]. Dentre os jogos existente para o apoio do

Analogia Aplicada no Jogo

O sistema precisa manter os usurios informados sobre o

Locais da cidade no possuem nome, desta forma os

O sistema precisa falar a linguagem do usurio, com

Os smbolos e palavras que so mostrados nas placas

Os usurios frequentemente escolhem por engano funes

H muitas ruas sem sada, o que dificulta a circulao

Os usurios no precisam adivinhar que diferentes

H sinais de trnsito diferentes (fora do padro) em

melhor que o sistema possua um design cuidadoso o qual

Quando h obras na cidade, nunca so colocados

O sistema deve tornar objetos, aes e opes visveis. O

As prateleiras do supermercado e das lojas no

Os usurios novatos se tornam peritos com o uso. O

Na cidade preciso fazer caminhos muito longos para

Os dilogos no devem conter informao irrelevante ou