O Mtodo de Avaliao SCAMPI

Alexandre Vasconcelos

SCAMPI

1/47

Mtodo de Avaliao SCAMPI

Um mtodo de avaliao tem como objetivo determinar o nvel de aderncia de um processo, ou conjunto de processos, um modelo de referncia Um dos produtos do projeto CMMI o mtodo de avaliao SCAMPI Standard CMMI Appraisal Method for Process Improvement

SCAMPI

2/47

Mtodo de Avaliao SCAMPI

Objetivos

Coletar dados para entender os processos implementados Determinar o nvel de aderncia de um processo, ou conjunto de processos, nos projetos eleitos como representativos na organizao, s prticas do CMMI Determinar o grau de satisfao das metas investigadas na avaliao Identificar pontos fortes e fracos do processo Atribuir classificao (se requerido pelo patrocinador da avaliao)

SCAMPI

3/47

Mtodo de Avaliao SCAMPI: Principais Aspectos

Realizada colaborativamente por uma equipe liderada por um Lead Appraiser autorizado pelo SEI Seleo do escopo organizacional

Unidade organizacional previamente definida em comum acordo com o contratante. Informaes qualitativas ou quantitativas, registros, declarao de fatos que caracterizam a implementao de elementos do processo

Verificao atravs de evidncias objetivas

SCAMPI

4/47

Mtodo de Avaliao SCAMPI: Principais Aspectos

Implementao das prticas baseadas em Indicadores de Implementao

das Prticas
PII-based process appraisal Tipos de indicadores Artefatos diretos, artefatos indiretos e afirmativas

Artefatos indiretos:

PP SP1.1-1

Atas de reunies, Anotaes do desenvolvimento do WBS

Artefatos diretos: WBS, descrio de tarefas, descrio dos pacotes do projeto

Estabelecer um WBS (work breakdown structure) de alto nvel para o escopo do projeto
Informaes: SCAMPI

Eu trabalhei na equipe de definio do WBS, Eu utilizei o WBS como base para minhas atividades

5/47

Mtodo de Avaliao SCAMPI: Principais Aspectos

Corroborao das informaes

Artefatos diretos combinados com artefatos indiretos ou informaes obtidas em apresentaes e entrevistas

Cobertura da avaliao

Evidncias objetivas suficientes para a implementao de cada prtica Evitar avaliaes baseadas somente em papel, devem haver afirmaes declaradas (chamadas face-to-face F2F)
Pelo menos 50% das prticas de cada meta

SCAMPI

6/47

Mtodo de Avaliao SCAMPI: Classes de Avaliao

Caractersticas Evidncia objetiva Gerao de ratings Uso de recursos Tamanho da equipe Classe C baixa no baixo pequeno
mnimo 1

Classe B mdia no mdio mdio

mnimo 2

Classe A alta sim alto grande

mnimo 4 e mximo 9

SCAMPI

7/47

Mtodo de Avaliao SCAMPI: Atividades

Planejar e preparar a avaliao

Mdia de tempo de trs meses

Conduzir a avaliao

Mdia de 6-8 dias

Reportar os resultados da avaliao

Resultado preliminar Resultado final Ocorre imediatamente aps a realizao da avaliao

SCAMPI

8/47

Mtodo de Avaliao SCAMPI: Papis em uma Avaliao

Participantes da avaliao

Patrocinador da avaliao Gerentes de projeto Lideres de equipe Membros da equipe de desenvolvimento

As pessoas a serem entrevistadas so selecionadas desde a fase do planejamento

SCAMPI

9/47

Mtodo de Avaliao SCAMPI: Papis em uma Avaliao

Equipe de avaliao

Mdia de 4 a 5 pessoas Lder da avaliao Possui a responsabilidade geral sobre a avaliao Membros da equipe - Se dividem em mini-equipes por rea de processo a ser avaliada Outras Responsabilidades a serem atribudas na equipe:
Coordenador responsvel pela logstica da avaliao Bibliotecrio responsvel por toda documentao da avaliao Controlador do tempo Todos devem tomar nota de tudo durante o processo

Equipe completa => REVISA TODO O TRABALHO O resultado final de uma avaliao consensual!!

SCAMPI

10/47

Processo de Obteno de Ratings

Ratings de nvel de capacidade e/ou maturidade Ratings de satisfao dos objetivos (metas) Caracterizao da implementao das prticas (PIIs) em nvel de unidade organizacional Caracterizao da implementao das prticas (PIIs) em nvel das instanciaes (projetos)

SCAMPI

11/47

Caracterizao da Implementao
Nvel de Implementao da Prtica
FI (Fully Implemented)

Caracterizao
O indicador direto est presente e julgado adequado Existe pelo menos um indicador indireto e/ou afirmao para confirmar a implementao No foi notada nenhuma fraqueza substancial O indicador direto est presente e julgado adequado Existe pelo menos um indicador indireto e/ou afirmao para confirmar a implementao Foi notada uma ou mais fraquezas O indicador direto no est presente ou julgado inadequado Artefatos ou afirmaes sugerem que alguns aspectos da prtica esto implementados Foi notada uma ou mais fraquezas Qualquer situao diferente das acima
12/47

LI (Largelly Implemented)

PI (Partially Implemented)

NI (Not Implemented)
SCAMPI

Regras de Agregao em Nvel de Processos

Caracterizaes Todas X Todas LI ou FI Existe alguma PI, mas sem NI Existe algum NI Resultado Notas X LI LI ou PI Decidido pela equipe NI, PI ou LI Decidido pela equipe

SCAMPI

13/47

Exemplo de Diagnstico do Nivel de Maturidade

SCAMPI

14/47

Resultado do Diagnstico do Setor XXX

SCAMPI

15/47

Objetivos

A finalidade do diagnstico prover visibilidade para a gerncia do setor XXX a respeito da aderncia dos processos e prticas da unidade ao nvel 2 do CMMI; Para atingir o objetivo proposto, se torna indispensvel o entendimento a respeito do status atual dos processos e prticas quanto ao atendimento ao nvel 2 do CMMI.

SCAMPI

16/47

Descrio dos Papis na Avaliao

Papel
Patrocinador

Descrio
Alta gerncia

Responsvel
Joo Xyz

Responsabilidade
- Revisar e aprovar este plano - Promover recursos necessrios para avaliao - Providenciar a sala e equipamentos conforme requisitos colocados - Organizar a documentao dos projetos e dos processos e torn-las disponveis para consulta na sala de trabalho - Fazer o intercmbio de informaes com os avaliadores, assegurando que todos os aspectos aqui definidos estaro sendo atendidos - Obteno das assinaturas dos envolvidos e patrocinadores no documento de planejamento at a data prevista no cronograma.

Coordenador Avaliao

da

Representante do setor avaliado, responsvel por facilitar a conduo da avaliao

Fabio Abc

Avaliador Externa

Equipe

Avaliadores responsveis por conduzir a avaliao e apresentar resultados

Alexandre Vasconcelos e ...

- Elaborar o plano da avaliao e submet-lo aprovao - Conduzir a avaliao atravs de entrevistas e anlise de documentos - Reportar resultados - Apoiar os Avaliadores Equipe Externa no entendimento dos processos e prticas do setor - No divulgar os resultados dos avaliadores antes da comunicao final. - Comparecer com antecedncia a hora marcada nas entrevistas previstas, no local comunicado - Fornecer todas as informaes requisitadas pelos Avaliadores

Avaliador Interna

Equipe

Avaliadores internos, representantes do setor avaliado

Fabio Abc e ...

Equipe avaliada

Participantes das equipes de projetos de desenvolvimento e manuteno

Maria, Martha, ...

SCAMPI

17/47

Conduo do Diagnstico

Conduzido por: Alexandre Vasconcelos e ... Data: de xx/yy/zz a xx/yy/zz Local: XXX Tcnica:

Processo adaptado do mtodo de avaliao oficial CMMI, com menos rigor, tempo e envolvidos Entrevistas a membros da equipe Anlise de documentos

Foram realizadas x sesses de entrevistas com um total de y pessoas e algumas entrevistas informais complementares.
18/47

SCAMPI

Escopo Avaliao

Escopo: Unidade de Sistemas

Projetos XXX e YYY

Tipos de Servios Avaliados

Desenvolvimento de Sistemas e Manuteno

Escopo do Modelo

Nvel de maturidade 2 do CMMI, com exceo da rea de Processo SAM - Gerncia do Contrato do Fornecedor, por entendermos como no aplicvel

SCAMPI

19/47

Riscos da Avaliao

A avaliao no foi realizada no nvel de profundidade de uma avaliao oficial

Nem todas as subprticas foram analisadas No houve corroborao das informaes coletadas Nem todos os documentos associados foram analisados

SCAMPI

20/47

Critrios de Avaliao

Foi julgado para cada prtica:

Definio de Processos: quanto a prtica est documentada em relao a como deve ser realizada
TD: Totalmente Definido LD: Largamente Definido PD: Parcialmente Definido ND: No Definido NR: No Definido

Institucionalizao: quanto a prtica est em uso na organizao

TI: Totalmente Implementado (os dois projetos atendem) LI: Largamente Implementado (um projeto atende, e o outro est quase) PI: Parcialmente Implementado (Os dois projetos atendem parcialmente / um dos projetos atende e ou outro no) NI: No Implementado (Nenhum dos projetos executou a prtica / ou um dos projeto executou parcialmente)

SCAMPI

21/47

Dados Organizacionais

SCAMPI

22/47

A Empresa (1) Descrio

Objetivo da obteno do CMMI-2

Controle e Melhoria do processo de desenvolvimento Marketing, vantagem competitiva no mercado, exportao de software. Usar a melhor soluo tecnolgica para satisfazer os clientes dos clientes.

Misso/Negcio

Tamanho

X pessoas: y diretores, z pessoas administrativo-financeira, n pessoas de suporte ao usurio e o restante como desenvolvedores.
23/47

SCAMPI

A Empresa (2) Organograma

Diretoria Geral SQA

Conectividade e Segurana

Consultoria Organizacional

Unidade de Sistemas (USI)

Foco da certificao

Unidade Administrativa/ Financeira

SCAMPI 24/47

A Empresa (3)

Mapeamento dos papeis do CMMI nvel 2 nos papis da organizao

Papel CMMI Gerncia Snior Gerente de Projetos SQA Gerente de Configurao Papel na Empresa Diretor geral Outros diretores Engenheiro de Qualidade Acumulado pelo SQA. Gradativamente passando para os projetos

SCAMPI

25/47

A Empresa (4)

Ferramentas
Propsito Ferramenta

GC

CVS, Ant + XML (gerao de builds)

Controle de Mudanas
RM

Helpdesk da Portais, Mantis

Word, Access (tracking)

PP/PMC

MS Project, AllNetic Time Tracker

SCAMPI

26/47

Dados dos Projetos Avaliados

SCAMPI

27/47

Dados dos Projetos

A empresa atualmente possui um total de x projetos de desenvolvimento / manuteno de software Os x projetos foram avaliados, com o objetivo de se conhecer as principais caractersticas dos projetos desenvolvidos na empresa

Tipo de cliente Objetivos Ciclo de vida Identificar a atividade primria (desenvolvimento ou manuteno) Tamanho da equipe Cronograma Aspectos de Sub-contratao

SCAMPI

28/47

Dados de Projetos

Os projetos de evoluo tm ciclos pequenos de desenvolvimento (1 ms).
Projetos de curta durao < 1 ano utilizam o ciclo em cascata. Projeto mais longos utilizam o ciclo iterativo e incremental. Podem existir projetos com uma nica pessoa.
29/47

SCAMPI

Projeto XXX

Cliente

YYY

Objetivo

Abc...

SCAMPI

30/47

Projeto XXX

Equipe do projeto

1 desenvolvedor em tempo integral; 1 gerente em tempo parcial.

Modelo de ciclo de vida adotado

cascata

Cronograma

Inicio em xx/yy/zzzz Atualmente o projeto encontra-se na etapa de Anlise e Projeto Situao atual: no prazo

SCAMPI

31/47

Resultados da Avaliao

SCAMPI

32/47

Resultados Prticas Genricas

Grfico Qualitativo de Aderncia s reas de Processo
INSTITUCIONALIZAO PRTICAS GENRICAS

100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% REQM PA NI PI LI TI 0 0 0,2 0,4 0,4 PP 0 0 0 0,2 0,8 P MC 0 0 0 0,2 0,8 SAM 0 0 0 0 0 MA 0 0,2 0,2 0,2 0,4 P P QA 0 0,1 0,1 0,2 0,6 CM 0 0,1 0,1 0,4 0,4

SCAMPI

33/47

Resultados Definio de Processos

Grfico Qualitativo de Aderncia s reas de Processo
DEFINIO DOS PROCESSOS
100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% REQM NR ND PD LD TD 0% 0% 20% 0% 80% PP 0% 0% 0% 0% 100% P MC 0% 0% 0% 0% 100% SAM 0% 0% 0% 0% 0% MA 0% 0% 0% 0% 100% P P QA 0% 0% 0% 50% 50% CM 0% 0% 0% 20% 80%

SCAMPI

34/47

Resultados Institucionalizao
Grfico Qualitativo de Aderncia s reas de Processo
INSTITUCIONALIZAO DAS PRTICAS ESPECFICAS

100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% REQM PA NI PI LI TI 0% 20% 40% 20% 20% PP 0% 0% 14% 14% 71% P MC 0% 0% 10% 40% 50% SAM 0% 0% 0% 0% 0% MA 0% 13% 38% 13% 38% P P QA 0% 0% 0% 50% 50% CM 0% 43% 29% 14% 14%

SCAMPI

35/47

Prticas Genricas Principais Aspectos

Pontos Fortes Desvios Encontrados

Existe poltica definida para os processo Os recursos necessrios so disponibilizados para a equipe As responsabilidades esto bem definidas pelo processo Os papis na rea de medio precisam ser melhor definidos Treinamentos nos processos foram realizados Os processos esto sendo avaliados pelo SQA Com exceo do processo de MA, que sofreu apenas uma auditoria

Nem todos aparentam conhecer a poltica dos processos Nem todos os processos esto sendo seguidos, em geral os processos no esto sendo controlados nem por medies nem por atividades planejadas X realizadas (a PA de medio est tendo a institucionalizao iniciada) O acompanhamento dos processos est sendo feito de maneira informal e sob demanda pela alta gerncia O grupo de SQA no est sendo avaliado quanto a aderncia
36/47

SCAMPI

REQM Principais Aspectos

Pontos Fortes Criao de prottipos para homologao dos Desvios Encontrados

requisitos definio de critrios de aceitao e de provedores de requisitos A aceitao dos requisitos est sendo realizada atravs de um checklist

Algumas reunies no esto sendo documentadas (comprometimento da equipe interna); O processo de gesto de mudanas ainda no foi executado; Ateno: O conceito de mudana de requisitos est com foco em mudanas solicitadas pelo cliente (mudanas levantadas internamente) Um dos projetos no tem matriz de rastreabilidade (anlise de impacto emprica);

SCAMPI

37/47

PP Principais Aspectos
Pontos Fortes Desvios Encontrados

SCAMPI

38/47

PMC Principais Aspectos

Pontos Fortes Desvios Encontrados

SCAMPI

39/47

MA Principais Aspectos
Pontos Fortes Desvios Encontrados

SCAMPI

40/47

PPQA Principais Aspectos

Pontos Fortes Desvios Encontrados

SCAMPI

41/47

CM Principais Aspectos
Pontos Fortes Desvios Encontrados

SCAMPI

42/47

Observaes Gerais
Informaes no relacionadas com o CMMI

SCAMPI

43/47

Aspectos Gerais

Pontos fortes

Existe um grupo de definio de processos atuante; Existe um processo de testes definido; A empresa tem certificao ISO9001 (cultura de qualidade).

Observaes

O papel e a composio da gerncia snior precisa ser melhor trabalhado internamente e o processo precisa ser ajustado No est claro para a equipe de desenvolvimento o papel de cada um dos coordenadores Necessidade de melhor conhecimento sobre o organograma da empresa, papis e responsabilidades de alguns cargos

SCAMPI

44/47

Recomendaes Gerais

SCAMPI

45/47

Recomendaes Gerais

Recomendao 1: xxx. Recomendao 2: yyy. Recomendao 3: zzz.

SCAMPI

46/47