Chapter 12.

Evaluation

89
Overview  the long­term goals of reducing crime and
promoting a safe and secure environment are
This chapter discusses the design, development, achieved. 
and use of an evaluation component for the
Weed and Seed strategy. It reviews how a well­
designed evaluation provides a thorough
Implementation Process 
description of the structure and operation of Step 1: Identify a Coordinator and the
Weed and Seed activities and appraises whether Other Members of the Evaluation Team 
those activities were successful or need adjust­ An evaluation coordinator should be selected
ment. The chapter also examines the elements during the organizational phase of Weed and
necessary to achieve an effective evaluation, Seed. To ensure the objectivity and credibility of
looking not only at the desired outcomes but the evaluation, the coordinator ideally should be
also at the resources used and the effectiveness selected from an organization not participating
of the program design.  directly in Weed and Seed. 

Finally, this chapter focuses on local evalua­ Many organizations can help with the evalua­

tions, which typically are less formal and rigid tion process at little or no cost. Organizations
in approach than evaluations performed at the that may be able to assist include the following: 
national level. The National Process Evaluation
of Weed and Seed (1995) and the National Colleges and universities have students who can
Evaluation of Weed and Seed (1999) can serve work on an evaluation project. Which school
as references. department to approach for assistance varies
from one institution to another, but options
Vision  include the political science, sociology, business,
and urban affairs departments. 
Evaluation is the best way for the Steering
Committee to determine whether the selected The planning section of local government may
activities and programs are effective. be willing to help develop an evaluation compo­
nent. The city’s economic development agency
The evaluation process should be viewed as a may also be able to assist. 
tool to help refine and improve activities, and 
to document successes rather than expose pro­ Some nonprofit organizations, such as the local
gram failures. It can also help the Steering Com­ Chamber of Commerce, Urban League, and
mittee improve its management and oversight of United Way, often help nonprofit groups such as
Weed and Seed and affect future decisions. Weed and Seed develop an evaluation process. 

Evaluation reports can influence decisions about It will probably be possible to identify other
funding allocations and program selection. potential sources of assistance. Each community
These policy decisions are central to whether has agencies that can perform these tasks. 

s
 Step 2: Agree on the Definitions of The following is an example illustrating how
Terms Used in the Evaluation  your program design and evaluation plan
Although evaluation terms may seem unfamiliar,
should relate to each other.
they simply refer to program components and
are used universally. By using and agreeing on Identify steps necessary to operate and eval­
90 these definitions, you can ensure a strong col­ uate your program:
laborative effort and avoid misunderstandings. 
Goal: Decrease the dropout rate.
� Input. Resources dedicated to the program
(e.g., human resources, funds, physical Objective: Decrease dropout rate by a 
space).  certain percentage.

� Activity. The types of services the program Tasks:  � Enroll targeted number of 

provides to achieve its goals (e.g., what the students.
program does with its resources [inputs]
� Track attendance in 
and how it changes these resources into
classes.
products). 
� Compile class completion 
� Output. The products of the program (e.g.,
rate.
classes offered, training provided, counseling
conducted).  � Measure the reduction 
rate of school dropouts.
� Outcome. The benefits to the targeted popu­
lation during and after participation in the
program (e.g., changed attitudes, behavior � Organization or individual responsible for the
modification).  tasks.

� Timeframe for accomplishing these tasks. 
Step 3: Review the Priorities To 
Be Measured  Important as they are, quantitative measures
A close relationship between site development should not be used in isolation. When assessing
and evaluation should exist. Clearly defined program performance, schedule checkpoints at
goals are key to both a successful site operation regular intervals to ensure that the program is
and an informative and useful evaluation. Each on course to achieve its objectives. If the pro­
strategy component should have measurable gram is achieving on all measures, there is no
goals on which the evaluation framework is need to make changes. If achievement on some
constructed.  measures is falling short of expectations, howev­
er, consider some of the following questions to
� When developing operational plans, identify
determine what midcourse corrections should be
desired outcomes tied to the goals; also
made: 
develop the following supporting pieces: 
� Were the numbers/goals realistic? 
� Tasks to be performed in moving toward the
goal.  � Was outreach adequate? 

Community Capacity Development Office: Weed and Seed Implementation Manual
 Analyzing evaluation reports should yield valu­
able information about what was successful and
what needs to be adjusted. If the evaluation is
properly designed, it will not be used to place
blame. Success is always the desired outcome.
However, much can be learned from mistakes. 91
An evaluation process should show where
improvements need to be made. 

Some Findings That May Result 
From an Evaluation 
� There is insufficient funding to cover neces­
� Were the schedule and program adequate to sary program costs. If the program is to be
the task?  continued, it may be necessary to reduce the
number of people served, limit the scope, or
� Were interim adjustments made as needed? 
raise additional funds. 
� Were resources adequate for program needs? 
� There is not enough information about the
� Was cooperation from other community causes of the targeted problem. With addi­
resources adequate for program needs?  tional information from the evaluation,
adjustments to the focus can be implement­
Assess qualitative measures using evaluation ed. For example, a goal is to reduce drug
process results. Talk with participants about sales around a school. The program provides
their perceptions of the success of the program. classes about substance abuse. Drug sales,
What suggestions do they have to improve however, have not been affected by the pro­
future programs?  gram because drugs are sold by people from
outside the community, not students who
Step 4: Collect and Analyze Information  attend the classes. The classes may be effec­
Evaluation reports should not be confined only tive in teaching students about substance
to numbers and percentages. The Steering abuse; however, they have missed their main
Committee should have access to both quantita­ target because of insufficient information
tive and qualitative information to help assess about the problem.
progress. Numbers relating to crime statistics
show a precise picture of the results of activities � The organization or individual selected to
in the target neighborhood and can be used to operate the program does not have the skills
allocate resources for law enforcement and or experience to succeed. With experience
community policing activities. Statistics can also gained from operating the program, the coor­
reveal the number of people served by programs dinator may be able to improve how the
related to seeding activities. program is run. It may, however, be neces­
sary to make more extensive changes. 
Do not overlook the qualitative aspect of
evaluation. Do residents feel safer and more � The goal is reached and the program will
comfortable in their neighborhood? Does the operate for another year or until it is no
neighborhood look better? Residents’ percep­ longer addressing a priority issue and the
tions are an important part of evaluating focus gets redirected. 
progress. 

Evaluation
 Other Implementation Issues 
To ensure credibility, find an organization or
individual not involved in Weed and Seed to
conduct the evaluation. 

Costs are often an important issue when the
92
evaluation is discussed, so seek assistance from
educational and other nonprofit organizations as
well as local government agencies. 

Remember that signoff from the Steering
Committee may not be easy to obtain if mem­
bers feel that the evaluation report depicts the
Implementation Issues 
site unfavorably. Therefore, this issue should be
Deciding What To Evaluate Will  addressed before the evaluation starts to assure
Be the First Issue  everyone that it will not be an indictment. It will
Priorities are the most important aspect to  be important to demonstrate to the Steering
evaluate. It will not be easy to get everyone Committee that the report is an important man­
to agree; however, use the site strategy as the agement tool.
guide. 
Local site evaluations feed into the larger view
As discussed earlier, some people believe statis­ of Weed and Seed and help to make the case for
tics are the most important measure of program the positive aspects of the strategy nationwide.
success. Quantitative results can be accurate The local information is a vital part of the larger
and objective, but qualitative results should not picture. 
be ignored. Both quantitative and qualitative
measures are important. 

Exhibit 12–1. Program Outcome Measurement Model

Input Activity Output Outcome

Resources Services Products Benefits
Money Training Classes taught New knowledge gained
Staff Education Counseling sessions held Skills increased
Volunteers Counseling Educational material Attitudes or 
designed values changed
Equipment Mentoring
Hours served Behavior modified
Supplies
Participants served Conditions for 
Building/space
participants improved
for program use
Donations

Community Capacity Development Office: Weed and Seed Implementation Manual
 Exhibit 12–2. Monthly Participant Attendance Form

Month of _____________ 20 _____ Site: _____________________________

Number Total Number
Day First Time Signed In Number Signed In for Each Activity 93
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
Total
Days Open
Average

Evaluation