Testing services through Cloud 
 
 
                      
 
 
WHITE PAPER 
 
     
 
                                          
   
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
  
 
Table of Contents: 
 
 
1. Abstract 
2. Introduction 
3. What is Cloud computing? 
4. Why is Cloud computing Important? 
5. What has been attempted in space of software testing: 
6. What is Cloud testing 
7. Different types of cloud testing 
8. Taas ( Testing as a service) 
9. Testing in Cloud : 
10. What is different about testing cloud solutions:   
11.  Testing services offering via cloud   
12. Cloud computing: innovating the business of health care 
13. Uses of Cloud in Health Care 
14.  Conclusion 
15. Bibliography 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Abstract: 
 
Market adaption of cloud based testing services (Functional, performance, security) 
is still in very really adaption stage however it is observed that enterprises are increasingly viewing testing as a service (TaaS) as not 
only  a  compliment  but  a  potetinal  substitute  for  some  traditional  testing  services.The  results  of  these  offerings  help  in  lower 
operating  cost,  and  shift  spending  from  capital  expenditure  to  operational  expenditure  and  get  more  value  out  of  virtual  test 
environment 
 
. 

Introduction:  
 
What is Cloud computing? 
 
 Cloud computing is a computing model in which shared resources are allocated dynamically to create a highly flexible and scalable 
computing environment. By providing hardware and software on‐demand, the cloud approach allows organizations to treat computing 
like a service. 
 
The cloud model can be used to run software, handle testing, expand storage, facilitate collaboration and more. In short, cloud enables 
infrastructure to be treated as a service. All of these services offer improved agility and scalability, making users feel as if they have a 
virtual  data  center  at  their  disposal.  As  this  new  model  continues  to  mature  and  as  application  vendors  wrestle  with  the  changing 
demands of their clients, consumers stand to regain control over their IT capital expenditures.  
 
 There are several computing models emerging in the market today. It is important to select the model or combination of models that 
works for you. The factors that typically drive the decision of which model to utilize include: 
1) Suitability of the application to a cloud‐based infrastructure; 
2) Compliance requirements; and 
3) The strategic value of the data generated. 
 
 
Public cloud computing makes use of the public Internet and shared computing resources as the medium through which to deliver 
services  and  capacity  on‐demand.  Computing  resources  are  hosted  offsite  by  a  third‐party  provider,  and  users  gain  access  to  the 
resources  via  web‐based  applications.  From  the  customer’s  perspective,  the  arrangement  is  similar  to  outsourcing,  except  the 
scalability is greater and the billing model more closely resembles a utility. Healthcare providers might consider workloads like email, 
collaboration and test/development for public clouds. 
 
 
Private  cloud  computing  offers  the  benefits  of  on‐demand  infrastructure  but  with  dedicated  resources  to  one  organization.  The 
computing resources are shared, but they are shared across applications and business units of the same organization. Another variable 
to  private  clouds  is  whether  you  put  these  resources  on‐premise  or  off‐premise.  This  decision  is  based  on  perceived  risk,  latency 
considerations  and  the  decision  to  own  the  real‐estate  required  to  house  the  infrastructure.  Healthcare  providers  should  consider 
private clouds for enterprise resource planning systems. 
 
 
Hybrid cloud computing involves a combination of public and private clouds. This is common among large organizations that use cloud 
computing for multiple initiatives. When data and services cannot be shared between the public and private components of the two 
clouds, the architecture is considered static. Soon it may also be common to create more dynamic hybrid architectures, so that data 
and services are interchangeable as though they are located in the same virtual operating system. Supplier relationship management is 
a good example of an application that fits well with a hybrid model 
 
Community Cloud computing involves for building  particular market segments, such as healthcare,Banking etcs   that require a special 
set  of  characteristics  (e.g.,  compliance  and  security  measures). 
White paper Testing services through Cloud
  
 

Why is Cloud computing Important? 
 
The basic value proposition of cloud computing is: buy only the resources you need to consume when you need them, and pay 
accordingly. For example, organizations can run applications in the cloud and pay for only what they use based on the number of 
virtual CPU’s, available memory, storage and network utilization. 
 

 
 
 
 
 
What has been attempted in space of software testing: 
 
 

1
White paper Testing services through Cloud

 
 
 
What are few classic problems in field of test engineering? 
 
Test Engineering has started evolving and currently is at maturity stage where entire world is 
looking  to  standardize  processes  in  testing  services.  Along  with  evolution  test  engineering 
also  have  come  up  with  its  own  classic  problems  over  a  period  of  time  in  multiple  testing 
practices. Few of them are… 
 
• ‘I cannot reproduce the bug’ (environment mismatch) 
• It just takes too much time to configure the tool 
• Site works fine in US, but does not work from EU 
• It’s too expensive to setup, maintain and update a test lab 
• It takes too much time and effort  to setup a test lab 
• Test phases last for only 2 months: Underutilized Test Boxes 
• I doesn’t have a snap shot of test environment in case it crashes (No black box) 
 
 

2
White paper Testing services through Cloud
 
Evolution of Software Testing: 
 
Generation      Role of Vendors 

  (1st) Insourcing    Provide tools 

  (2nd) Outsourcing    Provide testing (which subsumes the tools) 

   (3rd) Crowdsourcing (TaaS)  Provide testers (which subsumes the testing and tools) 
 
(4th) Test sourcing  Provide test artifacts (which subsumes the testers, testing and tools) 
 
Insourcing:  
(Decentralized, Project Based, Centralized, Test CoE) 
Testing  was  performed  by  insourcers,  people  employed  within  the  same  organization  that  wrote  the 
software. Developers and testers (often the same people performing both tasks) worked side by side to get 
the software written, tested and out the door. 
 
Outsourcing: 
(Staff Augmentation, Cosourcing, Project based, Managed Services) 
Vendors’ role soon changed as demand for more than just tools surfaced. Instead of just providing tools to 
insourcers,  vendors  emerged  that  provided  testing  itself.  We  call  this  outsourcing  and  it  is  still  the  basic 
model for the way many development shops approach testing: hire it out. 
 
Crowd Sourcing: 
(Provide testers, which subsumes the testing and tools) 
All  the  Testing  Jobs  are  Crowd  sourced  to  allow  anyone  who  wants  to  attempt  to  test  something  to  try  and  typically,  to  be 
rewarded based on defects found.  
 
Test Sourcing: 
(Provide test artifacts, which subsumes the testers, testing and tools) 
 
Test Sourcing = Outsourcing + Crowd Sourcing 
 
Test Sourcing is essentially outsourcing people part of testing coupled with virtualization to external entity 
(cloud based testing service providers).  
 
How virtualization addresses classic problems in test engineering: 
 
With the advent of virtualization things and delivery models are changing into new dimension. Virtualization 
technology,  inherent  by  nature,  answers  classic  problems  in  test  engineering.  Let’s  see  how  virtualization 
addressed these problems. 
 
 
•  ‘I cannot reproduce the bug’ (environment mismatch) – when multiple VM’s of same 
image is made available for both Dev and Test environments 
3
White paper Testing services through Cloud
• It just takes too much time to configure the tool – ready made images with required 
prebuilt  configurations  available for deployment on the fly 
• Site  works  fine  in  US,  but  does  not  work  from  EU    –  VM’s  (severs)  maintained  in 
multiple geographic regions of choice by vendors 
• It’s too expensive to setup, maintain and update a test lab – Cloud service vendor’s 
model  for  multiple  clients  coupled  with  experienced  professional  makes  it  a  win‐win 
situation. 
• It  takes  too  much  time  and  effort  to  setup  a  test  lab  ‐  Vendors  do  it  for  you  who 
maintain skilled professionals to get things done for us. 
• Test phases last for only 2 months: Underutilized Test Boxes – Pay only for what you 
use 
• I  don’t  have  a  snap  shot  of  test  environment  in  case  it  crashes  (No  black  box)  – 
Virtualization always provides a snapshot of crashed environment. 
 
 
Impact of Virtualization on Software Service Definition:  
 
Virtualization is changing outlook of classic software service definition from defined to pre‐defined. 
 
Before Virtualization        with Virtualization 
Defined entry criteria       Pre‐defined entry criteria 
Defined exit criteria        Pre‐defined exit criteria 
Define activities        Pre‐define activities 
Defined deliverables        Pre‐defined deliverables 
Defined commercials        Pre‐defined commercials 
Defined R&R          Pre‐defined R&R 
Defined scope and dependencies    Pre‐defined scope and dependencies 
 
 
 
What is Cloud Testing? 
 
Cloud Testing is a means of testing cloud‐based applications that use resources found in the cloud. By resources, we mean any 
element (hardware, software and infrastructure) necessary to carry out the tests. Cloud testing provides an end‐to‐end solution 
that  transforms  the  way testing  is  done  and  can  help  an organization  boost  its  competitiveness  by reducing  the cost  of  testing 
without  negatively  impacting  mission  critical  production  applications.  By  leveraging  a  cloud  computing  solution  for  testing, 
organizations can shorten provisioning time because the cloud enables provisioning of test servers on demand. This helps ensure 
unused servers are not sitting idle. 
 
Few features of Clout Test Service Offerings: 
 
 
 

4
White paper Testing services through Cloud

 
 
 
 
 
 
Cloud Testing offers a suite of services  that allow developers, testers and website managers to automate and speed up the testing 
and archiving of their websites using real browsers from the cloud. Cloud Testing operate a SaaS (Software as a Service) model, so 
there  is  no  need  to  invest  in  any  hardware,  software  or  consultancy;  our  services  provide  all  you  need,  leaving  you  to  you 
concentrate on what you do best ‐developing, testing and running websites. 
 
TaaS : Testing as a service: 
 
Testing  Platform  on  Cloud  aims  in  providing  the  customer  on  demand,  Cloud  based  and  cost  effective  testing  with  reduced 
overheads especially targeting small and medium scale clients.  
Testing‐as‐a‐Service delivers application testing services in a highly available, consumable, pay‐as‐you‐go model that provides 
flexibility  in  service  and  pricing.  It  also  lowers  the  cost  of  entry  to  full  service  testing  options  and  helps  you  implement  best 
practice quality management processes. And it helps Leverage the existing investments by incorporating them into the 
center of excellence. 
 
 
Testing Services in Cloud Conceptual Framework: 
 
Testing in the cloud or cloud testing can have three facets 
 
(1) The system or application under test is accessible online.This might be SaaS software or non‐SaaS  
      Software. In addition,this includes testing at different test levels e.g. performance testing;  
 
(2) Testing infrastructure and platforms are hosted across different deployment models of the cloud i.e.  
       Public, community, private or hybrid clouds;  
 
(3) Testing of the cloud itself. Cloud environments should be tested and measured for their performance,    
       availability, security and scalability in order to support efficient delivery of service 
 
 

5
Whhite paper Tessting services through Clloud

 
 
 
 
 

oud Testing is p
Clo practiced in the
e industry in tw
wo ways: 

• One  is  Testing 

T ed  or  are  to  be  migrated  to  the  cloud  so  as  to  enssure  that  their 
appliccations  which  have  migrate
performance, security  and reliabilityy matches or exceeds expecttations in view w of the changing delivery meethods (Testing 
Cloud).  

• The othe er is leveragingg the cloud‐based hardware  infrastructuree and computin ng resources to perform trad ditional Testing 

like  perfformance,  load,  stress,  secu
urity  and  com
mpatibility  testting  for  regulaar,  on‐premisee  applications  (Testing  using 
Cloud).  

Botth  the  approaches  enjoy  widespread  popularity,  and  th

here  are  numeerous  vendorss  and  service  p
providers  who
o  provide  these 
typ
pes of platformms and services to both consu
umers and orgaanizations. 

Different mo
odels of clo
oud testin
ng: 

6
White paper Testing services through Cloud

 
What things are the same about testing cloud solutions? 
Although entire testing service offerings are made available via cloud, few of core elements of software test 
engineering which cannot be changed. They are 
 
• Requirements coverage based testing 
• Risk‐based structured test approach 
• Test Plan / Test Phases 
• Test Cases / Test Data / Test Automation 
• Defect Management / Functional Test 
• Use of off‐shore resources / Virtualization 
• Politics {Quality / Schedule / Resources} 
 
 
What is different about testing cloud solutions? 
Needless to say by very nature of cloud there are multiple things that change, such as 
• Shared multi‐tenant test environments 
• Security (Test User IDs / SSO) 
• Integration of on/off premise systems 
• Performance / volume test 
• Defect isolation 
• Documentation of “Out Of the Box” requirements 
• Release Management 
7
White paper Testing services through Cloud
 

Operational Challenges for Testing in the Cloud 

Cloud‐based testing poses different challenges than in‐house testing. 

First, there are currently no universal or standard solutions to integrate public cloud resources with users' internal data centers. 
Each cloud provider has their own architecture, operating model and pricing mechanisms and offer very little interoperability. This 
poses a challenge if companies need to switch vendors. 

Security is another major concern, mostly because data and code may be stored in a remote location beyond an organization's 
legal  and  regulatory  jurisdiction.  Yet  another  challenge  is  that  some  cloud  providers  offer  only  limited  types  of  configurations, 
technology, servers and storage, networking and bandwidth, making it difficult to create real‐time test environments. 

Improper choice of cloud‐based use and pricing options is another risk. While some vendors offer pay‐as‐you‐go services, they 
are  only  cost‐effective  when  the  right  plan  and  servicer  provider  are  chosen  for  the  anticipated  needs  (e.g.  space  vs.  RAM  vs. 
bandwidth). Costs can quickly spin out of control if resource estimates differ wildly from actual usage. 

Also be aware of associated expenses, such as the cost of encrypting data to assure its security in the cloud. And remember that 
cloud  disaster  recovery  isn't  necessarily  built  in  just  because  the  test  infrastructure  is  in  the  cloud.  Test  teams  should  also 
rigorously plan their test environments, test infrastructure and arm themselves with security and greater control over data. 

To  gain  confidence,  create  a  proof  of  concept.  Ask  yourself  what  cultural  and  process  changes  are  required  to  move  to  cloud‐
based testing, who owns service management, and what changes in organizational/financial process alignment must be made to 
manage/provide for a new service. 

Start  small  and  gain  confidence  in  the  benefits  of  cloud‐based  testing.  Cost  of  operation  and  ownership  will  fall  over  time  in 
companies  that  intelligently  embrace  pay‐as‐you‐go  or  on‐demand  services.  Use  an  experienced  partner  that  can  ensure  cost 
reductions  and  faster  time‐to‐market.  Companies  that  start  early  and  push  forward  will  reap  first‐mover  advantages  that  far 
outweigh the pioneering risks. 

Uses of Cloud in Health Care 
  
• Cloud  offers  innovative  ways  to  capture,  manage,  store,  and  share  information  with  potential  cost  savings  in  IT 
infrastructure  and  staff.  Some  of  its  applications  are  similar  to  IT  optimization  in  any  business  enterprise,  and  others 
address the current, unique needs of health care. Healthcare 
      finance executives can use cloud computing to help innovate their organizations in several ways 
 
Revolutionizing  the  revenue  cycle.  Currently,  most  (if  not  virtually  all)  revenue  cycle  systems  are  largely  claims‐based  and 
processed in traditional IT environments. Several likely changes in this model point toward a cloud application: 
 
> The transition to mobile devices at the virtual bedside creates new challenges for connectivity and interoperability. 
> The requirements for conversion to ICD‐10 and other infrastructure innovations are expected to move individual applications to 
broader “clinical data” streams. 
> The “do better with less” mandate suggests rethinking the traditional patient financial services system investment and its ROI. 
 
Planning for a more integrated healthcare “ecosystem”: 
 
Health systems and hospitals should be anticipating greater linkage to state governments 
to manage more health information, including health insurance exchanges. They should be 
anticipating  greater  integration  with  payers  and  new  relationships  with  drug  companies  and  other  suppliers.  In  this  converging 
ecosystem, finance leaders should be considering how to achieve uniformity of reporting, interoperability, and better return on IT 
investments. The cloud environment is clearly an option. 
 
8
White paper Testing services through Cloud
Enabling more efficient connections with physician practices. 
 
When operating as small businesses, physician groups can use cloud‐based computing 
to help avoid building significant internal IT infrastructure. 
 
Accelerating effective connections between primary care providers and home care. 
 
Wireless devices can provide real‐time data to cloud, where they are captured, and can be used for individual care management 
and consolidated into a broader database for the practice of evidence‐based 
medicine across the broader population. 
 
 
 
Conclusion: 
 
 
 
 
Bibliography: 
 
James Whittaker on ‘Future of Testing”: 
http://blogs.msdn.com/b/james_whittaker/archive/2008/08/20/the‐future‐of‐software‐testing‐part‐1.aspx 
 
“Private Cloud for Dummies” ‐ By Judith Hurwitz and Marcia Kaufman 
 
Cognizant: 
http://www.cognizant.com/InsightsWhitepapers/Taking‐Testing‐to‐the‐Cloud.pdf 
 
Infosys: 
http://www.infosys.com/engineering‐services/white‐papers/Documents/cloud‐testing‐vs‐testing‐cloud.pdf 
 
K. Priyadarsini, V. Balasubramanian, S. Karthik, Assistant Professor, VIT University, Vellore, India
http://ijaest.iserp.org/archieves/10‐My1‐15‐11/Vol‐No.6‐Issue‐No.2/3.IJAEST‐Vol‐No‐6‐Issue‐No‐2‐Cloud‐Testing‐as‐a‐Service‐
173‐177.pdf 
 
Tech_Target: 
http://docs.media.bitpipe.com/io_10x/io_105349/item_548504/IBM_sSSQ_IO%23105349_E‐Guide_060112_LI548504.pdf 
 
The Paradigm Shift – Testing 3.0. Arun Kumar Singh 
http://www.google.co.in/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&sqi=2&ved=0CE8QFjAA&url=http%3A%2F%2Fwww.silic
onindia.com%2Fevents%2Fsiliconindia_events%2FSofttec_2011_ppts%2Farun.ppt&ei=eJH6T_A7iu2sB_6v‐
MwG&usg=AFQjCNG7BSImnse3o4hyEnZYffrjUl81pw&sig2=aeCGin6I5_AEmfugAqsJ8Q 
 
Testing on Cloud : Srinivasan Desikan 
http://www.google.co.in/url?sa=t&rct=j&q=&esrc=s&source=web&cd=9&ved=0CGsQFjAI&url=http%3A%2F%2Fwww.articlediary.
com%2Ffile.php%3Fid%3D69&ei=x5H6T7rdPMfjrAfx593bBg&usg=AFQjCNHnekN2ZpKp9SlPa5xZw8O2RXcZQA&sig2=Dsr_F9yPrtDO
LXWNVEnEIw 
 
Testing in the Cloud: RedPath 
www.tcqaa.org/documents/Testing%20in%20the%20Cloud.ppt

9
White paper Testing services through Cloud
Keerti Kulkarni – MicroFocus
Cloud Testing – Guidelines and Approach

Service Innovation in Testing : Deepak Puri, Memphsis

http://www.google.co.in/url?sa=t&rct=j&q=&esrc=s&source=web&cd=4&ved=0CE4QFjAD&url=http%3A
%2F%2Fwww.tmap.net%2Fsites%2Ftmap.net%2Ffiles%2Fattachments%2FPaper_STaaS.pdf&ei=RJP6T9jL
KMWHrAeXl6neBg&usg=AFQjCNGXkiKVh4apA74DasB88mdOL3H_hw&sig2=KqE_RRT7uiEKdI4Chp
N5eA

Stress Free Testing in the Cloud: Amazon Web Services; Jinesh Varia
http://www.slideshare.net/guest2e9c5f40/virtual-stressfree-testing-in-the-cloud

10