Increasing 

Performance and Safety
Through Situational Awareness and Tech Convergence in
Machine Operator Interfaces

G. F. Trainor and J. Clarke

Wenco International Mining Systems Ltd.

100 – 10271 Shellbridge Way

Richmond, BC

Canada, V6X 2W8

1 of 12
 ABSTRACT

Shovel operators are being tasked with an increasing number of responsibilities. As their
responsibilities grow, so it seems, does the number of technologies that they are asked to
interact with. They need a fleet management system to track production, monitor their loading
efficiencies and report on Key Performance Indicators. They need a High Precision GNSS to
monitor floor elevation. Precision bucket positioning systems are added to help maintain proper
delivery of material to meet quality requirements. They need a payload system to calculate the
appropriate tonnage loaded in the trucks. They have the onboard PLCs to monitor equipment
health and proper machine operation. Vehicle safety systems to detect and avoid accidents are
being installed on the machines. This list goes on; fatigue monitoring, shovel tooth detection, rear
and side view cameras…

A convergence of technologies benefitting the plant, engineering, operations, and overall safety,
all on one screen for ease of access.

But there is more to it than just presenting the information on screen all at once. Careful
consideration is made when consolidating this much output to ensure the information is
meaningful when presented and accessible when required. In other words, in the design of the
GUI we are optimizing the operator’s Situational Awareness. Situational Awareness (SA) is being
aware of what is happening around you and understanding how information, events, and your
own actions will impact your goals and objectives.

This paper describes Wenco’s involvement in the Global Mining Standards and Guidelines’s
Situational Awareness Working Group, our long history in developing operator interfaces with
Situational Awareness in mind, and some real­world examples of how this expertise is applied to
operator screens.

KEYWORDS

Global Mining Standards, Converged technologies, Situational Awareness, Open Systems,
information display, goals, objectives, operator safety, High Precision GPS, GNSS, Ore blending,
dispatching, fleet management,GUI design, automation, decision support, touch screens,
user­centered design, ergonomics.

2 of 12
 INTRODUCTION: Who is Wenco
Wenco provides a comprehensive fleet management system for surface mining operations of all
sizes worldwide. Our current offering is a scalable system that starts with a focus on production
management, operator efficiency, real­time machine health, operator safety and actionable data.

This system contains the essential hardware, communications and software applications for a
mine’s operations, engineering, maintenance and management personnel to maintain control
and improve operating efficiencies. From there the system advances with the option to add on
any number of specialized solutions in the areas of dispatching, machine guidance, asset health,
and fleet safety.

We also work openly with other technology providers to actively accept their inputs into our
system for reporting or real­time event notifications. So its very important that we pay special
attention to how information is shared and when information is displayed. This is one of the
reasons that we are an active member of the the Global Mining Standards and Guidelines Group.

GLOBAL MINING STANDARDS and GUIDELINES
SITUATIONAL AWARENESS WORKING GROUP

The Global Mining Standards and Guidelines Group (GMSG) is a group of over 80 companies
interested in promoting the use of standards and guidelines in the mining industry. The GMSG
has many active working groups, including:

● Asset Management
● Mobile Mining Equipment On­board Data and Access
● Mobile Mining Equipment On­board Technology and Connectivity
● Situational Awareness
● Underground Mining
● Operational Safety and Risk Management

Wenco is contributing to a number of these working groups including the On­board Technology
and Connectivity and On­board Data and Access groups, but we have been primarily
participating in the Situational Awareness working group.

Situational Awareness (SA) is being aware of what is happening around you and understanding
how information, events, and your own actions will impact your goals and objectives, both now
and in the near future. Lack of SA is one of the primary factors in accidents attributed to Human
Error. 1

1
 Hartel, Smith, & Prince, 1991; Merkat, Bergondy, & Cuevas­Mesa, 1997, Nullmeyer, Stella, Montijo, &
Harden, 2005
3 of 12
The goal of the Situational Awareness Working Group (SAWG) is to analyze the effectiveness of
information delivery systems in mining equipment and find ways to optimize it. Increased
technology does not necessarily improve situational awareness, in fact the effect can be quite
the opposite depending on how technology is applied. Bombarding the operator with information,
much of it unnecessary, can tax their abilities to act as effective, timely decision makers.

The number of on­board systems presenting information to shovel operators in particular is ever
increasing:

● Fleet Management Systems ­ loading efficiencies, KPI’s
● Machine Guidance ­ floor elevation
● Arm Geometry Systems ­ precision bucket placement
● Payload Monitoring ­ maximize tonnage in truck, avoid warranty violations
● PLCs ­ monitoring machine performance
● Proximity Detection ­ equipment proximity warnings
● Fatigue Monitoring ­ evaluating the wakefulness of the operator
● Cameras ­ 360 views to observe surroundings
● Shovel Tooth Detection ­ monitor and alert for for possible missing teeth

Each one of these systems, particularly if provided by different suppliers, could potentially come
with their own screen.

In a report prepared for the Canadian Institute of Mining, Metallurgy and Petroleum (CIM) Mining
Standards and Guidelines Committe (MSGC), SA Technologies of Marietta, Georgia plotted the
“ergonomic regions for operator interaction”. In other words, the areas appropriate for screen
placement. SA Technologies divided the areas into three sections: 1) area of immediate control,
2) typical workspace, and 3) area for monitoring. Zone 2 is anywhere between 35 and 63 cms
from the operator, and is the ideal location for touch­screen monitor placement because it is
within the reach of a typical operator.

If all of the nine tools listed above came from nine individual vendors, or even if vendors supplied
two each with their own sharing a screen, the “typical workspace” for the shovel operator would
have at least five screens with many being essentially unusable, as some would have to be
placed at beyond a usable distance for human interaction. Even for systems that don’t require
direct manipulation, all of these screens make it harder for the operator to recognize which
application is trying to get their attention at a given time.

Currently, the group is working towards developing a unified shovel operator display for multiple
on­board systems to combat the proliferation of screens in machine cabs vying for the
operator's attention.

To date, the SAWG has produced a working prototype that allowed multiple shovel systems to
share a single screen, and the latest version shows an example of automatically switching

4 of 12
between systems by listening to prioritized alarms and events coming from the various systems
it hosts.

Working with the SAWG and hearing the group’s members passionately discuss the risks and
difficulties they see their operators facing has helped to reinforce for Wenco that our user
interface philosophies are on the right track. The need for on­board systems to consolidate
information has never been greater, and respecting the operator’s time and attention by carefully
choosing only the most situationally important information to show to him or her at a given
moment is critical.

Integrating these and other inputs into a single screen is a laudable goal, and one that we’re
excited to be working on with the GMSG. In the immediate term, as a fleet management vendor
with our own version of many of these solutions, we’ve already had to tackle this problem in
multiple ways.

HISTORY of WENCO TOUCH SCREEN EXPERIENCE

Wenco was developing mobile user interfaces before mobile was mainstream. We started with
Windows CE, which was released 17 years ago, on our RaMP branded fleet computer in 2000.
This was prior to any available design standards to follow. There were no standard components,
and there were no defaults in terms of screen layouts, button sizes or placement of buttons for
us follow. And remember that at this time the mainstream tablets available from Microsoft and
the PDAs such as Palm Pilot relied on pen computing: using a stylus to interact with the device
instead of a mouse, keyboard, or joystick. In the same year Microsoft released PocketPC 2000
(a PDA with Pocket Word, Pocket Excel and Pocket Outlook), which was touch capable but as
you can see from the image, still stylus­centric. Using your finger to access information via a
screen at that time was still new, and not at all mainstream.

5 of 12
 Figure 1: Microsoft Pocket PC 2000 “Today” Screen

At the time, PDAs and phones typically used resistive touch screens, which are inaccurate to the
point of being unusable with the hand on a small screen, and require stylii. Wenco used a larger
resistive touch screens and developed a mobile­optimized user interface.

Figure 2: Wenco MDT3 GUI on RaMP Display

We had to do our own UI development and our own testing on user experience, leading us to
discover industry usability issues and the need for such items as the BFB, or Big Fat Button.
You quickly learn that heavy machinery operators with large gloved hands need large targets, so
we were now building our own custom user interface components.

Six years after Wenco’s release of the RaMP computer and colour touchscreen to the mining
industry, Microsoft announced the ultra­mobile personal computer (UMPC) initiative in 2006
which brought Windows tablets to a smaller, touch­centric configuration. UMPCs usually still had

6 of 12
a small physical keyboard, but Windows was tweaked to support touch gestures to control the
applications on screen. Dell added touch screen to a tablet PC in 20082 .

We also quickly learned that not all information could be on the screen all the time. Screen
changes should be dependent on machine state. For example, there is different information on
the screen when the equipment is loading and when the equipment is hauling. This may be a
simple premise, but it gets much more complicated when converging multiple technologies from
Wenco ourselves and additionally from 3rd party solution providers.

CURRENT INTEGRATION and PRESENTATION of NUMEROUS DATA SOURCES

Wenco has various systems and system features that already gather a lot of the information that
a shovel operator may require over the course of a load or a shift. Below is a screenshot of
Wenco’s BenchManager machine guidance system that shows information from all 4 of the
following categories.

1) The core Fleet Management System provides:
● Incremental truck­loading payload
● Truck­loading i.d. and operator
● Material Type
● Dump Location
● ETA of next truck
● Delays, Downs, and Operating Statuses
● Messaging
● Shift production KPI’s

2) BenchManager Machine Guidance provides:
● Track elevation
● Design elevation
● Cut/Fill recommendations
● Pitch and Roll
● Load blend calculations
● Automated dig block reconciliation

3) AGS provides:
● Bucket positioning information

2
 Dell Adds New Touch to Tablet PC. Original Press
Release.http://news.thomasnet.com/fullstory/Tablet­PC­offers­capacitive­touch­sensing­capabili
ty­811421
7 of 12
4) Fleet Awareness provides:
● Position, status, and direction information of other equipment
● Proximity alerts

Figure 2: Wenco BenchManager Screen with Fleet Awareness

Plus we encourage the interaction and acceptance of information from other industry suppliers.
These could be onboard systems such as fuel monitoring, fatigue monitoring, and tooth
detection. Or, these could be field or office based applications such as slope monitoring
systems that interact through our Data Exchange Service.

The amount of automation within the mining industry is growing, but automation does not reduce
the operator’s need for situational awareness, in fact the need often increases. Operators must
maintain awareness over the standard system information, in this case the operation of the
shovel, as well as information from the new automated systems as well as the fleet

8 of 12
management system3 .

The key is to get the software to do most of the work, only interrupting the operator when
needed. For example, if there is a tire monitoring system onboard and everything is functioning
properly, then there is no need to repeatedly or continuously tell the operator that everything is
fine. The same is true for fuel systems, or proximity awareness, and many other systems out
there.

Wenco’s Unified Alarm System offers a single place for all on­board alarms to be displayed to
the operator. The relative priority of the alarms can be configured in the Wenco database, from
“log to database only” all the way to “alarm requiring confirmation of receipt”. The UAS is open
and can be written to by 3rd parties. When it is an alarm event we present them up­front over our
production or machine guidance information as an alert to the operator, who can then
acknowledge that alert and take the appropriate action.

Figure 3: Wenco Alarm Notification

3
 Endsley, Mica R, and Jones, Debra G (2012) Designing for Situational Awareness, An approach to
user­centered design. CRC Press.
9 of 12
However, it is also important to provide the operator the option to access more detail from the
3rd party system if they offer it. In these cases we can design a tab on the operator's screen that
they can easily access as needed.

Figure 4: Wenco Tabbed Screen for 3rd Party Integration

KEY SITUATIONAL AWARENESS CONSIDERATIONS

There’s more going on here than just presenting all the information on screen all at once. Careful
consideration is made as to what information is shown when, how it is shown, what is
automatically delivered and what is delivered upon request. When consolidating this much output
it is extremely important that the information is meaningful when presented and accessible when
required.

One major consideration is to ensure that the operator doesn’t feel “out­of­the­loop4 ,” ensuring
acceptance and efficient use. The operator must know the state of the software; that it is up to
date, and it is displaying correct information.

Wenco provides this information in a few ways, one being a simple colour coded signal for core

4
 Endsley, Mica R, Toward a theory of Situational Awareness in Dynamic System, Human Factor and
Ergonomic Society, 1995
10 of 12
inputs and ouputs like GPS and the radio network to indicate that they are operating correctly.
Another way to indicate data accuracy is through opacity. In the Fleet Awareness portion of the
screen, if data position from a nearby truck is older than considered helpful, then the opacity of
the icon for the offending truck is decreased, and eventually disappears. If a vehicle breaks down
and is powered down completely (locked out), the last known position is taken at the time of
breakdown, but at some point perhaps the vehicle is towed. Opacity is a way of conveying a level
of confidence, or the trustworthiness of the information.

A second consideration is mode awareness or understanding, which is ensuring that the
operators understand why the system is doing what it is doing5 . Much of this is handled during
personnel training in which the operators are taught which mode is used for what purpose, but
also simple visual cues are also presented to the operator to explain what mode they are in and
how to transfer to another mode. In the Wenco system, we use the term “status” to refer to
mode. In a fleet management system, the status that a piece of equipment is in is crucial
information; haul cycles are built on a set of repeating statuses. Availability and productivity
information all requires accurate statuses to be recorded. On the MDT, the status is the biggest,
brightest and most­colourful button. The operator can tell at a glance that the system is in the
right status or mode, and we provide a “next status” button beside it, so that the operator knows
what to expect is coming, and can easily manually switch to it with a single touch if need be.

A third consideration to ensure the operator is properly using the system is for adequate decision
support. The system should boost the operator’s decision making effectiveness and

5
 Endsley, Mica R, Toward a theory of Situational Awareness in Dynamic System, Human Factor and
Ergonomic Society, 1995
11 of 12
performance by providing the necessary information to make informed and accurate decisions.6
Do you display a value such as payload as a percentage, tonnage, bar graph, or picture? And if
there is doubt as to the validity of the data, for example the payload sensors are not properly
calibrated and the system is receiving data outside a normal range, is it best to show that data or
hide it from the operator? Which one is going to enable the quickest and best decision from the
operator? Presenting information in a way that is meaningful to the operators will improve their
understanding of the context they are in, and therefore improve their decision making. The
accuracy, availability, and clarity of pertinent information is important when considering how
information is presented, but in many cases it’s even more important to consider removing
unnecessary information as much is reasonably possible. For example, a truck operator might
prefer to look at his PitNav moving map display when he is driving, but see more details about
his load, or KPIs while stationary. He could manually switch between screens, but alternatively
the system can be configured to show him the moving map display when GPS determines the
truck is moving, or when he’s in a given set of statuses. That way when he’s stopped and has
time to digest more information, more is given, but when he’s busy driving only the most
important information (where he’s going, and any proximate equipment warnings) are shown.

CONCLUSION

When taking Situational Awareness into consideration, Wenco designs our GUIs to support the
ability of shovel operators to handle complex and rapidly changing situations in which informed
decisions need to be made under tight time constraints.7  This involves far more than merely
being aware of numerous pieces of data. Operators must understand the integrated meaning of
what they are perceiving in light of their goals.  8

Wenco guides the shovel operators to safely and efficiently excavate and load material within the
mine’s operating guidelines and towards the operating goals of the company.

6
 Endsley, Mica R, Toward a theory of Situational Awareness in Dynamic System, Human Factor and
Ergonomic Society, 1995
7
 Dopplers Tech Diving Blog: The Six Basic Skills: Number Two, Situational Awareness January 17, 2010
8
 Endsley, Mica R, Toward a theory of Situational Awareness in Dynamic System, Human Factor and
Ergonomic Society, 1995
12 of 12