History of Multimedia Systems 

Newspaper were perhaps the first mass communication medium to employ Multimedia ­­ 
they used mostly text, graphics, and images. 

In 1895, Gugliemo Marconi sent his first wireless radio transmission at Pontecchio, Italy. 
A few years later (in 1901) he detected radio waves beamed across the Atlantic. Initially 
invented for telegraph, radio is now a major medium for audio broadcasting. 

Television was the new media for the 20th century. It brings the video and has since 
changed the world of mass communications. 

Some of the important events in relation to Multimedia in Computing include: 

• 1945 ­ Bush wrote about Memex 
• 1967 ­ Negroponte formed the Architecture Machine Group 
at MIT 
• 1969 ­ Nelson & Van Dam hypertext editor at Brown 
• Birth of The Internet 
• 1971 ­ Email 
• 1976 ­ Architecture Machine Group proposal to DARPA: 
Multiple Media 
• 1980 ­ Lippman & Mohl: Aspen Movie Map 
• 1983 ­ Backer: Electronic Book 
• 1985 ­ Negroponte, Wiesner: opened MIT Media Lab 
• 1989 ­ Tim Berners­Lee proposed the World Wide Web to 
CERN (European Council for Nuclear Research) 
• 1990 ­ K. Hooper Woolsey, Apple Multimedia Lab, 100 
people, educ. 
• 1991 ­ Apple Multimedia Lab: Visual Almanac, Classroom 
MM Kiosk 
• 1992 ­ the first M­bone audio multicast on the Net 
• 1993 ­ U. Illinois National Center for Supercomputing 
Applications: NCSA Mosaic 
• 1994 ­ Jim Clark and Marc Andreesen: Netscape 
• 1995 ­ JAVA for platform­independent application 
development. Duke is the first applet. 
• 1996 ­ Microsoft, Internet Explorer. 
Multimedia/Hypermedia 

What is Multimedia? 

Multimedia can have a many definitions these include: 

Multimedia means that computer information can be represented through audio, video, 
and animation in addition to traditional media (i.e., text, graphics drawings, images). 

A good general definition is: 

Multimedia is the field concerned with the computer­controlled integration of text, 
graphics, drawings, still and moving images (Video), animation, audio, and any other 
media where every type of information can be represented, stored, transmitted and 
processed digitally. 

A Multimedia Application is an Application which uses a collection of multiple media 
sources e.g text, graphics, images, sound/audio, animation and/or video. 

Hypermedia can be considered as one of the multimedia applications. 

Multimedia Systems 
A Multimedia System is a system capable of processing multimedia data and 
applications. 

A Multimedia System is characterised by the processing, storage, generation, 
manipulation and rendition of Multimedia information. 

  

•  Characteristics of a Multimedia System  
•  Challenges for Multimedia Systems  
•  Desirable Features for a Multimedia System  
 •  Components of a Multimedia System  

Characteristics of a Multimedia System 

A Multimedia system has four basic characteristics: 

• Multimedia systems must be computer controlled. 
• Multimedia systems are integrated. 
• The information they handle must be represented digitally. 
• The interface to the final presentation of media is usually interactive.

Challenges for Multimedia Systems 

Supporting multimedia applications over a computer network renders the application 
distributed. This will involve many special computing techniques ­­ discussed later. 

Multimedia systems may have to render a variety of media at the same instant ­­ a 
distinction from normal applications. There is a temporal relationship between many 
forms of media (e.g. Video and Audio. There 2 are forms of problems here 

• Sequencing within the media ­­ playing frames in correct order/time  
frame in video 
• Synchronisation ­­ inter­media scheduling (e.g. Video and Audio). Lip 
synchronisation is clearly important for humans to watch playback of video and 
audio and even animation and audio. Ever tried watching an out of (lip) sync film 
for a long time? 

The key issues multimedia systems need to deal with here are: 

• How to represent and store temporal information. 
• How to strictly maintain the temporal relationships on play back/retrieval 
• What process are involved in the above. 
Data has to represented digitally so many initial source of data needs to be digitise ­­ 
translated from analog source to digital representation. The will involve scanning 
(graphics, still images), sampling (audio/video) although digital cameras now exist for 
direct scene to digital capture of images and video. 

The data is large several Mb easily for audio and video ­­ therefore storage, transfer 
(bandwidth) and processing overheads are high. Data compression techniques very 
common. 

Desirable Features for a Multimedia System 

Given the above challenges the following feature a desirable (if not a prerequisite) for a 
Multimedia System: 

Very High Processing Power 
­­ needed to deal with large data processing and real time delivery of media. 
Special hardware commonplace. 
Multimedia Capable File System 
­­ needed to deliver real­time media ­­ e.g. Video/Audio Streaming. Special 
Hardware/Software needed e.g RAID technology. 
Data Representations/File Formats that support multimedia 
­­ Data representations/file formats should be easy to handle yet allow for 
compression/decompression in real­time. 
Efficient and High I/O 
­­ input and output to the file subsystem needs to be efficient and fast. Needs to 
allow for real­time recording as well as playback of data. e.g. Direct to Disk 
recording systems. 
Special Operating System 
­­ to allow access to file system and process data efficiently and quickly. Needs to 
support direct transfers to disk, real­time scheduling, fast interrupt processing, I/O 
streaming etc. 
Storage and Memory 
­­ large storage units (of the order of 50 ­100 Gb or more) and large memory (50 
­100 Mb or more). Large Caches also required and frequently of Level 2 and 3 
hierarchy for efficient management. 
Network Support 
­­ Client­server systems common as distributed systems common. 
Software Tools 
­­ user friendly tools needed to handle media, design and develop applications, 
deliver media. 
Components of a Multimedia System 

Now let us consider the Components (Hardware and Software) required for a multimedia 
system: 

Capture devices 
­­ Video Camera, Video Recorder, Audio Microphone, Keyboards, mice, graphics 
tablets, 3D input devices, tactile sensors, VR devices. Digitising/Sampling 
Hardware 
Storage Devices 
­­ Hard disks, CD­ROMs, Jaz/Zip drives, DVD, etc 
Communication Networks 
­­ Ethernet, Token Ring, FDDI, ATM, Intranets, Internets. 
Computer Systems 
­­ Multimedia Desktop machines, Workstations, MPEG/VIDEO/DSP Hardware 
Display Devices 
­­ CD­quality speakers, HDTV,SVGA, Hi­Res monitors, Colour printers etc. 

Applications 
Examples of Multimedia Applications include: 

• World Wide Web 
• Hypermedia courseware 
• Video conferencing 
• Video­on­demand 
• Interactive TV 
• Groupware 
• Home shopping 
• Games 
• Virtual reality 
• Digital video editing and production systems 
• Multimedia Database systems 

Further Reading/Exploration 
Try some good sources for locating internet multimedia examples on the Internet 
For example: 

•  WebMuseum, Paris  
•  Audio Net  
•  BBC Web Site  
•  Index of Multimedia Information Sources  

Multimedia Authoring:Systems and 
Applications 

  

•  What is an Authoring System?  
o  Why should you use an authoring system?  
•  Multimedia Authoring Paradigms  
•  Multimedia Programming vs Multimedia Authoring  
•  Issues in Multimedia Applications Design  
o  Content Design  
  2.1.1 Scripting ( writing
   )  
  Rules for good writing:  
  2.1.2 Graphics ( illustrating
   )  
  Graphics Styles  
  2.1.3 Animation ( wiggling
   )  
  2.1.4 Audio ( hearing
   )  
  Types of Audio in Multimedia  
Applications: 
  2.1.5 Interactivity ( interacting
   )  
  Types of Interactive Multimedia  
Applications: 
o  Technical Design  
o  Visual Design  
•  Storyboarding  
•  Overview of Multimedia Software Tools  
o  Digital Audio  
o  Music Sequencing and Notation  
o  Image/Graphics Editing  
 o  Image/Graphics Editing  
o  Animation  
o  Multimedia Authoring  
•  Further Information  

What is an Authoring System? 
An Authoring System is a program which has pre­programmed elements for the 
development of interactive multimedia software titles. Authoring systems vary widely in 
orientation, capabilities, and learning curve. There is no such thing (at this time) as a 
completely point­and­click automated authoring system; some knowledge of heuristic 
thinking and algorithm design is necessary. Whether you realize it or not, authoring is 
actually just a speeded­up form of programming; you don't need to know the intricacies 
of a programming language, or worse, an API, but you do need to understand how 
programs work. 

Why should you use an authoring system? 

It generally takes about 1/8th the time to develop an interactive multimedia project, such 
as a CBT (Computer Based Training) program, in an authoring system as opposed to 
programming it in compiled code. This means 1/8 the cost of programmer time and likely 
increased re­use of code (assuming that you pass this project's code to the next CBT 
project, and they use a similar or identical authoring system). However, the content 
creation (graphics, text, video, audio, animation, etc.) is not generally affected by the 
choice of an authoring system; any production time gains here result from accelerated 
prototyping, not from the choice of an authoring system over a compiled language.

Multimedia Authoring Paradigms 
The authoring paradigm, or authoring metaphor, is the methodology by which the 
authoring system accomplishes its task. 

There are various paradigms, including: 

Scripting Language 
­­ the Scripting paradigm is the authoring method closest in 
form to traditional programming. The paradigm is that of a 
 programming language, which specifies (by filename) 
multimedia elements, sequencing, hotspots, synchronization, 
etc. A powerful, object­oriented scripting language is usually 
the centerpiece of such a system; in­program editing of 
elements (still graphics, video, audio, etc.) tends to be minimal 
or non­existent. Scripting languages do vary; check out how 
much the language is object­based or object­oriented. The 
scripting paradigm tends to be longer in development time (it 
takes longer to code an individual interaction), but generally 
more powerful interactivity is possible. Since most Scripting 
languages are interpreted, instead of compiled, the runtime 
speed gains over other authoring methods are minimal. The 
media handling can vary widely; check out your system with 
your contributing package formats carefully. The Apple's 
HyperTalk for HyperCard, Assymetrix's OpenScript for 
ToolBook and Lingo scripting language of Macromedia 
Director are examples of a Multimedia scripting language. 

Here is an example lingo script to jump to a frame 

global gNavSprite

on exitFrame
go the frame
play sprite gNavSprite
end
Iconic/Flow Control 
­­ This tends to be the speediest (in development time) 
authoring style; it is best suited for rapid prototyping and short­
development time projects. Many of these tools are also 
optimized for developing Computer­Based Training (CBT). The 
core of the paradigm is the Icon Palette, containing the possible 
functions/interactions of a program, and the Flow Line, which 
shows the actual links between the icons. These programs tend 
to be the slowest runtimes, because each interaction carries with 
it all of its possible permutations; the higher end packages, such 
as Authorware (Fig. 2.1)or IconAuthor, are extremely powerful 
and suffer least from runtime speed problems. 
 Macromedia Authorware Iconic/Flow Control Examples 

Frame 
­­ The Frame paradigm is similar to the Iconic/Flow Control 
paradigm in that it usually incorporates an icon palette; 
however, the links drawn between icons are conceptual and do 
not always represent the actual flow of the program. This is a 
 very fast development system, but requires a good auto­
debugging function, as it is visually un­debuggable. The best of 
these have bundled compiled­language scripting, such as Quest 
(whose scripting language is C) or Apple Media Kit. 
Card/Scripting 
­­ The Card/Scripting paradigm provides a great deal of power 
(via the incorporated scripting language) but suffers from the 
index­card structure. It is excellently suited for Hypertext 
applications, and supremely suited for navigation intensive (a la 
Cyan's "MYST" game) applications. Such programs are easily 
extensible via XCMDs and DLLs; they are widely used for 
shareware applications. The best applications allow all objects 
(including individual graphic elements) to be scripted; many 
entertainment applications are prototyped in a card/scripting 
system prior to compiled­language coding. 
Cast/Score/Scripting 
­­ The Cast/Score/Scripting paradigm uses a music score as its 
primary authoring metaphor; the synchronous elements are 
shown in various horizontal tracks with simultaneity shown via 
the vertical columns. The true power of this metaphor lies in the 
ability to script the behavior of each of the cast members. The 
most popular member of this paradigm is Director, which is 
used in the creation of many commercial applications. These 
programs are best suited for animation­intensive or 
synchronized media applications; they are easily extensible to 
handle other functions (such as hypertext) via XOBJs, XCMDs, 
and DLLs. 

Macromedia Director uses this method and examples can be 
found in Figs 
Macromedia Director Score Window 

Macromedia Director Cast Window 
 Macromedia Director Script Window 

Hierarchical Object 
­­ The Hierarchical Object paradigm uses a object metaphor 
(like OOP) which is visually represented by embedded objects 
and iconic properties. Although the learning curve is non­trivial, 
the visual representation of objects can make very complicated 
constructions possible. 
Hypermedia Linkage 
­­ The Hypermedia Linkage paradigm is similar to the Frame 
paradigm in that it shows conceptual links between elements; 
however, it lacks the Frame paradigm's visual linkage metaphor. 
Tagging 
­­ The Tagging paradigm uses tags in text files (for instance, 
SGML/HTML, SMIL (Synchronised Media Integration 
Language), VRML, 3DML and WinHelp) to link pages, provide 
interactivity and integrate multimedia elements. 

Multimedia Programming vs Multimedia 
Authoring 
It should be noted that a distinction should be made between Programming and 
Authoring. 
Authoring involves the assembly and bringing togther of Multimedia with possiby high 
level graphical interface design and some high level scripting. 

Programming involves low level assembly and construction and control of Multimedia 
and involves real languages like C and Java. 

Later in this course will will study Java programming in Quicktime and the Java Media 
Framework. 

Quicktime may also be programmed in C. 

Issues in Multimedia Applications Design 
There are various issues in Multimedia authoring below we summarise issues involved in 
Multimedia content and technical design. 

•  Content Design  
o  2.1.1 Scripting ( writing
   )  
  Rules for good writing:  
o  2.1.2 Graphics ( illustrating
   )  
  Graphics Styles  
o  2.1.3 Animation ( wiggling
   )  
o  2.1.4 Audio ( hearing
   )  
  Types of Audio in Multimedia Applications:  
o  2.1.5 Interactivity ( interacting
   )  
  Types of Interactive Multimedia  
Applications: 
•  Technical Design  
•  Visual Design  

Content Design 

Content design deals with: 

• What to say, what vehicle to use.

"In multimedia, there are five ways to format and deliver your message. You can write it, 
illustrate it, wiggle it, hear it, and interact with it." 
  

•  2.1.1 Scripting ( writing
   )  
o  Rules for good writing:  
•  2.1.2 Graphics ( illustrating
   )  
o  Graphics Styles  
•  2.1.3 Animation ( wiggling
   )  
•  2.1.4 Audio ( hearing
   )  
o  Types of Audio in Multimedia Applications:  
•  2.1.5 Interactivity ( interacting
   )  
o  Types of Interactive Multimedia Applications:  

2.1.1 Scripting (writing)

Rules for good writing: 
1. 
Understand your audience and correctly address them. 
2. 
Keep your writing as simple as possible. (e.g., write out the full message(s) first, 
then shorten it.) 
3. 
Make sure technologies used complement each other. 

2.1.2 Graphics (illustrating) 

• Make use of pictures to effectively deliver your messages. 
• Create your own (draw, (color) scanner, PhotoCD, ...), or keep "copy 
files" of art works. ­ "Cavemen did it first."

Graphics Styles 

• fonts 
• colors 
o pastels 
o earth­colors 
 o metallic 
o primary color 
o neon color

2.1.3 Animation (wiggling) 
1. 
Types of Animation 

• Character Animation ­ humanise an object 

e.g., a toothbrush, a car, a coke bottle, etc. 

Factors in choosing a character 

o Emotion ­ Is it happy, sad, funny, sloppy, ...? 
o Movement ­ Is it fast, slow, bumpy, ...? 
o Visual style ­ Is its color/texture consistent with the rest? 
o Copyright ­ "Don't use Mickey before checking with Walt." 
o Adequacy ­ e.g., Does it provide various poses (can't make 
a broomstick sit!) 
• Highlights and Sparkles 

e.g., to pop a word in/out of the screen, to sparkle a logo ­> to draw 
attention 

• Moving Text 

e.g., put up one character at a time like a typewriter e.g., "pulsing" ­ the 
word grows/shrinks (or changes color) a few times 

Note: Do not slowly move entire line of text, they are not readable. 
Instead, for example, slide the bullets in and out. 

• Video ­ live video or digitized video 

+: more powerful than still images 

+: often easier to obtain than graphics animation 
 ­: takes a lot of disk space 

­: sometimes needs special hardware 

2. 
When to Animate 

"A leaf doesn't flutter if the wind doesn't blow."Only animate when it has a 
specific purpose 

• Enhance emotional impact 

e.g., dove softly flapping its wings ­> peace 

e.g., air bag explosion + dummy movements ­> car crash. 

• Make a point 

e.g., show insertion of a memory chip onto the motherboard (much better 
than a diagram) e.g., Microsoft Golf (instructional) 

• Improve information delivery 

e.g., "pulsing" words (in and out of screen) adds emphasis 

• Indicate passage of time 

e.g., clock/hourglass ­> program still running e.g., animated text ­> to 
prompt for interaction/response 

• Provide a transition to next subsection 
o Wipes ­ e.g., L­to­R, T­D, B­U, diagonal, iris round, center 
to edge, etc. 
o Dissolve ­ the current image distorts into an unrecognizable 
form before the next clear image appears, e.g., boxy dissolve, cross 
dissolve, etc. 
o Fade ­ a metaphor for a complete change of scene 
o Cut ­ immediate change to next image, e.g., for making 
story points using close­up ** Cuts are easy to detect in "video 
segmentation" 
2.1.3 Animation (wiggling) 
1. 
Types of Animation 

• Character Animation ­ humanise an object 

e.g., a toothbrush, a car, a coke bottle, etc. 

Factors in choosing a character 

o Emotion ­ Is it happy, sad, funny, sloppy, ...? 
o Movement ­ Is it fast, slow, bumpy, ...? 
o Visual style ­ Is its color/texture consistent with the rest? 
o Copyright ­ "Don't use Mickey before checking with Walt." 
o Adequacy ­ e.g., Does it provide various poses (can't make 
a broomstick sit!) 
• Highlights and Sparkles 

e.g., to pop a word in/out of the screen, to sparkle a logo ­> to draw 
attention 

• Moving Text 

e.g., put up one character at a time like a typewriter e.g., "pulsing" ­ the 
word grows/shrinks (or changes color) a few times 

Note: Do not slowly move entire line of text, they are not readable. 
Instead, for example, slide the bullets in and out. 

• Video ­ live video or digitized video 

+: more powerful than still images 

+: often easier to obtain than graphics animation 

­: takes a lot of disk space 

­: sometimes needs special hardware 

2. 
When to Animate 

"A leaf doesn't flutter if the wind doesn't blow."Only animate when it has a 
specific purpose 
 • Enhance emotional impact 

e.g., dove softly flapping its wings ­> peace 

e.g., air bag explosion + dummy movements ­> car crash. 

• Make a point 

e.g., show insertion of a memory chip onto the motherboard (much better 
than a diagram) e.g., Microsoft Golf (instructional) 

• Improve information delivery 

e.g., "pulsing" words (in and out of screen) adds emphasis 

• Indicate passage of time 

e.g., clock/hourglass ­> program still running e.g., animated text ­> to 
prompt for interaction/response 

• Provide a transition to next subsection 
o Wipes ­ e.g., L­to­R, T­D, B­U, diagonal, iris round, center 
to edge, etc. 
o Dissolve ­ the current image distorts into an unrecognizable 
form before the next clear image appears, e.g., boxy dissolve, cross 
dissolve, etc. 
o Fade ­ a metaphor for a complete change of scene 
o Cut ­ immediate change to next image, e.g., for making 
story points using close­up ** Cuts are easy to detect in "video 
segmentation" 

Types of Audio in Multimedia Applications: 
1. 
Music ­ set the mood of the presentation, enhance the emotion, illustrate points 
2. 
Sound effects ­ to make specific points, e.g., squeaky doors, explosions, wind, ... 
3. 
Narration ­ most direct message, often effective 
2.1.5 Interactivity (interacting) 

• interactive multimedia systems! 
• people remember 70% of what they interact with (according to late 1980s 
study) 

Types of Interactive Multimedia Applications: 
1. 
Menu driven programs/presentations 

­ often a hierarchical structure (main menu, sub­menus, ...) 

2. 
Hypermedia 

+: less structured, cross­links between subsections of the same subject ­> non­
linear, quick access to information +: easier for introducing more multimedia 
features, e.g., more interesting "buttons" 

­: could sometimes get lost in navigating the hypermedia 

3. 
Simulations / Performance­dependent Simulations 

­ e.g., Games ­ SimCity, Flight Simulators 

Technical Design 

Technologicical factors may limit the ambition of your mutlimedia presentation: 

• Technical parameters that affect the design and delivery of multimedia 
applications 

Video Mode Resolution Colors

---------- -------------- --------
CGA 320 x 200 4
MCGA 320 x 200 256
EGA 640 x 350 16
VGA 640 x 480 256
S-VGA 1,024 x 768 $>$= 256
S-VGA 1,280 x 1,024 $>$= 256
.
 .
.
16-bit color --$>$ 65536 colors
24-bit color --$>$ 16.7 million colors
1. 
Video Mode and Computer Platform 

PC <­> Macintosh 

There are many "portable", "cross­platform" software and "run­time modules", 
but many of them lose quality/performance during the translation. 

2. 
Memory and Disk Space Requirement 

Rapid progress in hardware alleviates the problem, but software is too "greedy", 
especially the multimedia ones. 

3. 
Delivery 

• Live Presentation 

Short checking list for hardware/software requirements: 

o type of graphics card 
o video memory (1 MB, 2 MB, 4 MB, etc.) 
o access time of hard disk (important for real­time video) 
o type of sound card (support for General MIDI) 
o audio­video software 
• Delivery by diskette 

­: Small in size, slow to install 

• Delivery by CD­ROM 

+: Large capacity ­: Access time of CD­ROM drives is longer than hard­
disk drives 

• Electronic Delivery (ftp, www, etc.) 

­ depends on baud rate, network connection, and monthly bill 
Visual Design 

Here we summarise factors that should be considers in the visual design of a multimedia 
presentation: 

1. 
Themes and Styles 

­ A multimedia presentation should have a consistent theme/style, it should not be 
disjointed and cluttered with multiple themes. 

­ The choice of theme/style depends on the styles and emotions of your audience. 

Some Possible Themes: 

• Cartoon theme 

+: interesting / entertaining ­: must be consistent with the character's 
personality 

• Traditional theme ­ straightforward 

+: simple, often informative 

­: not as interesting 

• High tech theme ­ contemporary computer art work (morphing, 
texture mapping, metal texture, explosions, ...) 

+: attractive, easy to animate 

• Technical theme ­ include blueprints, 3D models of the product, ... 
e.g., start with a drawing, then transformed into a rendered image. 

+: shows adequate technical information 

+: gives impression of solid design and construction

Color Schemes and Art Styles 

• Natural and floral 

(outdoor scenes, e.g., mountains, lakes, ...) ­> getting back to nature 
 • Oil paints, watercolours, colored pencils, pastels. 

­ these art styles can be combined with e.g., cartoon or high tech themes 

2. 
Pace and Running length 

A few guidelines: 

• Allow a block of text to be slowly read twice. 
• Transition time should be an indication of real­time. 
o dissolve ­ time delay, scene change 
o cut ­ two views of same scene at same time, or abrupt scene 
change 
• Running length 
o self running presentation: 2­3 minutes 
o limited interaction: 5­6 minutes 
o complete analytical, hands­on demo: < 15 minutes 
o with questions, discussions: > 30 minutes 

** build in breaks for long presentations 

3. 
Basic Layout 

(a) Title (b) Action area (c) Narration (d) Dialog (e) Interactive controls 

• make sure that the information delivery path in the layout is 
smooth, not irregular/jumpy 
• use headlines/subtitles, additional shapes, buttons, fonts, 
backgrounds and textures to enhance the visual appearance. 

Storyboarding 
The concept of storyboarding has been by animators and their like for many years. 

Storyboarding is used to help plan the general organisation or content of a presentation 
by recording and organizing ideas on index cards, or placed on board/wall. The 
storyboard evolves as the media are collected and organised: new ideas and refinements 
to the presentation are 

Overview of Multimedia Software Tools 
  

•  Digital Audio  
•  Music Sequencing and Notation  
•  Image/Graphics Editing  
•  Image/Graphics Editing  
•  Animation  
•  Multimedia Authoring  

Digital Audio 

Macromedia Soundedit ­­ Edits a variety of different format audio files, apply a variety 
of effects (Fig 2.5) 

Macromedia Soundedit Main and Control Windows and Effects Menu 

CoolEdit ­­ Edits a variety of different format audio files 

Many Public domain tools on the Web. 
Music Sequencing and Notation 

Cakewalk 

• Supports General MIDI 
• Provides several editing views (staff, piano roll, event list) and Virtual 
Piano 
• Can insert WAV files and Windows MCI commands (animation and 
video) into tracks 

Cubase 

• A better software than Cakewalk Express 
• Intuitive Interface to arrange and play Music (Figs 2.6 and 2.7) 
• Wide Variety of editing tools including Audio (Figs 2.8 and 2.9 

Cubase Arrange Window (Main) 
Cubase Transport Bar Window ­­­ Emulates a Tape Recorder Interface 

Cubase Audio Window 

Cubase Audio Editing Window with Editing Functions 

• Allows printing of notation sheets 
 Cubase Score Editing Window 

Logic Audio 

• Cubase Competitor, similar functionality 

Marc of the Unicorn Performer 

• Cubase/Logic Audio Competitor, similar functionality 
Image/Graphics Editing 

Adobe Photoshop 

• Allows layers of images, graphics and text 
• Includes many graphics drawing and painting tools 
• Sophisticate lighting effects filter 
• A good graphics, image processing and manipulation tool 

Adobe Premiere 

• Provides large number (up to 99) of video and audio tracks, 
superimpositions and virtual clips 
• Supports various transitions, filters and motions for clips 
• A reasonable desktop video editing tool 

Macromedia Freehand 

• Graphics drawing editing package 

Many other editors in public domain and commercially 

Image/Graphics Editing 

Many commercial packages available 

• Adobe Premier 
• Videoshop 
• Avid Cinema 
• SGI MovieMaker 

Animation 

Many packages available including: 

• Avid SoftImage 
• Animated Gif building packages e.g. GifBuilder 
Multimedia Authoring 

­ Tools for making a complete multimedia presentation where users usually have a lot of 
interactive controls. 

Macromedia Director 

• Movie metaphor (the cast includes bitmapped sprites, scripts, music, 
sounds, and palettes, etc.) 
• Can accept almost any bitmapped file formats 
• Lingo script language with own debugger allows more control including 
external devices, e.g., VCRs and video disk players 
• Ready for building more interactivities (buttons, etc.) 
• Currently in version 7.0, this popular general market product follows the 
cast/score/scripting paradigm, which makes it the tool of choice for animation 
content. Its roots as a cel­ and sprite­animation program are unmistakable; and its 
inclusion of Lingo, its object­based scripting language, has made it the animation­
capable program to beat. The AfterBurner compression Xtra creates Shockwave 
files, allowing Web playback. 

Authorware 

• Professional multimedia authoring tool 
• Supports interactive applications with hyperlinks, drag­and­drop controls, 
and integrated animation 
• Compatibility between files produced from PC version and MAC version 

Other authoring tools include: 

• Microcosm : Multicosm, Ltd. ; DOS, Windows Microcosm is a 
Hypermedia Linkage authoring system. 
• Question Mark : Question Mark Computing Ltd ; DOS, Mac, Windows; 
WWW (via Perception) Question Mark is optimized for Electronic Assessment 
production. 
• Emblaze Creator : Geo International ; JavaScript, Mac, Windows95, 
WWW. 

Emblaze Creator 2.5 is a cast/score/scripting tool which is designed for Web­
based playback of interactive multimedia. 

• Flash : Macromedia ; Mac, Windows95, NT, WWW (via Flash Player). 

Flash 3.0 is a cast/score/scripting tool, which primarily uses vector graphics (and 
can create vector graphics from imported bitmaps). It is optimized for Web 
 delivery, and is especially common for banner adds and small interactive web 
deliverables. 

• HyperCard : Apple Computer ; Mac, WWW (via LiveCard!). 

HyperCard is a card/scripting authoring system currently in version 2.4.1. It runs 
natively on both 68K and PowerMacintosh machines, and is widely used because 
of its easy availability at a low price. Its largest drawback is the lack of integrated 
color; current color implementation is via the ColorTools XCMD set (included) or 
via third­party XCMDs. 

• HyperGASP : Caliban Mindwear. 

HyperGASP is a card/scripting authoring system currently in version 3.0; the 
newest version no longer requires HyperCard. Supports export to HTML for Web 
authoring. 

• HyperStudio ; Roger Wagner Publishing ; Mac, Windows, WWW (via 
HyperStudio plug­in). 

HyperStudio is a card/scripting paradigm authoring system, optimized for and 
focussed on the educational market. 

• IconAuthor : Asymetrix ; Windows, NT, Solaris, UNIX, WWW (via 
Windows). 

IconAuthor follows the iconic/flow control paradigm. It is notable for its 
SmartObject editor, which tags content files (still graphics, RTF text, etc.) for 
interactivity. It has the option to either embed content files or leave them external 
in specified directories. The biggest strength of this program is its included data 
handling, which makes it unparalleled for CBT data tracking. The latest version 
should also provide WWW porting of existing content. Avoid its internal "Move 
Object" path animation feature due to jerky response ­ use a .FLC or .AVI instead 

Further Information 
See Chapter 12 Multimedia Presentation and Authoring pages 285­303, Multimedia 
Systems, J.F.K, Buford, ACM Press, 1994 (ISBN 0­201­53258­1). 

See also: 

•  Mutlimedia Frequently Asked Question  
 •  StoryBoarding Links  
•  Director Web  

Multimedia Programming:Scripting 
(Lingo) 
In the last chapter we covered many Multimedia Authoring paradigms. Some of these 
basically involve only graphical programming. However, there is always a limit to how 
much can be achieved this ways, and so we must resort to scripting or hard programming. 

We will examine two of these programming paradigms a little further in the coming 2 
chapters: 

• Scripting ­­ we will overview the Director Authoring 
systems and in particular it's LINGO scripting language 
• Tagging ­­ we will overview SMIL an extension of XML 
for synchronised media integration. 

  

•  Director programming/Lingo Scripting  
•  Director Basics  
•  Overview and Definitions  
•  The Score and the Stage  
•  Using The Score  
•  The playback head  
•  Channels  
•  Frames  
•  Sprites  
•  Cast members  
•  Lingo  
•  Markers  
•  Editing Frames  
•  Identifying Frames with Lingo  
•  Lingo Scripting  
•  When does Lingo run?  
•  The Lingo language  
 •  Dot Syntax  
•  Parentheses  
•  Character spaces  
•  Comments  
•  Optional keywords and abbreviated commands  
•  Literal Values  
•  Identifying cast members and casts  
•  Lingo operators  
•  Lingo Lists  
•  Types of Scripts  
•  Messages and Events  
•  Director Example 1: Simple Animation  
•  Director Example 2:Importing media  
•  Director Example 3:Simple Lingo Scripting  
•  Director Example 4:Controlling Navigation with Lingo  

Director programming/Lingo Scripting 
This section provides a very brief overview of Basic ideas of Director programming 
based on the Cast/Score/Scripting paradigm. 

This section is essentially a precise of Director's own manual pages. You should consult: 

• Macromedia Director 7: Using Director Manual ­­ In  
Library 
• Macromedia Director 7: Lingo Dictionary Manual ­­ In  
Library 
• Macromedia Director: Application Help ­­ Select Help 
from within the Director application. This is very thorough 
resource of information. 
• Macromedia Director Guided tours ­­ see Help menu 
option. 
• A variety of web sites contain director tutorials, hints and 
information: 
o Director Web: 
http://www.mcli.dist.maricopa.edu/director/ 
o Macromedia Director Support Center: 

http://www.macromedia.com/support/director/ 
 o An excellent set of Basic Director tutorial may be 
found at: 

http://www.fbe.unsw.edu.au/subjects/BENV/1043/tutor
ials.htm 

o The book Creating and Designing Multimedia  
with Director, P. Petrik and B. Dubrovsky, Prentice 
Hall, 1997 (ISBN 0­13­528985­8) is also worth 
investigating. 

Director Basics 
Overview and Definitions 
The Basic commodity in Director is the Director Movie: 

Director movies are interactive multimedia pieces that can include animation, sound, text, 
digital video, and many other types of media. A movie can be as small and simple as an 
animated logo or as complex as an online chat room or game. 

You're probably familiar with Director movies in the Shockwave movie format, which 
play in web browsers. 

A movie may link to external media or be one of a series of movies that refer to each 
other. Director's interactivity lets the movie respond to events and change in specified 
ways. 

Director divides lengths of time into a series of frames, similar to the frames in a 
celluloid movie. 

When creating and editing movies, you typically work in the four key windows that make 
up Director's work area: 

the Stage 
, the rectangular area where the movie plays(Fig. 3.1): 
 Macromedia Director stage Window 

the Score 
, where the movie is assembled(Fig. 3.2); 

Macromedia Director Score Window 

one or more Cast windows 
, where the movie's media elements are assembled (Fig. 3.3); 

Macromedia Director Cast Window 

and 
the Control Panel 
, which controls how the movie plays back(Fig. 3.4). 
 Macromedia Director Control Panel 

To create a new movie: 

• Choose File > New > Movie. 

The Score and the Stage 
The Score coordinates the movie's media, determining when images appear and sounds 
play. Special channels control the movie's tempo, sound, and color palettes. The Score 
also assigns scripts (Lingo instructions) that specify what the movie does when certain 
events occur in the movie (more on this shortly). 

The Stage is the visible portion of a movie. Use the Stage to determine where media 
appears. Working together, the Score's settings and controls create a dynamic, high­
quality interactive piece that plays in a web page or as a stand­alone application directly 
on the user's local computer. 

Movie properties specify properties that affect the entire movie, such as how colors are 
defined, the size and location of the Stage, the number of channels in the Score, copyright 
information, and font mapping. 

Use the Movie > Properties command to set these settings. These settings apply only to 
the current movie, whereas the settings you choose from File > Preferences apply to 
every movie. See manuals for exact properties and parameters etc.| 
Using The Score 
The Score organizes and controls a movie's content over time in channels. The most 
important components of the Score are channels, frames, and the playback head. 

You can control the Score by zooming to reduce or magnify your view and by displaying 
multiple Score windows. You can also control the Score's appearance using preference 
settings. 

To display the Score: 

• Choose Window > Score. 

The playback head 
The playback head moves through the Score to show what frame is currently displayed 
on the Stage. The playback head moves to any frame you click in the Score. (See Fig 3.6) 

Channels 
Channels are the rows in the Score that contain sprites for controlling media. Sprite 
channels are numbered and contain the sprites that control all the visible media in the 
movie. Special effects channels at the top of Score contain behaviors as well as controls 
for the tempo, palettes, transitions, and sounds. The Score displays channels in the order 
shown in Fig. 3.5. 
Macromedia Director Channel Display 

The channel at the very top of the Score contains markers that identify places in the 
Score, such as the beginning of a new scene. Markers are useful for making quick jumps 
to certain locations in a movie. 

The Score can include up to 1000 channels. Most movies contain a much smaller number. 
To improve a movie's performance in the authoring environment and during playback, 
you should not use many more channels than necessary. Use Movie Properties to control 
the number of channels in the Score for the current movie. 

Use the button at the left of any channel to hide its contents on the Stage or to disable the 
contents if they are not visible sprites. When you turn off a special effects channel, the 
channel's data has no effect on the movie. Turn Score channels off when testing 
performance or working on complex overlapping animations. 

Frames 
Frames are represented by the numbers listed horizontally in the sprite and special effects 
channels. A frame is a single step in the movie, like the frames in a traditional film. 
Setting the number of frames displayed per second sets the movie's playback speed; 
Macromedia Director Frame Playback 

Sprites 
Sprites are objects that control when, where, and how media appears in a movie. The 
media assigned to sprites are cast members. 

Director organizes cast members in libraries called casts. 

Creating a Director movie consists largely of defining where sprites appear on the Stage, 
when they appear in the movie, how they behave, and what their properties are. You 
work with sprites on the Stage and in the Score to change where and how cast members 
appear in the movie. 

Lingo 
Lingo, Director's scripting language, adds interactivity to a movie. Often Lingo 
accomplishes the same tasks­such as moving sprites on the Stage or playing sounds­that 
you can accomplish using Director's interface. 

Much of Lingo's usefulness, however, is in the flexibility it brings to a movie. Instead of 
playing a series of frames exactly as the Score dictates, Lingo can control the movie in 
response to specific conditions and events. 

For example, whether a sprite moves can depend on whether the user clicks a specific 
button; when a sound plays can depend on how much of the sound has already streamed 
from the Internet. 

Behaviors are pre­existing sets of Lingo instructions. Attaching behaviors to sprites and 
frames lets you add Lingo's interactivity without writing Lingo scripts yourself. 

If you prefer writing scripts to using Director's interface and behaviors, Lingo provides 
an alternative way to implement common Director features; for example, you can use 
Lingo to create animation, stream movies from the web, perform navigation, format text, 
and respond to user actions with the keyboard and mouse. 

Writing Lingo also lets you do some things that the Score alone can't do. For example, 
Lingo's lists let you create and manage data arrays, and Lingo operators let you perform 
mathematical operations and combine strings of text. You can also write your own 
behaviors that perform tasks beyond those possible with the behaviors that you already 
have available. 
Markers 
Markers identify fixed locations at a particular frame in a movie. Markers are vital to 
navigation in movies. Using Lingo or draggable behaviors, you can instantly move the 
playback head to any marker frame. 

This is useful when jumping to new scenes from a menu or looping while cast members 
download from the web. Markers are also useful while authoring to advance quickly to 
the next scene. 

Once you've marked a frame in the Score, you can use the marker name in your behaviors 
or scripts to refer to exact frames. Marker names remain constant no matter how you edit 
the Score. They are more reliable to use as navigation references than frame numbers, 
which can change if you insert or delete frames in the Score. 

Use the Markers window to write comments associated with markers you set in the Score 
and to move the playback head to a particular marker. 

To create a marker: 

• Click the markers channel to create a marker. A text 
insertion point appears to the right of the marker. 
• Type a short name for the marker. 

To delete a marker: 

• Drag the marker up or down and out of the markers 
channel. 

To jump to markers while authoring: 

There are a few ways to do this: 

• Click the Next and Previous Marker buttons on the left side 
of the marker channel. 
• Press the 4 and 6 keys on the numeric keypad to cycle 
backward and forward through markers. 
• Choose the name of a marker from the Markers menu. 
Macromedia Director Markers 

Editing Frames 
You can select a range of frames in the Score and then copy, delete, or paste all the 
contents of the selected frames. When you select frames, any sprite within the range is 
selected, even if it extends beyond the range. You can add new frames to a movie at any 
time. 

To move or delete all the contents of a range of frames: 

• Double­click and drag in the frame channel to select 
frames. 
• Choose Edit > Cut or Edit > Copy, or press Delete. 

If you cut or delete the selected frames, Director removes the 
frames and closes up the empty space. 

• To paste copied frames, select any frame and choose Edit > 
Paste. 

Note: To delete a single frame, choose Insert > Remove Frame. 

To add new frames: 

• Select a frame in the Score. 
• Choose Insert > Frames. 
• Enter the number of frames to insert. 
 The new frames appear to the right of the selected frame. If 
there are sprites in the frames you select, they are tweened or 
extended. 

Lingo Scripting 
Lingo, Director's scripting language, adds interactivity to a movie. Use Lingo to control a 
movie in response to specific conditions and events. For example, Lingo can play a sound 
after a specified amount of the sound has streamed from the Internet. 

Use the Script window (Fig. 3.8) to write and edit scripts. (Window > Script or 
Command­O will display this window 

Macromedia Director Script Window 

For an a very good introduction to scripting, see the Lingo basics tutorial movie and 
online help..