code notbee ato i des co o dumo

endeat isCede od 6)
H(x) (x)- H x) s)
emple
2
«)
bh)hd
8+log. los, 8
lo3,4 2t tH>
Sfmbol
at
2
ate Satlnati )
hat ssage me
Sanple. bilts 9H-
Bateopy
leels Hte all Since
aee
 toill be ma imer
wen Hee probabil:keg
ie p(x +e)
2
-2

) Cod

|o92 +2 log,.

&x2
4) Catn >) log, L los, 8 >g
>) n>

Lntegy 5lex Sl2 x9

>t564 22 bit
to)
enteopy H-(-os og, o9-o.2 leg, o)
>0-e bit

Synbols, reded
He enteyeneodig Shee Llocky
by
(-.H(xn) »0.H>)
The bounds
Codo
lengh
(b) Upper
 P
log -glegp p
p
logp p
legp Pqo
p(v>n)pqnd wles
Py
paecnee diteibuton
cth qeometelc the hay
head fot Heti|| tosse of nemte The 13)
o
encody
urce iciant moit enco tkman
te ts dy 12)
Mbps -6oo
(rec pixel
6
ee >l0oM
pizel bil* yo6 log, H>
Hae allodssme )
leels 6u
lu) wlog,(+ P

-looo

C>huux looo bps l·uu kbps

tS)
plmo),so
plm)
pl*:) >P((md +
P()plm)
xLto25x
2 2

s
P

p(n) O625

) H- M8lo,2t log, 4 loo, S l6 log,

n()"
) ut a ve

o tte heceved
Hat 2ees hay becn teamted
 have Xo

P P(9

>082 bìt

le) 25 X10

) -) B
log, (1*)
>leg, (t*) B

-) (1+
3
>)

R -31:5o3

(4) channe mati

plyl /oasfe

Asume

plrly).
(a ) ossle
 pls)- 31y ; plc)>

ple) >p(Ble) rlc)e r( Bl:) pl)

pl)+r()
2 >p(elc) tsp(Bly) - p(Ble)+2 p(ele)

plle) P(al)e le)

ple)

Po

e2
 nert possible Cole cou

H*)- - pl)lo9, pli) bi lsyabol

pli)log, Pi) Liblgm bo
H(x)>

+(k) |·96 bits )Smbo)

prcbility to occerving ts p(o)

| 23

) Hx) ma
log, 9 3
xloo 76os 6s362-/

iv) HCxmax
shannan coding
Code
A
B

H
 + l49 (oquks

()H

d()*
( Go|(:)d Gol )d(:

ha t(n-o)
6o o<Go|
s.o)+(sia)Go
196| |49 uabs (oq

(oquhs
(X)H |9¬-)

(oqwhg

hoo |ooo
loooo
bx ho.O
 H(1)- H() 9-922 bi / Symbe )

q9.4g /.

23)

Bw B3 kH

29-88 lk bittlsee

o3

O30
O30

O3
odon bits în fo molion pu Synbol
in

pl«i) les: ( )
()+oe
oz (
log, )+
)+osla).
2s le.(, ) 4:x0 oos loaao
log:)o ou leg, (L
o
)Ha) R.lo1 bts)Smbl
acehding to hutnan Cuding
odvg no.of bits
bis gnbo)
oheee PK

Caeied loy messages x,

Ondvidal
Satmatoo
aee

P- prliity mesage
me soage
P
aee Sndependent,
me ssage
) Paetabtt, 4 composike

log. ('p)+ leg ( e)

1(X)- I)43(xe)
te input
 c§uect ecephon
to BSc

incct 2ephon givalt

Bsc
to

pl

chand Cepac
+log2
(6

ole to Prepe Fhog d

teanymiHed uoll be eeeired ay He
deeeied aee Oo0, Oo |, 01 0 loo

B2
P
32
clamne
Capacity 2
32 32 32 lag, 32

|-o.ut8 -o9e 6 o36 bid Ime

nceeases chanel
 9,(oo)
92)

7,(oo) y.(o)

Pi

r(y)9' P

mateca P9)p x P )

plry) Pq 2
2

2 2
2 2

kog adding p(a13)

get ply), pl9.); ply) elyu)
pl): p't 2

ply:) P1
ply)>
2 2

2
2
s) ) Rave Hat

P( r(m) >P()ola) > Jplm,)

>) (o+)(o.s) > (o)(o-5) > (o) (o 2)
8elect mo

tat
P()pla) >
) (os) (o5) >(o3) (o3) > (o)(o)
Belet m, wenee
also
r()plm) >ol)plm.) > )pla.)
>)) lou) (o-s)> (o:s) (o)> (ou) (o-3)
>) Seleet m wtheney , isit eceied

() Phobalit, bcing Correet

plc)> p(ma)r( )plm) r()+p(m)r()
> (o-4)lo)+ (os) (o 5)+ (os) (ou) o63
Paclalilit, ervd -> ple) >1- pley
2a)chonnel Capacy C- Blog. ((te SNe) binlsec.
log. ((*t5s). lSoo kbi# sec
(i) Cçven, eech bendidh is Qooo H3
encodey
Sample
See
 )

be
-dalod
22 Channe

3) Jcermlted Bymko! Sel,J- ..

#plas) los p/sil3,)

-)1(,y).

r(3i3j)-p (a:)
ploi. 3;) les ( )
j

I(x). #rlo)) log. Pln)

Cordiberl plo)
M

lo)
eoi) p)
Maxl lx,),
a

have
 ) mar ((r (x ))- o:
plai3)legs Plai)
M
we have plai,9;) - plai)

Max ( T (x,Y)7 - H(x)

maximwn Valee Hl*) teurs when all the

e plni) = Hence
ee esupobabte
ma o(;)], los (w)- log, (w) Lis

3) odraleg Sranad bondimiled to 3:3 kHz

gallt
Cuard end
-)

Sonples Bec

Pi

Llog, 2+ o9, utlg 8

H e + * et 3 + x8
3 2s bitslsample

Onfmaon at
bih

lu,o00 bìHlsec,