Discussione:Entropia (teoria dell'informazione)

Von Neumann

Grazie chi ha inserito le informazioni relative al contributo di von Neumann alla definizione del concetto di entropia, e grazie anche per il gustoso aneddoto. Pongo pero' la domanda: è certo che von Neumann abbia contribuito alla dimostrazione del I teorema di Shannon? A me non risulta. Credo che la dimostrazione che l'autoinformazione media coincide con il minimo costo di codifica sia un risultato dovuto unicamente a Shannon. Se invece è vero il contrario, grazie per aver riempito una lacuna nelle mie conoscenze!

--Marco77 12:13, Mar 22, 2005 (UTC)

Se leggi il documento che ho messo in collegamenti esterni, è autoesplicativo. Shannon ha ampliato la definizione di Von Neumann di entropia. --BW Insultami 13:34, Mar 22, 2005 (UTC)

ciao BW, ho letto il documento, e per quanto ci ho capito (visto che personalmente mi occupo di teoria dell'informazione e non di termodinamica no tantomeno di fisica quantistica) non mi pare che indichi che von Neumann abbia contribuito alla dimostrazione del I teorema di Shannon. (Anzi, questo documento dice esplicitamente che von Neumann non si è occupato di teoria dell'informazione.) Specifico: questo teorema dice che: il minimo tasso di codifica di una sorgente aleatoria stazionaria coincide con il tasso entropico della sorgente stessa, che a sua volta coincide con l'entropia di simbolo se tutti i simboli sono indipendenti.

A mio parere dunque, senza voler minimamente sminuire il contributo di von Neumann al concetto di entropia, nell'ambito della teoria dell'informazione il suo apporto non è cosi' rilevante. Modificherei l'articolo come segue:

Si deve a Claude Shannon la dimostrazione che le due definizioni sono coincidenti. In altre parole, nel primo teorema di Shannon, o teorema di Shannon sulla codifica di sorgente, si dimostra che una sorgente casuale d'informazione non può essere rappresentata con un numero di bit inferiore alla sua entropia, cioè alla sua autoinformazione media. È interessante considerare la relazione tra entropia termodinamica ed entropia nella teoria dell'informazione Come ricordò Shannon più tardi,

   'La mia più grande ...' eccetera

--Marco77 12:54, Mar 24, 2005 (UTC)

Be', il risultato di von Neumann è prettamente statistico: egli collega la somma delle probabilità delle possibili configurazioni all'entropia di un qualunque sistema. Shannon ha semplicemente definito i bit di un'informazione nei termini espressi da von Neumann. Credo che la diatriba sia a chi dare la palma di aver introdotto entropia statistica, e von Neumann l'ha fatto in generale, Shannon l'ha applicato all'informazione. Shannon ha applicato, a quanto pare ricavandolo ex-novo, il teorema statisco sull'entropia. Volendo si può aggiungere indipendentemente da qualche parte e esplicitando l'applicazione alla teoria dell'informazione da parte di Shannon. Che ne dici? --BW Insultami 14:19, Mar 24, 2005 (UTC)

--marmo 22:59, 3 mag 2007 (CEST) Scusate ma non è che manca la legenda sulle variabili utilizzate nella definizione formale di entropia di sorgenti senza memoria? In particolare le variabili E ed I cosa indicano?[rispondi]

I è l'autoinformazione (e l'ho esplicitato), E è l'operatore valore atteso, e non credo sia necessario esplicitare anche quello (visto che comunque si parla di media di... nel testo e poi nella formula viene scritto come sommatoria). --Francesco (All your base are belong to us) 00:31, 14 mag 2007 (CEST)[rispondi]

"Entropia e informazione"

Ho spostato la sezione "Entropia e informazione" dalla voce Entropia (termodinamica) alla voce Entropia (teoria dell'informazione). Ho lasciato i link in "voce correlate". --Aushulz (msg) 02:02, 30 set 2008 (CEST)[rispondi]

Inesattezze

Stavo guardando la sezione 5 Entropia e informazione, e penso che ci siano alcune inesattezze. Partendo da questa formula $I=-S$ che secondo me e' sbagliata. Infatti S e' utilizzato impropriamente, visto che l'argomento nella formula di Boltzmann non indica una probabilita' ma bensi' la cardinalita' di un insieme di elementi equiprobabili. Fatemi sapere cosa ne pensate

--- Io aggiungo una correzione: i valori assunti da x erano chiamati realizzazioni. Non sono per niente esperto di teoria dell'informazione, ma siccome si fa uso di mezzi della statistica, ed in particolare della media, la media sulle realizzazioni assumerebbe un'altra forma, da cui deduco che $x_{i}$ sono i valori che la funzione di probabilità può assumere (il codominio). Le realizzazione è il valore assunto in una serie di esperimenti. La famosa moneta ha due possibili valori, ma posso avere un numero arbitrario di realizzazioni che sono tante quante i lanci effettuati.

Dubbi e discrepanze con altre lingue

Mi unisco al coro di scetticismo riguardo alla sezione "Entropia e Informazione", la versione inglese dell'articolo arriva alla conclusione opposta, fornendo una piccola dimostrazione. Vanno come minimo aggiunte delle fonti. Inoltre si cita un esempio in cui si attribuisce alla regolarità di un cristallo un alto valore informativo, quando in realtà si tratta di un sistema ridondante a scarso contenuto informativo. Non capisco se si tratta di una discrepanza delle definizioni dovuta a diversi domini di applicazione o se si tratta di un errore. --79.1.93.242 (msg)

Mi rendo conto ora, inoltre, che la stessa voce "Entropia" de Wikipedia Italia riporta che "Nella teoria dell'informazione - e in rapporto alla teoria dei segnali - l'entropia misura dunque la quantità di incertezza o informazione presente in un segnale aleatorio," --79.31.32.209 (msg)

Collegamenti esterni modificati

Gentili utenti,

ho appena modificato 1 collegamento esterno sulla pagina Entropia (teoria dell'informazione). Per cortesia controllate la mia modifica. Se avete qualche domanda o se fosse necessario far sì che il bot ignori i link o l'intera pagina, date un'occhiata a queste FAQ. Ho effettuato le seguenti modifiche:

Aggiunta del link all'archivio https://web.archive.org/web/20050509160627/http://www.renyi.hu/~petz/7vn.pdf per http://www.renyi.hu/~petz/7vn.pdf

Fate riferimento alle FAQ per informazioni su come correggere gli errori del bot.

Saluti.—InternetArchiveBot (Segnala un errore) 20:15, 6 mag 2020 (CEST)[rispondi]

Collegamenti esterni interrotti

Una procedura automatica ha modificato uno o più collegamenti esterni ritenuti interrotti:

Aggiunta del link all'archivio https://web.archive.org/web/19980131083455/http://cm.bell-labs.com/cm/ms/what/shannonday/paper.html per http://cm.bell-labs.com/cm/ms/what/shannonday/paper.html
Aggiunta del link all'archivio https://web.archive.org/web/19980715013250/http://cm.bell-labs.com/cm/ms/what/shannonday/shannon1948.pdf per http://cm.bell-labs.com/cm/ms/what/shannonday/shannon1948.pdf

In caso di problemi vedere le FAQ.—InternetArchiveBot (Segnala un errore) 00:09, 6 gen 2022 (CET)[rispondi]