Definition af entropi sats
Entropi sats (entropi rate) henviser til en tilfældig kilde (man vil fortsætte med at generere tilfældige variabler stokastiske processer) over tid, den gennemsnitlige usikkerhed.
Eksempel
Efter en tilfældig kilde, bør det være en tilfældig proces. Denne tilfældig proces er ikke et statisk system, så længe tiden ikke er stoppet, vil det fortsætte med at generere et tilfældigt tal, kan det tilfældige tal udtrykkes med en tilfældig sekvens.
For eksempel er der nu en tilfældig kilde, den første kørsel, genererer systemet en tilfældig sekvens er 111.222.112.121.
Når vi kører det igen, vil det producere forskellige sekvenser: 121211211121222. Det er ikke kun sekvensen af hvert nummer er tilfældig, og hele sekvensen selv er tilfældig. Hvis vi gentage mange gange, vil det få en masse sekvenser og også muligt, at to sekvenser er identiske, selv om sandsynligheden er meget lille. Derfor, hvis en prøve-sekvens som et punkt i rummet, kan vi beregne sandsynligheden for denne sekvens, så vi kan beregne entropien af hele sekvensen. Vi definerer en sekvens X1, X2, ..., Xn af entropi værdier er:H (X1, X2, X3, ..., Xn) =-Σx1, x2, ..., xnp (X1, X2, ..., Xn) log (p (X1, X2, ..., Xn) )
Faktisk er fremkomsten af denne sekvens svarer til sandsynligheden fordeling af entropi, der er med X1, ..., Xn n stokastiske variable til at beregne den fælles distribution.
Da den driftsperiode, rækkefølgen længde n stiger. Så det er klart, at H (X1, ..., Xn), som vil øge værdien af uendelighed. Så behøver vi ikke bekymre sig om dette entropi, mens bekymrede sekvensen skaber usikkerhed (entropi) asymptotisk værdi for hastigheden, som er:
H (χ) = limn-> ∞ H (X1, X2, ..., Xn) / n
I enkle vendinger, er en tilfældig proces entropi sats et gennemsnit af processen genererer en tilfældig variabel usikkerhedsmomenterne som følge af størrelse.
|