http://brain.fuw.edu.pl/edu/index.php?action=history&feed=atom&title=%2FIlo%C5%9B%C4%87Informacji/IlośćInformacji - Historia wersji2026-04-24T03:16:43ZHistoria wersji tej strony wikiMediaWiki 1.34.1http://brain.fuw.edu.pl/edu/index.php?title=/Ilo%C5%9B%C4%87Informacji&diff=2009&oldid=prevJarekz: /* TI:WTBD/IlośćInformacji */2015-05-23T14:32:49Z<p><span dir="auto"><span class="autocomment">TI:WTBD/IlośćInformacji</span></span></p>
<table class="diff diff-contentalign-left" data-mw="interface">
<col class="diff-marker" />
<col class="diff-content" />
<col class="diff-marker" />
<col class="diff-content" />
<tr class="diff-title" lang="pl">
<td colspan="2" style="background-color: #fff; color: #222; text-align: center;">← poprzednia wersja</td>
<td colspan="2" style="background-color: #fff; color: #222; text-align: center;">Wersja z 14:32, 23 maj 2015</td>
</tr><tr><td colspan="2" class="diff-lineno" id="mw-diff-left-l10" >Linia 10:</td>
<td colspan="2" class="diff-lineno">Linia 10:</td></tr>
<tr><td class='diff-marker'> </td><td style="background-color: #f8f9fa; color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"></td><td class='diff-marker'> </td><td style="background-color: #f8f9fa; color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"></td></tr>
<tr><td class='diff-marker'> </td><td style="background-color: #f8f9fa; color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>Z definicji Shanonna obliczylibyśmy ilość informacji ''w bitach'' przypadającą na cyfrę dziesiętną jako</div></td><td class='diff-marker'> </td><td style="background-color: #f8f9fa; color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>Z definicji Shanonna obliczylibyśmy ilość informacji ''w bitach'' przypadającą na cyfrę dziesiętną jako</div></td></tr>
<tr><td class='diff-marker'>−</td><td style="color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #ffe49c; vertical-align: top; white-space: pre-wrap;"><div><source lang="<del class="diffchange diffchange-inline">py</del>"></div></td><td class='diff-marker'>+</td><td style="color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div><source lang="<ins class="diffchange diffchange-inline">python</ins>"></div></td></tr>
<tr><td class='diff-marker'> </td><td style="background-color: #f8f9fa; color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>import math</div></td><td class='diff-marker'> </td><td style="background-color: #f8f9fa; color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>import math</div></td></tr>
<tr><td class='diff-marker'> </td><td style="background-color: #f8f9fa; color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>math.log(10, 2)</div></td><td class='diff-marker'> </td><td style="background-color: #f8f9fa; color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>math.log(10, 2)</div></td></tr>
</table>Jarekzhttp://brain.fuw.edu.pl/edu/index.php?title=/Ilo%C5%9B%C4%87Informacji&diff=2008&oldid=prevJarekz: /* TI/WTBD/IlośćInformacji */2015-05-23T14:32:10Z<p><span dir="auto"><span class="autocomment">TI/WTBD/IlośćInformacji</span></span></p>
<table class="diff diff-contentalign-left" data-mw="interface">
<col class="diff-marker" />
<col class="diff-content" />
<col class="diff-marker" />
<col class="diff-content" />
<tr class="diff-title" lang="pl">
<td colspan="2" style="background-color: #fff; color: #222; text-align: center;">← poprzednia wersja</td>
<td colspan="2" style="background-color: #fff; color: #222; text-align: center;">Wersja z 14:32, 23 maj 2015</td>
</tr><tr><td colspan="2" class="diff-lineno" id="mw-diff-left-l1" >Linia 1:</td>
<td colspan="2" class="diff-lineno">Linia 1:</td></tr>
<tr><td class='diff-marker'>−</td><td style="color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #ffe49c; vertical-align: top; white-space: pre-wrap;"><div>= [[TI<del class="diffchange diffchange-inline">/</del>WTBD]]/IlośćInformacji =</div></td><td class='diff-marker'>+</td><td style="color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div>= [[TI<ins class="diffchange diffchange-inline">:</ins>WTBD]]/IlośćInformacji =</div></td></tr>
<tr><td class='diff-marker'> </td><td style="background-color: #f8f9fa; color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"></td><td class='diff-marker'> </td><td style="background-color: #f8f9fa; color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"></td></tr>
<tr><td class='diff-marker'> </td><td style="background-color: #f8f9fa; color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>Jednostką ilości danych jest ''bit'' i jego wielokrotności. Jest to też jednostka informacji (w [[TI:WTBD/InformacjaShannona|definicji Shannona]]) -- ale N bitów danych niekoniecznie zawiera N bitów informacji.</div></td><td class='diff-marker'> </td><td style="background-color: #f8f9fa; color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>Jednostką ilości danych jest ''bit'' i jego wielokrotności. Jest to też jednostka informacji (w [[TI:WTBD/InformacjaShannona|definicji Shannona]]) -- ale N bitów danych niekoniecznie zawiera N bitów informacji.</div></td></tr>
</table>Jarekzhttp://brain.fuw.edu.pl/edu/index.php?title=/Ilo%C5%9B%C4%87Informacji&diff=2005&oldid=prevJarekz: /* TI:WTBD/IlośćInformacji */2015-05-23T14:30:24Z<p><span dir="auto"><span class="autocomment">TI:WTBD/IlośćInformacji</span></span></p>
<table class="diff diff-contentalign-left" data-mw="interface">
<col class="diff-marker" />
<col class="diff-content" />
<col class="diff-marker" />
<col class="diff-content" />
<tr class="diff-title" lang="pl">
<td colspan="2" style="background-color: #fff; color: #222; text-align: center;">← poprzednia wersja</td>
<td colspan="2" style="background-color: #fff; color: #222; text-align: center;">Wersja z 14:30, 23 maj 2015</td>
</tr><tr><td colspan="2" class="diff-lineno" id="mw-diff-left-l1" >Linia 1:</td>
<td colspan="2" class="diff-lineno">Linia 1:</td></tr>
<tr><td class='diff-marker'>−</td><td style="color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #ffe49c; vertical-align: top; white-space: pre-wrap;"><div>= [[TI<del class="diffchange diffchange-inline">:</del>WTBD]]/IlośćInformacji =</div></td><td class='diff-marker'>+</td><td style="color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div>= [[TI<ins class="diffchange diffchange-inline">/</ins>WTBD]]/IlośćInformacji =</div></td></tr>
<tr><td class='diff-marker'> </td><td style="background-color: #f8f9fa; color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"></td><td class='diff-marker'> </td><td style="background-color: #f8f9fa; color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"></td></tr>
<tr><td class='diff-marker'> </td><td style="background-color: #f8f9fa; color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>Jednostką ilości danych jest ''bit'' i jego wielokrotności. Jest to też jednostka informacji (w [[TI:WTBD/InformacjaShannona|definicji Shannona]]) -- ale N bitów danych niekoniecznie zawiera N bitów informacji.</div></td><td class='diff-marker'> </td><td style="background-color: #f8f9fa; color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>Jednostką ilości danych jest ''bit'' i jego wielokrotności. Jest to też jednostka informacji (w [[TI:WTBD/InformacjaShannona|definicji Shannona]]) -- ale N bitów danych niekoniecznie zawiera N bitów informacji.</div></td></tr>
</table>Jarekzhttp://brain.fuw.edu.pl/edu/index.php?title=/Ilo%C5%9B%C4%87Informacji&diff=2004&oldid=prevJarekz: Utworzono nową stronę "= TI:WTBD/IlośćInformacji = Jednostką ilości danych jest ''bit'' i jego wielokrotności. Jest to też jednostka informacji (w TI:WTBD/InformacjaShannona|defin..."2015-05-23T14:29:53Z<p>Utworzono nową stronę "= <a href="/edu/index.php/TI:WTBD" title="TI:WTBD">TI:WTBD</a>/IlośćInformacji = Jednostką ilości danych jest ''bit'' i jego wielokrotności. Jest to też jednostka informacji (w TI:WTBD/InformacjaShannona|defin..."</p>
<p><b>Nowa strona</b></p><div>= [[TI:WTBD]]/IlośćInformacji =<br />
<br />
Jednostką ilości danych jest ''bit'' i jego wielokrotności. Jest to też jednostka informacji (w [[TI:WTBD/InformacjaShannona|definicji Shannona]]) -- ale N bitów danych niekoniecznie zawiera N bitów informacji.<br />
<br />
:''Przykład:'' liczby całkowite (dla uproszczenia mówmy tylko o nieujemnych) mogą być zapisywane w reprezentacji binarnej, lub jako tekstowa reprezentacja zapisu dziesiętnego (i na szereg bardziej wymyślnych sposobów). Dla ustalenia uwagi mówmy o liczbach ''unsigned long'' (0 <= ''x'' < 2**32). Intuicyjnie rozumiemy, że taka liczba zawiera w sobie 32 bity informacji. Sformalizowanie tego stwierdzenia za pomocą definicji Shannona prowadzi do tego samego wniosku.<br />
<br />
Zapisanie tej samej liczby cyframi dziesiętnymi wymaga od 1 do 10 cyfr (2**32 = 4294967296). Załóżmy jej zapis w polu o stałej szerokości dopełnionym w razie potrzeby zerami od lewej. Jeśli cyfry zapisu będą reprezentowane kodami [[TI:WTBD/ASCII|ASCII]], to 10 cyfr = 10 bajtów = 80 bitów. Sporo więcej niż 32. Dokładnie, to korzystając z takiej reprezentacji zużywa się 2,5 bita danych na każdy bit informacji. Lub odwrotnie, każdy bit danych zawiera 0,4 bita informacji.<br />
<br />
Ta ,,nadmiarowość" (redundancja) reprezentacji przez cyfry dziesiętne ewidentnie związana jest z tym, że taka reprezentacja danych (liczb naturalnych) zakłada, że nie każdy możliwy zapis (ciąg bitów) jest ,,legalny" z punktu widzenia tej reprezentacji. Na tym właśnie polega redundancja. Daje ona też pewne korzyści: np. w zapisie pozbawionym redundancji nie ma ''żadnego'' sposobu sprawdzenia, czy odebrane lub odczytane z nośnika dane nie zawierają przekłamań. Redundancja to umożliwia -- co najmniej ''nie każde'' przekłamanie pozostanie niewykryte. Oczywiście można (i tak się robi) postać redundancji zapisu specjalnie zaprojektować pod tym kontem (sumy kontrolne, ...).<br />
<br />
Z definicji Shanonna obliczylibyśmy ilość informacji ''w bitach'' przypadającą na cyfrę dziesiętną jako<br />
<source lang="py"><br />
import math<br />
math.log(10, 2)<br />
-> 3.3219280948873626<br />
</source><br />
a zatem, skoro w [[TI:WTBD/ASCII|ASCII]] zapis jednej cyfry zajmuje 8 bitów, mamy w zaokrągleniu 0.415 bitów informacji na bit danych (łatwo wytłumaczyć, dlaczego jest to nieco więcej niż dało nam poprzednie rozumowanie). ''Redundancja'' tego zapisu, rozumiana jako odwrotność tak rozumianej ''pojemności informacyjnej'', wynosi zatem ok. 2.41<br />
<br />
''Zadanie:'' ile wynosi pojemność informacyjna zapisu liczb naturalnych za pomocą reprezentowanych w ASCII cyfr szesnastkowych?</div>Jarekz