途中までですが,
とにかく分かりやすいです.
第1章は情報量の定義です.
冒頭の情報の加法性から情報量はlogが出てくというのは目から鱗でした.
具体的には,"ち"を説明するのには,"ち"でもいいし”タ行イ段”でも通じます.つまり
情報量("ち")=情報量(タ行)+情報量(イ段)ということで,もうちょっとまともに書くと
情報量(xy)=情報量(x)+情報量(y)
となり,これは関数方程式としてlogとなります.
第2章は情報の圧縮に関するもので
通信したい情報の無駄(冗長性)を削除すること必要な情報のみを伝送することができる.
私たちでも,穴あきの文章も難なく読むことができる.これは文章の冗長性によるものである.
このような冗長性は有限時間での通信を考えた場合時間が無駄になる.
次に述べられている誤り訂正符号は逆に冗長性をつけて誤りを訂正するのであるが,
文章の冗長性が最適な誤り訂正かどうかか不明である.なので一旦冗長性を除いて
その後に誤り訂正符号をつけて送ろうとするのである.
実際には,通信路いっぱいに伝送可能ということを説明している.これには大数の法則を用いて,
説明がなされており,その後具体的な情報量圧縮のための符号化の説明がある.
第3章は誤り訂正符号についてで
信号空間における広がりを考えることで,誤り訂正を行えると言うこと.
通信路の伝送路をいっぱいに使って伝送して誤りが訂正できるということを
これまた大数の法則を以ちて説明しています.その後は実際の例と言うことで
Hamming符号と線形符号について説明がされています.
第4章は実際の通信路にはどれだけの通信容量があるかについてのはなしで
アナログ値を受信しても(S+N),ノイズ(N)があるので,無限の情報量は不可能で
受信信号レベルとノイズレベルで割った通りだけの信号を送れます.
(実際には電圧換算になるので平方根がつきます.)
つぎにサンプリング定理から帯域の制限された信号は有限の時間間隔でサンプリングされた
信号で表現できるので,帯域が広いと多くの点が必要になります.その1点1点が上で述べた
情報量を持つのでよく知られたシャノンの通信量の公式が得られます.
とにかく分かりやすく書いてあり,シャノンの本も同じシリーズで出ていますが
ノートを作らないと理解できないかと思いましたが,この本であれば
通読するだけで,ほとんど理解できるのでとてもよいです.
前提として大数の法則などは無条件で認めているものの
それを用いた証明についてはきちんと説明しており,
お話だけでもないというところがいいと思います.