研究内容

齋藤翔太・著『電気電子情報ビギナーズコース 情報理論』(講談社)

本書の特徴

齋藤翔太・著『電気電子情報ビギナーズコース 情報理論』(講談社)の特徴は以下のとおりです。

  • 全ページフルカラーで、情報理論の重要なポイントを丁寧に解説しています。
  • さまざまな図と、豊富な例題・演習問題で理解を深めることができます。
  • AI・機械学習と情報理論のつながりや、プライバシー保護と情報理論のつながりについて紹介しています。
  • 情報理論にまつわる歴史的な面白い話題をコラムとして紹介しています。
  • 現代社会での応用へとつながる話題もコラムとして紹介しています。
  • 筆者のこれまでの講義経験(特に、早稲田大学、横浜国立大学、群馬大学での「情報理論」の講義)に基づき、講義で使いやすい構成になっています。
  • 演習問題の詳細な解答をダウンロードできますので、自学自習にも最適です。解答については、講談社の本書のWebページに移動し、こちらの「ダウンロード・リンク」という箇所から入手できます。


その他の特徴を以下に記します。


『Elements of Information Theory(情報理論―基礎と広がり―)』への円滑な接続

情報理論の入門書で世界的名著と言われる本は『Elements of Information Theory, 2nd Edition』(Thomas M. Cover and Joy A. Thomas 著)です。『情報理論―基礎と広がり―』(山本博資・古賀弘樹・有村光晴・ 岩本貢 訳)が邦訳版として出版されています。


『電気電子情報ビギナーズコース 情報理論』は、この本の内容に準拠しています。さらに、『情報理論―基礎と広がり―』で説明が省略されているところも、本書では丁寧に解説しています。そのため、『情報理論―基礎と広がり―』を読んでみたが難しかったという方は、本書を読んでいただくと、『情報理論―基礎と広がり―』の理解が容易になると思います


『イラストで学ぶ 情報理論の考え方 改訂第2版』と本書の違い

本書と同じく講談社から出版されている情報理論の教科書として『イラストで学ぶ 情報理論の考え方 改訂第2版』(植松友彦 著)があります。本書を執筆するにあたって参考にさせていただきました。本書と『イラストで学ぶ 情報理論の考え方 改訂第2版』の違いについて気になる方のために、二つの教科書の違いをいくつか列挙します。(以下では本書を『ビギナーズコース』と略記し、『イラストで学ぶ 情報理論の考え方 改訂第2版』を『イラストで学ぶ』と略記します。)

  • 『ビギナーズコース』は『イラストで学ぶ』よりも数式が少なめで、『ビギナーズコース』のほうがより初学者向けの教科書になっています。
  • 『ビギナーズコース』は『イラストで学ぶ』に比べてAI・機械学習と情報理論のつながりやプライバシー保護と情報理論のつながりを多く紹介しています。
  • 『イラストで学ぶ』では確率の基礎を解説する章が1章設けられていますが、『ビギナーズコース』では確率の基礎を解説する章はありません(『ビギナーズコース』の「まえがき」に書いたように、確率の基礎は高等学校の数学の授業や大学初年次の確率統計の授業などで学びますし、これらの内容をわかりやすく説明しているさまざまな書籍やWebページがあるため、『ビギナーズコース』では情報理論の重要なポイントを丁寧に解説することにページを割き、確率の基礎を解説する章を省略しました。)
  • 『ビギナーズコース』は自己情報量やエントロピーなどの導入を『イラストで学ぶ』よりも丁寧に説明しています。
  • 『イラストで学ぶ』では情報源符号として「シャノン・ファノ符号」「ハフマン符号」「LZ78符号」が紹介されています。一方、『ビギナーズコース』ではよりたくさんの情報源符号を紹介しています(具体的には、「ファノ符号」「シャノン・ファノ符号」「シャノン・ファノ・イライアス符号」「ハフマン符号」「算術符号」「LZ77符号」「LZ78符号」「ベイズ符号」です。)
  • 『ビギナーズコース』ではハフマン符号の最適性について『イラストで学ぶ』よりも詳しく説明しています。一方で、『イラストで学ぶ』で詳しく解説されているLZ78符号の最適性の証明は、『ビギナーズコース』では解説されていません。
  • 『イラストで学ぶ』では、Feinsteinの補題に基づいて通信路符号化定理の証明を説明しています。一方で、『ビギナーズコース』では、ランダム符号化に基づいて通信路符号化定理の証明を説明しています。(なお、『情報理論―基礎と広がり―』でもランダム符号化に基づく証明がされています。)
  • 『イラストで学ぶ』と『ビギナーズコース』のどちらも典型系列・典型集合を紹介していますが、『イラストで学ぶ』で解説されている典型集合を用いた情報源符号化については『ビギナーズコース』では紹介されていません。
  • 多くの日本語の情報理論の入門書では「巡回符号」が紹介されていますが、『イラストで学ぶ』では省略されています。一方、『ビギナーズコース』では「巡回符号」についても紹介しています。

他にもさまざまな違いがあり、同じ題材を異なる切り口から説明している箇所もあります。『ビギナーズコース』だけでも情報理論の基礎がしっかりと身につけられるように書いたつもりですが、もしよろしければ『ビギナーズコース』と『イラストで学ぶ』の両方を読んでいただけますと、さらに幅広く情報理論の基礎を身につけられるのではないかと思います。