情報理論

確率変数をいい感じに近似する指標　交差エントロピー　【情報理論】

確率変数の離れ具合　相対エントロピー【情報理論】

確率変数の複雑さ　シャノンエントロピー【情報理論】

情報量がlog以外ではダメな理由【情報理論】

“情報量”をあらわす数式【情報理論】