やさしく学ぶ 機械学習を理解するための数学のきほん ~アヤノ&ミオと一緒に学ぶ 機械学習の理論と数学、実装まで~ 単行本（ソフトカバー） – 2017/9/21

https://www.amazon.co.jp/dp/4839963525/ref=cm_cr_lh_d_bdcrb_top?ie=UTF8

アマゾンレビューより引用致しました。

ご参考まで。

「やさしく学ぶ」なんてのはウソ

2021年7月24日に日本でレビュー済み

Amazonで購入

アヤノという娘がミオという娘に教えてもらうという対話形式だけど、
他の人が書いてる通り、このアヤノという娘は非常に頭がよくて
ほんの少し教えてもらうだけでどんどん理解していく。

「やさしく学ぶ」とあるけど、アヤノという娘は頭がいいのでハイスピードで飛ばして進んでいく。

これじゃあ、最初からある程度分かってる人でないと分からんわな。

この本に高評価を付けてる人のレビュー内容を見ると

分かるけど、

みんなこの本を読む必要が無いぐらい最初から機械学習のことをよく分かっている。

つまり、数学関係でよくある「最初から分かっている人には分かる本」だ。

「やさしく学ぶ」なんてのはウソだから、信じちゃいけない。

ーーー

最初は理解しやすいが、後から全体を把握しにくい

2018年2月11日に日本でレビュー済み

Amazonで購入

数式の展開を丁寧に説明してくれているので、最初に読むときは理解しやすいが、再度読み返すときは、冗長すぎて見にくくなってしまう。そういう意味で、全体の構成・関係を理解するためにも、以下のように概要をまとめておくと、後から思い出しやすい。

１）教師あり学習 回帰・分類
　　教師なし学習 クラスタリング

２）回帰
・最急降下法
・確率的勾配降下法（局所解に捕まりにくい）

３）分類
パーセプトロン
ロジスティック回帰（確率による分類）（尤度関数と対数尤度関数）

線形分離可能と線形分離不可能

４）評価
回帰問題
分類問題
Accuracy
Precision（適合率）
Recall（再現率）
Fmeasure（Precision + Recall）
Weighted Fmeasure

過学習対策としての正規化
学習曲線
未学習（ハイバイアス）と過学習（ハイバリアンス）の曲線

最初に書いたように、数式の展開を追っていくには、説明が丁寧でわかりやすいいのだが、より根本的な理屈に関して、以下のところがよく理解できなかった。
a) なぜ確率的勾配降下法を用いると（最小二乗法ではなく、1サンプルの差ずつで評価すると）、局所解に捕まりにくいのか？
b) なぜ正規化を用いると（評価関数を最小化する変数の値が小さくなると）、過学習しにくいのか？