AI

ベクトルと内積

ベクトル、重み、内積——あらゆるモデルの土台となる加重和。

行列の積

各マスは行 · 列の内積——形がそろう必要がある理由と、AB ≠ BA。

線形分類器

クラスごとに1つの内積スコアラー:スコア、argmax、そして平面を切り分ける直線の境界。

線形回帰

二乗誤差を最小化してデータに直線を当てはめる——最もシンプルな学習アルゴリズム。

ロジスティック回帰

sigmoid でスコアを確率に押し込んでから分類する。

k 近傍法

最も近いラベル付きの点の多数決で分類する——学習ステップなし。

決定木

一度に1つの特徴でデータを分割し、不純度を下げる分割を選ぶ。

サポートベクターマシン

クラス間で最も広いmarginを持つ境界——サポートベクターで決まる。

K-Means クラスタリング

割り当てとcentroidの更新を交互に繰り返し、点を k 個のクラスタに分ける。

主成分分析

分散が最大となる方向にデータを射影して次元を落とす。

ナイーブベイズ

特徴ごとの確率を掛け合わせて分類する——素朴で高速、なのに意外と強い。

過学習と検証

多項式の次数を上げながら、訓練誤差とテスト誤差が U 字に分かれる様子を見る。

交差検証

k 分割のホールドアウトを回し、すべての点を「未知データ」として採点する。

混同行列

適合率・再現率、そして不均衡データで正解率が嘘をつく理由。

パーセプトロン

単層ニューラルネットワークの基礎

順伝播

ニューラルネットワークが画素を予測に変える仕組み

損失関数

予測がどれだけ外れているか——勾配降下が下っていく曲面。

Softmax と Cross-Entropy

logits を確率に変えて、正解クラスと照らして採点する。

勾配降下法

損失曲面を一歩ずつ降下

誤差逆伝播法

勾配降下法と重み更新

MNIST 数字分類器

数字を描くか実際の MNIST サンプルを読み込み、学習済み MLP が分類する様子をリアルタイムで見る

畳み込みニューラルネットワーク

畳み込み、プーリング、特徴マップ

学習ループ

ブラウザ内で小さなネットをリアルタイム学習——境界が学び、乱れ、過小適合・過学習する様子を目撃。

RNN / LSTM

系列モデルと隠れ状態

勾配消失

連鎖律の積が sigmoid 層で消える様子と、活性 ReLU 経路が減衰・維持・爆発する様子を比べる。

Dropout

学習中に隠れユニットをランダムに隠し、正則化のトレードオフを観察します。

バッチ正規化

隠れチャネルを標準化し、統計グループの大きさだけが深い学習をどう変えるかを観察します。

オプティマイザ——SGD・モメンタム・Adam

3 つの更新則を同じ損失面で競走させる。

トークナイゼーション

テキスト前処理とエンコーディング

BPE 学習

コーパスからサブワードのマージを学習

N-gram 言語モデル

数えるだけで次のトークンを予測する——ニューラルネット以前の言語モデル。

単語埋め込み

実際の GloVe の50次元空間で関係を移し、コーパスがほかに何を符号化したか検証する

アテンション機構

自己注意と Transformer

位置エンコーディング

同じトークンに正弦・余弦の位置ベクトルを加え、位置エンコーディングの有無で入力を比較します。

Transformer ブロック

残差ストリーム：各層は上書きせず加算する

次トークン予測

logits から次の token へ——あらゆる言語モデルの背後にある目的。

デコード戦略

実際の GPT-2 ロジットで Greedy・Top-k・Top-p を比較。温度を変えて候補と選択の変化を確かめます。

エージェントループ

すべてのエージェントは 1 つの while ループ:モデルを呼び、求められたツールを実行し、結果を返し、止まるまで繰り返す。ループは決して変わらない——残りはすべて harness。

ツール呼び出し

モデルは何も実行しない——JSON を返して止まるだけ。あなたのコードが関数を実行し、結果を送り返す。1 回のツール呼び出し = 2 回の往復。

権限管理

ツールが動く前に必ずルールの門を通る:allow は実行、deny は遮断、ask はあなたに委ねる。まず境界を引き、それから自由を与える。

フック

ツール実行の前後にチェックを登録します。イベントとマッチャーを変えて、保護対象への書き込みが阻止されるか、事後に報告されるか、見逃されるかを確認できます。

ReAct ループ

思考 → 行動 → 観察——世界を確かめることが推論だけに勝る理由と、書かれた思考が行動だけの場合に加える監査可能な記録。

計画してから実行

完了条件を決めて計画を立て、チェックの失敗から修正、再検証まで追います。リストの完了状態とツールの実際の結果を比較できます。

サブエージェント

大きなタスクをクリーンなコンテキストのサブエージェントに渡す:隔離して作業し、結論だけを泡のように返すので、ノイズがメイン会話に漏れない。

コンテキストとメモリ

エージェントが上限の手前でコンテキストを圧縮する理由——要約が残すもの・失うもの、そしてメモリファイルが次のセッションへ持ち越すもの。

システムプロンプト組み立て

実行時の情報からシステム指示、ツール定義、コンテキストを組み立てます。一覧のスキルと読み込んだ指示、メモリファイルと実際に送信される内容を比べます。

エラー回復

失敗した呼び出しは終わりではない——リトライ連鎖の始まり:再試行、圧縮して空きを作る、トークン予算を上げる、別のモデルにフォールバック。

RAG:検索拡張生成

学習していない文書から LLM が答える仕組み——埋め込み、コサインで順位付け、top-k をプロンプトへ——そして答えが生成前に決まる理由。

タスクシステム

大きな目標は小さなタスクの依存グラフに分解され、ディスクに永続化される:各ノードはそれを阻むものを待ち、1 つ終わると次が解放される。

バックグラウンドタスク

遅い作業はバックグラウンドへ、エージェントは考え続ける——長いコマンドが脇で走り、完了通知は次のターン境界で届く。

エージェントチーム

チームメイトは別々のコンテキストを持ちます。契約の更新がメールボックスを通る様子を追い、API と UI の成果物が一致するか確認します。

MCP プラグイン

外部ツールの検出からサーバールートの登録、MCP 呼び出しまでを追跡。ツールが使えない場合と検索が失敗する場合を比較します。

エッジ検出

画素からSobel応答を計算し、明暗反転・閾値・ノイズを確かめます。

プーリングと特徴マップ

最大・平均プーリングを比較し、応答が窓の境界を越えると出力がどう変わるかを確認。

画像分類

1つのクロップが1000個のスコアと1つのラベルになり、クロップ方針が結果を変える

物体検出

実際の検出ボックスでスコア、IoU、NMS を理解する

オートエンコーダ

ボトルネックの幅、画素の再構成、未知の入力での失敗を比較。

拡散モデル

段階的なノイズ除去と1回の推定を比較

GAN

敵対的学習と生成サンプルの多様性を比較

Q学習

Q テーブルの更新を通じて、遅れた報酬が前の選択を変える過程を見る。

方策勾配法

REINFORCE がリターンで行動確率を変える仕組みを見る