01
AI の歴史
⚠️ 超頻出： ブーム名・人物・用語の3点セットで覚える！
AIの3大ブーム 必出
第1次（1950-60s）: 探索・推論。トイ・プロブレム。終焉→ALPACレポート・XOR問題
第2次（1980s）: エキスパートシステム。終焉→知識獲得のボトルネック
第3次（2010s〜）: ディープラーニング。AlexNet(2012)が契機
第2次（1980s）: エキスパートシステム。終焉→知識獲得のボトルネック
第3次（2010s〜）: ディープラーニング。AlexNet(2012)が契機
重要人物まとめ 必出
マッカーシー: 「AI」の命名(1956 ダートマス会議)
チューリング: チューリングテスト(1950)
ミンスキー&パパート: XOR問題指摘(1969)
サミュエル: 「機械学習」の命名(1959)
ヒントン: AlexNet・ドロップアウト・誤差逆伝播の再発見
カーツワイル: シンギュラリティ2045年説
チューリング: チューリングテスト(1950)
ミンスキー&パパート: XOR問題指摘(1969)
サミュエル: 「機械学習」の命名(1959)
ヒントン: AlexNet・ドロップアウト・誤差逆伝播の再発見
カーツワイル: シンギュラリティ2045年説
重要概念（AI史）
フレーム問題: 有限の処理能力しかないAIが現実のあらゆる問題に対処できない限界。「関係ない事柄を無視できない」ことが根本原因（マッカーシー&ヘイズ）
シンボルグラウンディング: 記号と意味の乖離（ハルナッド）
中国語の部屋: 強いAI批判（サール）
強いAI vs 弱いAI: 心・意識の有無
コネクショニズム: ニューラルネットの思想的背景
シンボルグラウンディング: 記号と意味の乖離（ハルナッド）
中国語の部屋: 強いAI批判（サール）
強いAI vs 弱いAI: 心・意識の有無
コネクショニズム: ニューラルネットの思想的背景
AIレベル4分類
Lv1: 単純制御（エアコン・洗濯機）← AIではない
Lv2: 探索・推論（掃除ロボ、将棋）
Lv3: 機械学習（人間が特徴量設計）
Lv4: ディープラーニング（AIが特徴量獲得=表現学習）
Lv2: 探索・推論（掃除ロボ、将棋）
Lv3: 機械学習（人間が特徴量設計）
Lv4: ディープラーニング（AIが特徴量獲得=表現学習）
画像認識ILSVRCの歴史 必出
2012: AlexNet（8層、ReLU・Dropout・GPU）
2014: VGG（3×3フィルタ、16-19層）/ GoogLeNet（Inceptionモジュール）
2015: ResNet（152層、スキップ接続、エラー率3.57% → 人間超え）
2014: VGG（3×3フィルタ、16-19層）/ GoogLeNet（Inceptionモジュール）
2015: ResNet（152層、スキップ接続、エラー率3.57% → 人間超え）
02
機械学習 基礎
学習の3分類 必出
教師あり: 分類（SVM・ロジスティック回帰）、回帰（線形回帰）
教師なし: クラスタリング（k-means）、次元削減（PCA）
強化学習: 試行錯誤・報酬最大化
教師なし: クラスタリング（k-means）、次元削減（PCA）
強化学習: 試行錯誤・報酬最大化
⚠️ k-means（教師なし） vs k-NN（教師あり） 超頻出ひっかけ！
バイアス・バリアンス 必出
過学習: 低バイアス・高バリアンス（複雑すぎ）
学習不足: 高バイアス・低バリアンス（単純すぎ）
対策：正則化、Dropout、早期終了、データ増量
学習不足: 高バイアス・低バリアンス（単純すぎ）
対策：正則化、Dropout、早期終了、データ増量
アンサンブル学習 必出
バギング（並列）: ランダムフォレスト → バリアンス↓
ブースティング（直列）: AdaBoost / GBDT / XGBoost / LightGBM → バイアス↓
スタッキング: 予測値を別モデルへ入力
ソフト投票 vs ハード投票: 確率平均 vs 多数決
ブースティング（直列）: AdaBoost / GBDT / XGBoost / LightGBM → バイアス↓
スタッキング: 予測値を別モデルへ入力
ソフト投票 vs ハード投票: 確率平均 vs 多数決
交差検証・評価 検証
ホールドアウト: 1回だけ分割（データ多い時）
k-分割交差検証: データ少ない時。k回の平均
層化k-分割: 不均衡データ必須
LOOCV: k=データ数。データ極少時
時系列: ランダムシャッフル禁止！時間順で分割
k-分割交差検証: データ少ない時。k回の平均
層化k-分割: 不均衡データ必須
LOOCV: k=データ数。データ極少時
時系列: ランダムシャッフル禁止！時間順で分割
正則化 過学習対策
L1（Lasso）: 絶対値ペナルティ → スパース化（0にする）・特徴選択
L2（Ridge）: 二乗ペナルティ → 重みを小さく抑える（0にはしない）
Elastic Net: L1+L2のハイブリッド
L2（Ridge）: 二乗ペナルティ → 重みを小さく抑える（0にはしない）
Elastic Net: L1+L2のハイブリッド
重要手法まとめ
ロジスティック回帰: 名前に「回帰」→実は分類（シグモイドで確率化）
重回帰分析: 複数の説明変数から1つの数値を予測（例：人口・面積・品目数→売上高予測）
SVM: マージン最大化。カーネルトリック→非線形対応
決定木: ジニ不純度 or エントロピーで分割。過学習→剪定
ナイーブベイズ: 特徴独立仮定。スパムフィルタの定番
k-NN（k-近傍法）: 怠惰学習。距離で多数決
重回帰分析: 複数の説明変数から1つの数値を予測（例：人口・面積・品目数→売上高予測）
SVM: マージン最大化。カーネルトリック→非線形対応
決定木: ジニ不純度 or エントロピーで分割。過学習→剪定
ナイーブベイズ: 特徴独立仮定。スパムフィルタの定番
k-NN（k-近傍法）: 怠惰学習。距離で多数決
不均衡データ対策 重要
アンダーサンプリング: 多数派を間引く（データ損失リスク）
オーバーサンプリング: 少数派をコピー（過学習リスク）
SMOTE: 人工的に似たデータ生成（過学習しにくい）
評価指標は Accuracy禁止→ F値 / AUC を使う
オーバーサンプリング: 少数派をコピー（過学習リスク）
SMOTE: 人工的に似たデータ生成（過学習しにくい）
評価指標は Accuracy禁止→ F値 / AUC を使う
データ処理の重要概念
標準化: 平均0・分散1（mean/std）
正規化: 0〜1に収める（min-max）
One-hot: カテゴリ変数→順序関係なし。ダミー変数化
攪乱要因（交絡因子）: 擬似相関の隠れた変数Z
シンプソンのパラドックス: 全体と部分の傾向逆転
正規化: 0〜1に収める（min-max）
One-hot: カテゴリ変数→順序関係なし。ダミー変数化
攪乱要因（交絡因子）: 擬似相関の隠れた変数Z
シンプソンのパラドックス: 全体と部分の傾向逆転
03
ディープラーニング 基礎
| 活性化関数まとめ 超頻出 | |
|---|---|
| ReLU | 現在の主流。Heの初期値と組み合わせ。勾配消失しにくい |
| Sigmoid | 0〜1。2値分類出力層。Xavierの初期値と組み合わせ |
| Softmax | 多クラス分類出力層。合計=1の確率 |
| Tanh | -1〜1。Xavierと組み合わせ |
| Swish | Googleが探索で発見。f(x)=x・sigmoid(x) |
| 恒等関数 | 回帰問題の出力層 |
| 最適化手法まとめ 頻出 | |
|---|---|
| SGD | 確率的勾配降下法。広義ではミニバッチも含む。狭義は1件ずつ更新→ノイズ大 |
| Momentum | 慣性を利用→振動抑制・加速 |
| AdaGrad | 学習率を自動調整。学習が止まる欠点 |
| RMSprop | AdaGradの改良。過去情報を徐々に忘れる |
| Adam | Momentum + RMSprop。デファクトスタンダード |
損失関数 必出
交差エントロピー: 分類問題（log使用→間違いに大ペナルティ）
MSE（平均二乗誤差）: 回帰問題
MAE: 回帰・外れ値に強い
セット：分類→Softmax+CrossEntropy / 回帰→恒等関数+MSE
MSE（平均二乗誤差）: 回帰問題
MAE: 回帰・外れ値に強い
セット：分類→Softmax+CrossEntropy / 回帰→恒等関数+MSE
正規化手法 安定化
Batch Normalization: 活性化関数の直前に挿入（原論文推奨。実装では直後も多い）
Layer Normalization: NLP・RNNで使用。1サンプル内で正規化
Instance Normalization: 画像スタイル変換で使用
Dropout: 学習時ランダム無効化→推論時は全ニューロン使用+スケーリング
Layer Normalization: NLP・RNNで使用。1サンプル内で正規化
Instance Normalization: 画像スタイル変換で使用
Dropout: 学習時ランダム無効化→推論時は全ニューロン使用+スケーリング
重要定理・性質
万能近似定理: 隠れ層1層+十分なニューロンで任意の連続関数近似可
連鎖律(Chain Rule): 誤差逆伝播の数学的根拠
ノーフリーランチ定理: 万能なアルゴリズムは存在しない
勾配消失 vs 勾配爆発: Sigmoid→消失 / RNN→爆発（勾配クリッピングで対処）
連鎖律(Chain Rule): 誤差逆伝播の数学的根拠
ノーフリーランチ定理: 万能なアルゴリズムは存在しない
勾配消失 vs 勾配爆発: Sigmoid→消失 / RNN→爆発（勾配クリッピングで対処）
ミニバッチ・SGDの種類
バッチ: 全N件→正確・遅い
SGD: 1件→速い・ふらつく
ミニバッチ: n件（32/64等）→現在の標準
エポック÷バッチサイズ=イテレーション数
SGD: 1件→速い・ふらつく
ミニバッチ: n件（32/64等）→現在の標準
エポック÷バッチサイズ=イテレーション数
軽量化3本柱 必出
蒸留(Distillation): 大モデル（教師）→小モデル（生徒）。ソフトターゲット利用
量子化(Quantization): float32→int8等。bit数削減
枝刈り(Pruning): 重みが0に近い接続を削除
「温度パラメータ」が出たら→蒸留！
量子化(Quantization): float32→int8等。bit数削減
枝刈り(Pruning): 重みが0に近い接続を削除
「温度パラメータ」が出たら→蒸留！
過学習対策まとめ
L1/L2正則化 / Dropout / 早期終了 / データ拡張(Augmentation)
Early Stopping: 検証データの誤差が上がり始めたら停止
Label Smoothing: 正解ラベルを0.9等に。自信過剰防止
mixup: 2枚の画像+ラベルを混合して学習
Early Stopping: 検証データの誤差が上がり始めたら停止
Label Smoothing: 正解ラベルを0.9等に。自信過剰防止
mixup: 2枚の画像+ラベルを混合して学習
ハイパーパラメータ vs パラメータ 必出
パラメータ（AIが学習）: 重み(w)・バイアス(b)
ハイパーパラメータ（人間が設定）: 学習率・層数・バッチサイズ・ドロップアウト率 等
探索: グリッドサーチ / ランダムサーチ（高次元で効率的） / ベイズ最適化
ハイパーパラメータ（人間が設定）: 学習率・層数・バッチサイズ・ドロップアウト率 等
探索: グリッドサーチ / ランダムサーチ（高次元で効率的） / ベイズ最適化
04
CNN（画像処理）
出力サイズ公式： (入力 + 2×パディング − カーネル) ÷ ストライド + 1
例：10×10、カーネル3、パディング1、ストライド1 → (10+2-3)/1+1 = 10（サイズ維持）
例：10×10、カーネル3、パディング1、ストライド1 → (10+2-3)/1+1 = 10（サイズ維持）
CNN の特徴
局所受容野 + 重み共有: パラメータを劇的に削減
ストライド: フィルタの移動幅（大→サイズ縮小）
パディング: 周囲に値（通常0）を追加。出力サイズを調整できる（サイズ維持・縮小を制御）
Max Pooling: 領域内最大値。位置ズレに頑健
GAP（Global Average Pooling）: 全結合層の代替→軽量化
ストライド: フィルタの移動幅（大→サイズ縮小）
パディング: 周囲に値（通常0）を追加。出力サイズを調整できる（サイズ維持・縮小を制御）
Max Pooling: 領域内最大値。位置ズレに頑健
GAP（Global Average Pooling）: 全結合層の代替→軽量化
主要CNNモデル系譜 必出
AlexNet(2012): ReLU/Dropout/GPU。ブームの火付け役
VGG(2014): 3×3フィルタの積み重ね
GoogLeNet(2014): Inceptionモジュール（並列フィルタ）
ResNet(2015): スキップ接続（残差学習）→人間超え
DenseNet: 全層をConcatenate（ResNetはAdd）
EfficientNet: 深さ・幅・解像度の同時スケーリング
VGG(2014): 3×3フィルタの積み重ね
GoogLeNet(2014): Inceptionモジュール（並列フィルタ）
ResNet(2015): スキップ接続（残差学習）→人間超え
DenseNet: 全層をConcatenate（ResNetはAdd）
EfficientNet: 深さ・幅・解像度の同時スケーリング
軽量CNNと特殊畳み込み
Depthwise Separable Conv (MobileNet): 空間とチャネルを分離→1/8〜1/9の計算量
Dilated Conv（空洞畳み込み）: 解像度維持したまま受容野拡大（WaveNet等）
1×1 Conv: チャネル数削減（ボトルネック構造）
NAS: AIがアーキテクチャを自動探索
Dilated Conv（空洞畳み込み）: 解像度維持したまま受容野拡大（WaveNet等）
1×1 Conv: チャネル数削減（ボトルネック構造）
NAS: AIがアーキテクチャを自動探索
物体検出・セグメンテーション
IoU = 共通部分 ÷ 和集合（位置精度の指標）
mAP: 全クラスのAPの平均（物体検出の総合指標）
R-CNN系（2段階）: 精度高・低速 → Faster R-CNN=RPN導入
YOLO/SSD（1段階）: 高速。YOLO=グリッド分割
FCN: セマンティックセグメンテーション元祖
U-Net: 医療画像。エンコーダ+デコーダ+スキップ接続
Mask R-CNN: インスタンスセグメンテーション（個体を区別）
mAP: 全クラスのAPの平均（物体検出の総合指標）
R-CNN系（2段階）: 精度高・低速 → Faster R-CNN=RPN導入
YOLO/SSD（1段階）: 高速。YOLO=グリッド分割
FCN: セマンティックセグメンテーション元祖
U-Net: 医療画像。エンコーダ+デコーダ+スキップ接続
Mask R-CNN: インスタンスセグメンテーション（個体を区別）
セグメンテーション分類 必出
セマンティック: クラスごとに塗り分け。個体を区別しない
インスタンス: 個体ごとに区別（人A・人B）
パノプティック: 両方の統合（最高難度）
インスタンス: 個体ごとに区別（人A・人B）
パノプティック: 両方の統合（最高難度）
画像生成・変換
Grad-CAM: CNNの判断根拠をヒートマップで可視化（XAI）
Style Transfer: グラム行列でスタイル変換（Gatys, 2015）
超解像: 低解像→高解像（SRCNN, SRGAN）
Pose Estimation: 関節点検出（OpenPose）
ViT: CNNなし！パッチ分割してTransformerで画像認識
Style Transfer: グラム行列でスタイル変換（Gatys, 2015）
超解像: 低解像→高解像（SRCNN, SRGAN）
Pose Estimation: 関節点検出（OpenPose）
ViT: CNNなし！パッチ分割してTransformerで画像認識
05
RNN / 時系列
LSTM（Long Short-Term Memory）
LSTM
3つのゲート: 忘却・入力・出力
CEC: 勾配消失を防ぐ記憶領域（勾配が1のまま伝播）
忘却ゲート: 過去情報をシグモイドで取捨選択
ゲート: シグモイド関数使用（0-1）
情報変換: Tanh関数使用（-1〜1）
CEC: 勾配消失を防ぐ記憶領域（勾配が1のまま伝播）
忘却ゲート: 過去情報をシグモイドで取捨選択
ゲート: シグモイド関数使用（0-1）
情報変換: Tanh関数使用（-1〜1）
GRU（Gated Recurrent Unit）
GRU
2つのゲート: 更新・リセット
LSTMのゲートを統合→パラメータ少ない・軽量
LSTMとほぼ同等の精度
BiRNN: 過去+未来の双方向文脈
リアルタイム処理には不向き
LSTMのゲートを統合→パラメータ少ない・軽量
LSTMとほぼ同等の精度
BiRNN: 過去+未来の双方向文脈
リアルタイム処理には不向き
Seq2Seq / Encoder-Decoder
Encoder: 入力を固定長ベクトルに圧縮
Decoder: ベクトルから出力を生成
翻訳・対話・要約に使用
弱点: 固定長ボトルネック→長文で情報損失→Attentionで解決！
Decoder: ベクトルから出力を生成
翻訳・対話・要約に使用
弱点: 固定長ボトルネック→長文で情報損失→Attentionで解決！
BPTT / 学習手法
BPTT: 時間方向に展開した誤差逆伝播
教師強制(Teacher Forcing): 前ステップの「正解」を次の入力に
ビームサーチ: 上位K候補を保持しながら探索（貪欲法より良い出力）
3D-CNN: 動画の時空間特徴を3次元で畳み込み
教師強制(Teacher Forcing): 前ステップの「正解」を次の入力に
ビームサーチ: 上位K候補を保持しながら探索（貪欲法より良い出力）
3D-CNN: 動画の時空間特徴を3次元で畳み込み
06
自然言語処理（NLP）
単語表現の進化 必出
Bag-of-Words: 出現頻度ベース。順序なし
One-hot: スパース・語彙数次元
Word2Vec: 「King-Man+Woman=Queen」。分散表現
Skip-gram: 中心語→周辺語（精度高）
CBOW: 周辺語→中心語（速い）
FastText: サブワード単位→未知語対応
GloVe: 共起行列から学習
One-hot: スパース・語彙数次元
Word2Vec: 「King-Man+Woman=Queen」。分散表現
Skip-gram: 中心語→周辺語（精度高）
CBOW: 周辺語→中心語（速い）
FastText: サブワード単位→未知語対応
GloVe: 共起行列から学習
Transformer 必出
論文「Attention Is All You Need」(2017, Google)
Self-Attention: 全単語を同時処理→並列化可能
Multi-Head Attention: 複数のAttentionを並列化
Q/K/V: Query・Key・Value（辞書検索のイメージ）
Positional Encoding: 順序情報を付加（並列化で順序が失われるため）
RNNより優れる点: 並列処理・長期依存の扱い
Self-Attention: 全単語を同時処理→並列化可能
Multi-Head Attention: 複数のAttentionを並列化
Q/K/V: Query・Key・Value（辞書検索のイメージ）
Positional Encoding: 順序情報を付加（並列化で順序が失われるため）
RNNより優れる点: 並列処理・長期依存の扱い
BERT vs GPT 必出
BERT（Encoder）: 双方向・穴埋め（MLM）+ 次文予測（NSP）→理解・分類得意
GPT（Decoder）: 片方向・次単語予測→テキスト生成得意
T5: 全タスクを「テキスト→テキスト」に統一
ELMo: 文脈依存の分散表現。BiLSTM使用
[CLS]トークン: BERT文章分類の文全体表現
GPT（Decoder）: 片方向・次単語予測→テキスト生成得意
T5: 全タスクを「テキスト→テキスト」に統一
ELMo: 文脈依存の分散表現。BiLSTM使用
[CLS]トークン: BERT文章分類の文全体表現
LLM・生成AI関連用語
スケーリング則: データ量・モデル規模・計算量を増やすほど性能向上する経験則。LLM大規模化の理論的根拠
Zero-shot Learning: 訓練データに存在しないクラスを事前学習なしに識別する手法（プロンプトの例数の話とは別概念）
Few-shot Prompting: プロンプトに少数の例を含めてタスクを解く（重み更新なし。in-context learning）
RAG: 外部DB参照で精度向上（ハルシネーション対策）
ハルシネーション: もっともらしい嘘。生成AI最大のリスク
事前学習: 大量テキストで次単語予測（自己教師あり学習）
RLHF: 人間フィードバックで強化学習（アライメント）
Zero-shot Learning: 訓練データに存在しないクラスを事前学習なしに識別する手法（プロンプトの例数の話とは別概念）
Few-shot Prompting: プロンプトに少数の例を含めてタスクを解く（重み更新なし。in-context learning）
RAG: 外部DB参照で精度向上（ハルシネーション対策）
ハルシネーション: もっともらしい嘘。生成AI最大のリスク
事前学習: 大量テキストで次単語予測（自己教師あり学習）
RLHF: 人間フィードバックで強化学習（アライメント）
NLP評価指標 覚え方
BLEU: 翻訳評価（n-gram一致率）。大きいほど良い
ROUGE: 要約評価（再現率ベース）
WER: 音声認識の単語誤り率。小さいほど良い
Perplexity: 言語モデルの「迷い」。小さいほど良い
GLUE: NLPの総合ベンチマーク（9タスク）
SQuAD: 質問応答（QA）専用データセット
ROUGE: 要約評価（再現率ベース）
WER: 音声認識の単語誤り率。小さいほど良い
Perplexity: 言語モデルの「迷い」。小さいほど良い
GLUE: NLPの総合ベンチマーク（9タスク）
SQuAD: 質問応答（QA）専用データセット
テキスト前処理・データ拡張
BPE / SentencePiece: サブワード分割→未知語対応（BERT/GPTのトークナイザ）
TF-IDF: 単語の重要度指標（文書内頻度×逆文書頻度）
Paraphrasing（言い換え）: 単語を同義語・言い換えで変換するデータ拡張手法（≠シャッフル・削除・スペルエラー追加）
NER（固有表現抽出）: 人名・地名・組織名を抽出
係り受け解析: 単語間の修飾関係
TF-IDF: 単語の重要度指標（文書内頻度×逆文書頻度）
Paraphrasing（言い換え）: 単語を同義語・言い換えで変換するデータ拡張手法（≠シャッフル・削除・スペルエラー追加）
NER（固有表現抽出）: 人名・地名・組織名を抽出
係り受け解析: 単語間の修飾関係
07
生成モデル
GAN（敵対的生成ネットワーク） 必出
Generator: ノイズ→偽画像（識別器を騙したい）
Discriminator: 本物か偽物かを判定
モード崩壊: 同じ画像しか生成できなくなる
DCGAN: CNNでGANを安定化（バッチ正規化・LeakyReLU）
cGAN: ラベル指定で生成（条件付き）
CycleGAN: ペア画像なしでスタイル変換（馬→シマウマ）
Pix2Pix: ペア画像ありでの変換
StyleGAN: 高解像度顔画像生成
Discriminator: 本物か偽物かを判定
モード崩壊: 同じ画像しか生成できなくなる
DCGAN: CNNでGANを安定化（バッチ正規化・LeakyReLU）
cGAN: ラベル指定で生成（条件付き）
CycleGAN: ペア画像なしでスタイル変換（馬→シマウマ）
Pix2Pix: ペア画像ありでの変換
StyleGAN: 高解像度顔画像生成
VAE（変分オートエンコーダ）
通常AEとの違い：潜在変数を確率分布（平均+分散）でエンコード
損失関数: 再構成誤差 + KLダイバージェンス（正則化項）
Reparameterization Trick: サンプリングを微分可能にする工夫
GAN比: ぼやけやすいが学習安定
オートエンコーダ応用: 異常検知（再構成誤差が閾値超え→異常）
損失関数: 再構成誤差 + KLダイバージェンス（正則化項）
Reparameterization Trick: サンプリングを微分可能にする工夫
GAN比: ぼやけやすいが学習安定
オートエンコーダ応用: 異常検知（再構成誤差が閾値超え→異常）
拡散モデル（Diffusion Model） 必出
原理: 画像にノイズを段階的に加え、逆過程（ノイズ除去）を学習
代表例: Stable Diffusion / DALL-E / Midjourney
GANに代わる現在の主流生成モデル
学習安定・多様性高い・品質高い
CLIP: 画像×テキストの対照学習→Zero-shot分類
代表例: Stable Diffusion / DALL-E / Midjourney
GANに代わる現在の主流生成モデル
学習安定・多様性高い・品質高い
CLIP: 画像×テキストの対照学習→Zero-shot分類
音声・マルチモーダル
WaveNet: Dilated Convで音声波形を直接生成（DeepMind）
Tacotron: テキスト→音声合成（End-to-End）
MFCC: 音声の特徴量（メル周波数ケプストラム係数）
CTC: 音声認識の損失関数（長さが違う系列に対応）
Image Captioning: CNN（Encoder）+RNN（Decoder）
VQA: 画像+質問→回答（マルチモーダル）
Tacotron: テキスト→音声合成（End-to-End）
MFCC: 音声の特徴量（メル周波数ケプストラム係数）
CTC: 音声認識の損失関数（長さが違う系列に対応）
Image Captioning: CNN（Encoder）+RNN（Decoder）
VQA: 画像+質問→回答（マルチモーダル）
08
強化学習
強化学習の基本概念 必出
エージェント: 学習する主体
環境: エージェントが相互作用する世界
状態(S): 現在の状況
行動(A): エージェントが選択できること
報酬(R): 行動の評価
方策(Policy π): 行動を決めるルール（≠価値関数）
価値関数: 将来の期待報酬を評価
マルコフ性: 未来は現在の状態だけに依存（過去不要）
環境: エージェントが相互作用する世界
状態(S): 現在の状況
行動(A): エージェントが選択できること
報酬(R): 行動の評価
方策(Policy π): 行動を決めるルール（≠価値関数）
価値関数: 将来の期待報酬を評価
マルコフ性: 未来は現在の状態だけに依存（過去不要）
主要アルゴリズム
Q学習: 行動価値関数Q(s,a)を学習
DQN: Q学習+CNN。Experience Replay + Target Network
Actor-Critic: 方策(Actor)+価値関数(Critic)を同時学習
A3C: 並列分散型Actor-Critic
AlphaGo: Policy/Value Network + モンテカルロ木探索(MCTS)
AlphaZero: 人間棋譜なし+自己対局→囲碁・将棋・チェス全対応
報酬シェイピング: 中間報酬を設計（スパース報酬問題の解決）
DQN: Q学習+CNN。Experience Replay + Target Network
Actor-Critic: 方策(Actor)+価値関数(Critic)を同時学習
A3C: 並列分散型Actor-Critic
AlphaGo: Policy/Value Network + モンテカルロ木探索(MCTS)
AlphaZero: 人間棋譜なし+自己対局→囲碁・将棋・チェス全対応
報酬シェイピング: 中間報酬を設計（スパース報酬問題の解決）
探索手法（AI史と連動）
Mini-Max法: 相手が最善手→自分の利益最大化
αβ法: Mini-Maxの枝刈り（結果は同じ・高速化）
MCTS: ランダムシミュレーション→勝率推定（囲碁で有効）
STRIPS: 前提条件+行動+結果（Shakeに使用）
遺伝的アルゴリズム: 選択+交叉+突然変異
Sim2Real: シミュレータで学習→実機に転用
αβ法: Mini-Maxの枝刈り（結果は同じ・高速化）
MCTS: ランダムシミュレーション→勝率推定（囲碁で有効）
STRIPS: 前提条件+行動+結果（Shakeに使用）
遺伝的アルゴリズム: 選択+交叉+突然変異
Sim2Real: シミュレータで学習→実機に転用
09
評価指標・統計
| 混同行列の4分類 超頻出 | |
|---|---|
| TP（真陽性） | 正解=陽性, 予測=陽性 ✓ |
| TN（真陰性） | 正解=陰性, 予測=陰性 ✓ |
| FP（偽陽性） | 第1種の過誤。健康→病気と誤判定（誤検知） |
| FN（偽陰性） | 第2種の過誤。病気→健康と誤判定（見逃し） |
| 主要評価指標 | |
|---|---|
| Accuracy | 全正解率。不均衡データには使えない |
| Precision | TP/(TP+FP)。陽性予測の正確さ（誤検知を減らしたい） |
| Recall | TP/(TP+FN)。見逃しを減らしたい時（がん検診等） |
| F値 | Precision×Recallの調和平均。両方高くないと上がらない |
| AUC | ROC曲線の下面積。0.5=ランダム、1=完璧 |
| R²（決定係数） | 回帰の評価。最大1（高いほど良い） |
ROC曲線
横軸：FPR（偽陽性率）、縦軸：TPR（真陽性率=Recall）
閾値を動かしたときの性能変化を可視化
左上に近いほど優秀（AUCが1に近い）
PR曲線: 不均衡データにはROCよりPR曲線が適切
閾値を動かしたときの性能変化を可視化
左上に近いほど優秀（AUCが1に近い）
PR曲線: 不均衡データにはROCよりPR曲線が適切
統計の基本
正規分布 → 標準化(Z変換) → 標準正規分布（平均0・分散1）
不偏分散: n-1で割る→母分散の不偏推定量
ベイズの定理: P(A|B) = P(B|A)×P(A)/P(B)
最尤推定: データが得られる確率を最大化するパラメータを推定
KLダイバージェンス: 分布間の距離。非対称（P→QとQ→Pは一致しない）。VAEの正則化項
不偏分散: n-1で割る→母分散の不偏推定量
ベイズの定理: P(A|B) = P(B|A)×P(A)/P(B)
最尤推定: データが得られる確率を最大化するパラメータを推定
KLダイバージェンス: 分布間の距離。非対称（P→QとQ→Pは一致しない）。VAEの正則化項
距離指標まとめ
ユークリッド距離（L2）: 直線距離。Ridge正則化と対応
マンハッタン距離（L1）: 絶対値の和。Lasso正則化と対応
マハラノビス距離: 分散・相関を考慮→異常検知
コサイン類似度: 方向（角度）の近さ→テキスト類似度
内積=0: 直交（関係なし）
マンハッタン距離（L1）: 絶対値の和。Lasso正則化と対応
マハラノビス距離: 分散・相関を考慮→異常検知
コサイン類似度: 方向（角度）の近さ→テキスト類似度
内積=0: 直交（関係なし）
データ分析の注意点
データリーク: テストデータの情報が学習に混入→精度が実態より高く見える
GIGO: Garbage In, Garbage Out（データ品質が全て）
過学習の原因: データ少・モデル複雑・学習過多
A/Bテスト: 本番環境での比較実験（オフライン評価の限界を補う）
GIGO: Garbage In, Garbage Out（データ品質が全て）
過学習の原因: データ少・モデル複雑・学習過多
A/Bテスト: 本番環境での比較実験（オフライン評価の限界を補う）
10
法律・知的財産
⚠️ 著作権法のポイント： 学習（30条の4）は原則OK（営利でも）。生成物は人間の創作的寄与があれば著作権発生。
著作権法（AI関連） 必出
第30条の4: 情報解析（AI学習）目的なら営利・非営利問わず許諾不要
例外：著作権者の利益を不当に害する場合（市販データセットのコピー等）
生成段階の侵害要件: 類似性 + 依拠性
AI生成物の著作権: 原則なし。人間の創作的寄与があれば発生
データの所有権: データ（無体物）に民法上の所有権は発生しない
例外：著作権者の利益を不当に害する場合（市販データセットのコピー等）
生成段階の侵害要件: 類似性 + 依拠性
AI生成物の著作権: 原則なし。人間の創作的寄与があれば発生
データの所有権: データ（無体物）に民法上の所有権は発生しない
個人情報保護法 必出
要配慮個人情報: 人種・病歴・犯罪歴等。取得に本人同意必須
個人情報の該当判断: 単独では識別不可でも他の情報と照合して識別可能なら個人情報に該当（例：顧客IDで突合できる通話録音）
公表済み情報: 新聞・ネット等で公表されていても個人情報保護法の対象となり得る
匿名加工情報: 復元不可。第三者提供OK
仮名加工情報（2020年新設）: 社内分析用。第三者提供NG
GDPR: EUの厳格な個人情報保護法
k-匿名化: 同じ属性データがk件以上存在するように加工
個人情報の該当判断: 単独では識別不可でも他の情報と照合して識別可能なら個人情報に該当（例：顧客IDで突合できる通話録音）
公表済み情報: 新聞・ネット等で公表されていても個人情報保護法の対象となり得る
匿名加工情報: 復元不可。第三者提供OK
仮名加工情報（2020年新設）: 社内分析用。第三者提供NG
GDPR: EUの厳格な個人情報保護法
k-匿名化: 同じ属性データがk件以上存在するように加工
不正競争防止法・特許法
営業秘密の3要件: 秘密管理性 + 有用性 + 非公知性
限定提供データ（2018年新設）: 会員間共有データの保護。秘密管理性不要
特許の3要件: 新規性 + 進歩性 + 産業上の利用可能性
学習済みモデルの特許: プログラムに準じ「物の発明」として取得可能
AI発明者: 現行法では人間のみ（AI自身は不可）
限定提供データ（2018年新設）: 会員間共有データの保護。秘密管理性不要
特許の3要件: 新規性 + 進歩性 + 産業上の利用可能性
学習済みモデルの特許: プログラムに準じ「物の発明」として取得可能
AI発明者: 現行法では人間のみ（AI自身は不可）
契約形態（AI開発） 必出
準委任契約: AI開発・PoC段階に推奨。完成責任なし。善管注意義務
請負契約: 完成責任あり。システム実装段階向き
秘密保持契約(NDA): 開発の最終段階ではなく、開発の最初期（検討段階）に締結するのが正しい
PoC（概念実証）: 本番前の実現可能性検証
著作権の原則: 特約なし→制作したベンダーに帰属
請負契約: 完成責任あり。システム実装段階向き
秘密保持契約(NDA): 開発の最終段階ではなく、開発の最初期（検討段階）に締結するのが正しい
PoC（概念実証）: 本番前の実現可能性検証
著作権の原則: 特約なし→制作したベンダーに帰属
11
AI倫理・社会
主要原則・ガイドライン 必出
人間中心のAI社会原則（内閣府）: 7原則。公平性・説明責任・透明性（FAT）等
OECD AI原則（2019）: 初の国際合意。「信頼できるAI」がキーワード
広島AIプロセス（2023 G7）: 生成AI向け国際ルール
EU AI Act: リスクベース規制（禁止/高リスク/限定/最小）
Society 5.0: サイバー×フィジカル融合の第5の社会（日本の国家ビジョン）
OECD AI原則（2019）: 初の国際合意。「信頼できるAI」がキーワード
広島AIプロセス（2023 G7）: 生成AI向け国際ルール
EU AI Act: リスクベース規制（禁止/高リスク/限定/最小）
Society 5.0: サイバー×フィジカル融合の第5の社会（日本の国家ビジョン）
AIリスク・倫理問題
ハルシネーション: 生成AIのもっともらしい嘘
ブラックボックス問題: 判断根拠が不明→透明性・説明責任の欠如
顔認識技術のバイアス: 肌の色が濃い人・女性で認識精度低下が指摘される→原因は学習データセットの偏り
IBM: 2020年に警察への汎用顔認識技術提供を停止表明
米国の顔認識規制: 一部都市では民間・公的機関（警察含む）双方を禁止対象とする条例あり
Tay（テイ）: Twitterで差別発言を学習→停止した例
フィルターバブル: AIが好みの情報のみ提示→思想の偏り
LAWS: 自律型致死兵器。国際規制議論中
ブラックボックス問題: 判断根拠が不明→透明性・説明責任の欠如
顔認識技術のバイアス: 肌の色が濃い人・女性で認識精度低下が指摘される→原因は学習データセットの偏り
IBM: 2020年に警察への汎用顔認識技術提供を停止表明
米国の顔認識規制: 一部都市では民間・公的機関（警察含む）双方を禁止対象とする条例あり
Tay（テイ）: Twitterで差別発言を学習→停止した例
フィルターバブル: AIが好みの情報のみ提示→思想の偏り
LAWS: 自律型致死兵器。国際規制議論中
XAI（説明可能AI） 必出
Grad-CAM: CNN判断根拠のヒートマップ可視化（画像向け）
LIME: 入力を変化させてモデル非依存で局所説明
SHAP: ゲーム理論に基づく各特徴量の貢献度算出
Permutation Importance: 特徴量をシャッフルして精度低下を測定
FAT: Fairness・Accountability・Transparency（AI倫理の3本柱）
LIME: 入力を変化させてモデル非依存で局所説明
SHAP: ゲーム理論に基づく各特徴量の貢献度算出
Permutation Importance: 特徴量をシャッフルして精度低下を測定
FAT: Fairness・Accountability・Transparency（AI倫理の3本柱）
自動運転レベル 必出
Lv2: 部分自動（ハンズオフ可）。常時監視義務あり
Lv3: 条件付自動（アイズオフ可）。緊急時は人間が交代→作動状態記録装置義務化
Lv4: 高度自動（特定エリア内で緊急もシステム対応）
Lv5: 完全自動
モラル・マシン: 自動運転のトロッコ問題実験（MIT）
Lv3: 条件付自動（アイズオフ可）。緊急時は人間が交代→作動状態記録装置義務化
Lv4: 高度自動（特定エリア内で緊急もシステム対応）
Lv5: 完全自動
モラル・マシン: 自動運転のトロッコ問題実験（MIT）
その他重要概念
ELSI: Ethical, Legal, Social Issues（先端技術の倫理・法・社会的課題）
AIサステナビリティ: モデル巨大化→学習電力増大が問題。データを多く学習させるほど電力消費は増加（「少ない方が低い」は誤り）
オートメーション・バイアス: AIを過信して思考停止
Human-in-the-Loop(HITL): AIプロセスに人間が介在し続ける
プライバシー・バイ・デザイン: 設計段階からプライバシー保護を組み込む
ディープフェイク: GANによる偽動画・偽画像
リバース・チューリングテスト: CAPTCHAのこと
AIサステナビリティ: モデル巨大化→学習電力増大が問題。データを多く学習させるほど電力消費は増加（「少ない方が低い」は誤り）
オートメーション・バイアス: AIを過信して思考停止
Human-in-the-Loop(HITL): AIプロセスに人間が介在し続ける
プライバシー・バイ・デザイン: 設計段階からプライバシー保護を組み込む
ディープフェイク: GANによる偽動画・偽画像
リバース・チューリングテスト: CAPTCHAのこと
12
ビジネス・産業応用
MLOps 必出
概念: ML + Operations。DevOpsをAIに適用
CT（継続的トレーニング）: データが変わったら自動再学習←MLOps特有
CI/CD: 継続的インテグレーション/デリバリー
モデルドリフト: 時間経過でデータの傾向が変化→精度低下
概念ドリフト vs データドリフト: 正解の定義変化 vs データの分布変化
CT（継続的トレーニング）: データが変わったら自動再学習←MLOps特有
CI/CD: 継続的インテグレーション/デリバリー
モデルドリフト: 時間経過でデータの傾向が変化→精度低下
概念ドリフト vs データドリフト: 正解の定義変化 vs データの分布変化
AI開発プロセス 実務
CRISP-DM（6フェーズ）: ビジネス理解→データ理解→データ準備→モデリング→評価→展開
アジャイル開発: AI開発と相性が良い（試行錯誤前提）
PoC→モデル構築→システム実装→運用 の段階別契約
AutoML: モデル作成プロセスの自動化（Google AutoML等）
アジャイル開発: AI開発と相性が良い（試行錯誤前提）
PoC→モデル構築→システム実装→運用 の段階別契約
AutoML: モデル作成プロセスの自動化（Google AutoML等）
ビジネス応用キーワード
デジタルツイン: 現実をサイバー空間に双子として再現→シミュレーション
ビジネストランスレーター: 技術とビジネスの橋渡し役
RPA: 定型業務の自動化
IPA（Intelligent Process Automation）: RPA + AI
フォールバック: AIが失敗した時の代替プラン（必ず設計すること）
ビジネストランスレーター: 技術とビジネスの橋渡し役
RPA: 定型業務の自動化
IPA（Intelligent Process Automation）: RPA + AI
フォールバック: AIが失敗した時の代替プラン（必ず設計すること）
レコメンドシステム
協調フィルタリング: ユーザーの行動履歴ベース。コールドスタート問題あり（新規ユーザー・新規商品に対応不可）
コンテンツベースフィルタリング: 商品属性ベース。新規ユーザー・新規商品でも推薦可→リリース直後に有効
ハイブリッド型: 現在の主流
セレンディピティ: 協調フィルタリングの長所（意外な出会い）
バンディット問題: 探索と利用のトレードオフ
コンテンツベースフィルタリング: 商品属性ベース。新規ユーザー・新規商品でも推薦可→リリース直後に有効
ハイブリッド型: 現在の主流
セレンディピティ: 協調フィルタリングの長所（意外な出会い）
バンディット問題: 探索と利用のトレードオフ
ハードウェア
GPU: 数千コアで並列計算→DLに最適。GPGPU（汎用GPU計算）
TPU: Googleのテンソル計算専用ASIC
FPGA: 製造後に回路を書き換え可能。エッジAIに有効
エッジAI: デバイス内で推論→低遅延・プライバシー保護・管理困難
クラウド vs エッジ: 管理しやすい vs 速い・プライバシー強い
TPU: Googleのテンソル計算専用ASIC
FPGA: 製造後に回路を書き換え可能。エッジAIに有効
エッジAI: デバイス内で推論→低遅延・プライバシー保護・管理困難
クラウド vs エッジ: 管理しやすい vs 速い・プライバシー強い
GNN・その他新技術
GNN（グラフニューラルネット）: SNS・分子構造などのグラフ構造データ
NeRF: 2D写真→自由視点3D生成（2020）
AlphaFold: タンパク質の3次元構造予測→創薬革命
連合学習（Federated Learning）: データを集めずにデバイスで学習→プライバシー保護
セマンティック検索（ベクトル検索）: 意味で検索（文字一致不要）
NeRF: 2D写真→自由視点3D生成（2020）
AlphaFold: タンパク質の3次元構造予測→創薬革命
連合学習（Federated Learning）: データを集めずにデバイスで学習→プライバシー保護
セマンティック検索（ベクトル検索）: 意味で検索（文字一致不要）
G検定 重要点まとめ — Generated for JDLA Deep Learning for GENERAL