Updated Sep/16/2023 by

Large Language Model

大規模言語モデル入門

大規模言語モデル入門 山田 育矢 (監修), 鈴木 正敏 (著), 山田 康輔 (著), 李凌寒 (著) 出版社 : 技術評論社 (2023/7/29) ISBN-10 : 4297136333 ISBN-13 : 978-4297136338 本の情報: Amazon Japan   (Amazonの説明より抜粋) 大規模言語モデルの理論と実装の両方を解説した入門書。大規模言語モデルの技術や自然言語処理の課題について理解し、実際の問題に対処できるようになることを目指す。 本の情報: 技術評論社 サポートページ(ソースコード、正誤表含む): github 学内のみアクセス可: ソースコード (zipファイル   展開) 個人メモ(nitta)

前半では、word2vec から ChatGPT に至るまでの技術的な変遷を系統立てて理解する。

後半では、代表的な自然言語処理タスクについて transformers などを使って手を動かしながら、 自然言語処理モデルの開発を学ぶ。

第1章　はじめに

• 自習メモ: llm_book2_ch01   [colab self]   ipynb   html   pdf
• 1-introduction   [colab org]   ipynb   html

第2章　Transformer

• 自習メモ: llm_book2_ch02   [colab self]   ipynb   html   pdf
• 2-2-transformer-position-encoding   [colab org]   ipynb   html

第3章　大規模言語モデルの基礎

• 自習メモ: llm_book2_ch03   [colab self]   ipynb   html   pdf
• 3-zero-shot-inference   [colab org]   ipynb   html
• 3-6-tokenization   [colab org]   ipynb   html

第4章　大規模言語モデルの進展

• 自習メモ: llm_book2_ch04   [colab self]   ipynb   html

第5章　大規模言語モデルのファインチューニング

5.1: 日本語ベンチマーク:JGLUE

• 自習メモ: llm_book2_ch05_01   [colab self]   ipynb   html

5.2: 感情分析モデルの実装

• 自習メモ: llm_book2_ch05_02   [colab self]   ipynb   html
• 5-2-sentiment-analysis-finetuning   [colab org]   ipynb   html    ← MARC-ja Load Error
• 5-2-sentiment-analysis-finetuning-wrime   [colab org]   ipynb   html

5.3: 感情分析モデルのエラー分析

• 自習メモ: llm_book2_ch05_03   [colab self]   ipynb   html
• 5-3-sentiment-analysis-analysis   [colab org]   ipynb   html    ← MARC-ja Load Error
• 5-3-sentiment-analysis-analysis-wrime   [colab org]   ipynb   html

5.4: 自然言語推論・意味的類似度計算・多肢選択式質問応答モデルの実装

• 自習メモ llm_book2_ch05_04_01a   [colab self]   ipynb   html
• 自習メモ llm_book2_ch05_04_01b   [colab self]   ipynb   html
• 5-4-nli-finetuning   [colab org]   ipynb   html
• 5-4-nli-analysis   [colab org]   ipynb   html

• 自習メモ llm_book2_ch05_04_02a   [colab self]   ipynb   html
• 自習メモ llm_book2_ch05_04_02b   [colab self]   ipynb   html
• 5-4-2: 意味的類似度計算: 5-4-sts-finetuning   [colab org]   ipynb   html
• 5-4-2: 意味的類似度計算: 5-4-sts-analysis   [colab org]   ipynb   html

• 自習メモ llm_book2_ch05_04_03a   [colab self]   ipynb   html
• 自習メモ llm_book2_ch05_04_03b   [colab self]   ipynb   html
• 5-4-multiple-choice-qa-finetuning   [colab org]   ipynb   html
• 5-4-multiple-choice-qa-analysis   [colab org]   ipynb   html

5.5: メモリ効率の良いファインチューニング

• 自習メモ llm_book2_ch05_05   [colab self]   ipynb   html
• 5-5-sentiment-analysis-finetuning-LoRA   [colab org]   ipynb   html    ← MARC-ja Load Error
• 5-5-sentiment-analysis-finetuning-LoRA-wrime   [colab org]   ipynb   html

5.6: 日本語大規模言語モデルの比較

• 自習メモ llm_book2_ch05_06   [colab self]   ipynb   html

第6章　固有表現認識

• 自習メモ llm_book2_ch06   [colab self]   ipynb   html
• 6-named-entity-recognition   [colab org]   ipynb   html

第7章　要約生成

• 自習メモ llm_book2_ch07   [colab self]   ipynb   html
• 7-summarization-generation   [colab org]   ipynb   html

第8章　文埋め込み

• 自習メモ llm_book2_ch08   [colab self]   ipynb   html
• 自習メモ llm_book2_ch08_04   [colab self]   ipynb   html
• 自習メモ faiss   [colab self]   ipynb   html
• 8-3-simcse-training   [colab org]   ipynb   html
• 8-4-simcse-faiss   [colab org]   ipynb   html

第9章　質問応答

• 自習メモ llm_book2_ch09   [colab self]   ipynb   html
• 自習メモ llm_book2_ch09_04   [colab self]   ipynb   html
• 自習メモ llm_book2_ch09_04_04   [colab self]   ipynb   html
• 自習メモ llm_book2_ch09_05   [colab self]   ipynb   html
• 9-3-quiz-chatgpt   [colab org]   ipynb   html    ← ChatGPT API Key 必要
• 9-4-3-bpr-training   [colab org]   ipynb   html    ← Colab では A100 を使うこと(それ以外だと CUDA out of memory エラーで途中停止する)
• 9-4-4-bpr-embedding   [colab org]   ipynb   html    ← Colab では A100 を使うこと(それ以外だと CUDA out of memory エラーで途中停止する)
• 9-5-quiz-chatgpt-plus-bpr   [colab org]   ipynb   html    ← ChatGPT API Key 必要

関連情報

• Python プログラミング入門@東京大学
• 第9章クイズ問題 (abc/EQIDEN実行委員会)