☆自然語言處理任務分類與表示方式

☆詞嵌入與文字向量表示方法

☆N 元語言模型與神經語言模型架構

☆NLP 評估指標與效能測量方法

☆基礎工具：NLTK、LTP、tiktoken、PyTorch

☆卷積、循環、Transformer 等神經網路模型

☆靜態與動態預訓練詞向量模型

☆Decoder、Encoder、Encoder-Decoder 預訓練架構

☆BERT、GPT、T5 等主流語言模型解析

☆微調技術：指令資料、序列任務、生成任務

☆大語言模型訓練策略與位置編碼機制

☆提示工程、多工訓練與強化學習調配方法

☆模型壓縮、量化與高效部署技術

☆多語言、多模態與程式預訓練模型實作

. 本書共分三部分、十三章，系統介紹自然語言處理與預訓練語言模型的技術發展與應用。

第一部分為基礎知識，涵蓋 NLP 任務分類、詞嵌入表示法、模型評估指標、NLTK 與 LTP 工具、PyTorch 使用方法與常見資料集，並介紹 MLP、CNN、RNN 與 Transformer 模型及其實作。

第二部分為預訓練語言模型，涵蓋 N-gram、神經語言模型與語言模型評估方式，靜態與動態詞向量模型如 Word2Vec 與 ELMo，以及 BERT、GPT、T5 等主流模型的結構與微調策略。

第三部分為大語言模型，從 LLaMA、Mixtral 架構到 FlashAttention、RoPE、LoRA、RLHF 等關鍵技術，再到指令微調、中文調配、模型壓縮與高效部署等流程，並包含多語言、程式語言與多模態模型的延伸應用，最後以 DeepSeek 系列為例總結最新進展。