自然語言處理被譽為「人工智慧皇冠上的明珠」。 深度學習等技術的引入為自然語言處理技術帶來了一場革命，尤其是近年來出現的基於預訓練模型的方法，已成為研究自然語言處理的新範式。 本書在介紹自然語言處理、深度學習等基本概念的基礎上，重點介紹新的基於預訓練模型的自然語言處理技術。 本書包括基礎知識、預訓練詞向量和預訓練模型三大部分：基礎知識部分介紹自然語言處理和深度學習的基礎知識和基本工具; 預訓練詞向量部分介紹靜態詞向量和動態詞向量的預訓練方法及應用; 預訓練模型部分介紹幾種典型的預訓練語言模型及應用，以及預訓練模型的進展。 除了理論知識，本書還有針對性地結合具體案例提供相應的PyTorch 代碼實現，不僅能讓讀者對理論有更深刻的理解，還能快速地實現自然語言處理模型，達到理論和實踐的統一。 本書既適合具有一定機器學習基礎的高等院校學生、研究機構的研究者，以及希望深入研究自然語言處理演算法的計算機工程師閱讀，也適合對人工智慧、深度學習和自然語言處理感興趣的學生和希望進入人工智慧應用領域的研究者參考。