近期，HuggingFace 發布的超過 200 頁的超長技術博客，系統性地分享訓練先進 LLM 的端到端經驗。
博客的重點是 LLM 開發過程中「混亂的現實」。它坦誠地記錄了哪些方法有效、哪些會失敗，以及如何應對實際工程中遇到的陷阱。內容基于團隊的實際項目經驗，特別是他們近期使用 384 塊 H100 GPU 訓練 3B 參數模型 SmolLM3 的過程。
博客中提供了深入的技術細節、代碼片段和調試技巧，對于有興趣親自構建 LLM 的讀者來說非常有指導意義。
-
博客地址：
訓練羅盤：Why→What→How
這一部分是在投入技術細節（如何訓練）之前，提出了一個關鍵問題：「你是否真的需要訓練這個模型」？
鑒于（如 Qwen、Gemma、Llama 等）世界級開源模型層出不窮，大多數人可能并不需要從頭開始訓練自己的模型。
