LLM

CS336

Basics Tokenization Byte-Pair Encoding (BPE) 根据模型参数和硬件能力初略估计耗时 float32 float16 bfloat16 fp8(2022 E4M3和E5M2) fp4(2025) 混合精度: bf16(参数，激活，梯度) + fp32(优化状态) AMP …