Qwen2.5-3B 面试助手 · SFT + DPO 微调对比

同一道面试题，在 Qwen2.5-3B-Instruct 基座上依次经过 QLoRA SFT 与 DPO 对齐后的回答对比（4-bit 加载，贪心解码）。