Q4_K_M是一种针对大语言模型的4-bit混合量化策略，通过分组量化（K-Quantization）和动态校准技术，显著降低显存占用70%（如70B模型从140GB降至42GB），同时保持推理精度损失在1%以内。该技术适用于边缘设备、低成本部署和大规模推理场景，已成为开源社区的事实标准。

莱斯大学提出的DFloat11无损压缩框架通过动态长度浮点编码技术，将大型语言模型（LLM）压缩至70%大小，推理速度提升最高39倍，且完全保留原始模型精度。该技术支持单节点运行405B参数大模型，显存占用降低70%，上下文长度延长5倍以上，显著降低硬件成本与部署门槛。