无免费午餐定理

Dr_Zhang

无免费午餐定理（No Free Lunch, NFL）：如果对“所有可能的目标函数/数据分布”平均，任何两个学习算法（或优化算法）的期望性能是相同的。

NFL 定理往往在“对所有可能函数等概率”的假设下成立。在如此宽泛的假设空间中，一个算法在部分函数上擅长、在另一些函数上就会吃亏，平均被“拉平”。

没有“通吃”的算法。想在特定任务上优于平均，必须引入与该任务匹配的先验假设或归纳偏置（inductive bias）。模型选择和特征工程的关键在于“贴合数据分布与任务结构”。