物理信息机器学习 · 损失函数设计

核心导读

为什么损失函数如此关键？

损失函数定义了模型学习的"方向"。通过巧妙设计，可以把已知的物理规律直接嵌入训练过程，带来三大好处：

① 更强的泛化能力 —— 物理约束帮助模型在未见区域同样表现出色

② 更快的学习效率 —— 减少对海量数据的依赖，提高样本效率

③ 物理一致性 —— 模型预测天然满足守恒定律与方程约束

方法一

物理信息神经网络（PINNs）

这是最直观也最广泛使用的方法。由 Raissi、Perdiaris 和 Karniadakis 等人提出，核心思想极其简洁：在普通数据拟合损失之外，额外添加一项"物理方程残差损失"。

以流体为例：
速度场 U, V, W（x, y, z 方向）+ 压力场 P
应满足：纳维-斯托克斯方程（N-S方程）

由于深度学习框架支持自动微分，我们几乎零成本得到任意输出对输入的偏导数，从而构建出任一偏微分方程的残差项。

      核心机制：除"模型预测 vs 真实数据"的损失外，再加一项 "方程残差范数" —— 不满足方程则误差增大，迫使模型的行为与物理一致。
    

优势：大幅减少数据需求，模型更加准确。

局限：物理损失很难精确归零，只能在"数据拟合"与"物理约束"之间寻求平衡，模型比纯物理系统"略不完美"，但已远优于无物理约束。

✅ 优点

少数据也能训练；模型更物理；实现简单

⚠️ 局限

不会完全满足零损失；可能使优化更硬；找到奇怪极小值

方法二

拉格朗日 / 哈密顿神经网络

在上一讲"架构选择"中提到的拉格朗日神经网络，其真正的关键其实在损失函数。

网络学习的是拉格朗日量 L，但让它具备物理意义的，是损失函数要求：

欧拉-拉格朗日方程成立
∂L/∂q − d/dt(∂L/∂q̇) = 0

架构与损失函数密不可分 —— 架构决定了网络结构，损失函数决定训练目标。这一思路延伸至哈密顿神经网络，同样配备定制损失函数。

      要点：架构和损失函数"手拉手"。你学习一个拉格朗日量，损失函数验证它是否真的满足物理方程。
    

方法三

低维性 & 稀疏性：让模型更"物理"

物理学的传统是追求简单、可解释、可泛化（如 F=ma 既解释苹果落地，也解释登月）。这一"简洁法则"可以通过两种范数来量化：

L2范数（欧式距离） —— 促进低维性，让模型用尽量少的变量描述系统

L1范数（曼哈顿距离） —— 促进稀疏性，让方程尽量少项、少非零系数

两者均可作为正则化项加入损失函数。若同时使用，即为弹性网络（Elastic Net）。

一个模型应该尽可能简单——但不能更简单。

—— 爱因斯坦（转述）

方法四

SINDy：稀疏识别非线性动力学

由 Steve Brunton、Josh Proctor 和 Nathan Kutz 在西雅图开发。当你有物理系统的测量数据、想学出差分方程时，SINDy 通过库回归的方式实现：

给定状态 x(t)，构造候选函数库（多项式、正弦等）
要求：用最少的项拟合 ẋ = Θ(x)ξ
目标：ξ 尽可能稀疏（大多数系数为零）

以纯最小二乘法为例，可能得到81个项的微分方程——物理学中不会出现这样的模型。通过损失函数平衡精度与复杂度：

总损失 = L2数据拟合损失 + λ · L1稀疏惩罚
（λ 控制稀疏强度）

      "金发姑娘区"：当 λ 太小 → 过拟合；λ 太大 → 欠拟合。交叉验证找到最简洁有效的区间，正是物理之美。
    

物理课本中的方程 ≈ 2~5项

无约束最小二乘 81项

方法五

对称性 & 等变性

物理学中的对称性是不可忽略的结构。如果已知系统对镜像、旋转或平移具有不变性，可直接把这种对称性写入损失函数：

      示例：镜像对称

      如果 f(−x) 应等于 f(x)，则损失函数中加入项：‖f(x) − f(−x)‖²

这相当于数据扩充的"虚拟版本"——通过在损失层面扩充约束，不必真的复制数据，便让模型天然具备对称性。

平移不变性、旋转等变、离散对称性……在原则上均可构建为损失函数项

行动建议

如何开始实践？

STEP 明确你的已知物理：守恒方程？PDE？对称性？

STEP 先尝试 PINNs 思路：把 PDE 残差加入损失函数

STEP 用 L1/L2 正则化控制模型的复杂度与维度

STEP 试试 SINDy：提取稀疏、可解释的动力学方程

STEP 把对称性作为损失项 —— 无需扩充数据，模型即得对称

总结：损失函数是我们与物理对话的语言

损失函数在机器学习中无处不在，它定义了优化轨道。嵌入物理知识的方式主要有：

① 方程约束 —— 通过 PINNs 将 PDE 作为额外损失项

② 结构约束 —— L1/L2 惩罚使模型更稀疏、更低维

③ 对称约束 —— 将对称性直接编入损失函数

损失函数“建议”物理；而下一讲"优化"中的约束优化，将强制物理成立 —— 敬请期待。

由 CuteNote.app 颜值笔记生成

如何设计损失函数将物理嵌入模型