Jarvis' Blog (总有美丽的风景让人流连)

归纳性偏好 (Inductive Bias)

2021-12-12

Jarvis

表示学习

深度神经网络为什么适合图像特征的提取和分析? 为什么近年来火热的对比学习能把无监督下的特征表示很好的学出来? 深度神经网络到底有什么魔法? 要思考上面的问题, 首先要了解一个概念: 归纳性偏好(inductive bias).

阅读全文

Few-Shot Segmentation (FSS) 是元学习中的一类分割任务, 希望训练出的模型可以在少量有标签的样本下就能泛化到新的类别上. 对比 ImageNet 上百万图像的分类任务目的是识别不同类别的物体, FSS 是从大量类别中学习广泛的特征, 并在少量有标签样本的引导下识别新类别的物体. 所以我们应当期望训练集中包含大量的类别帮助模型学习广泛的特征. 但是 FSS 经典的几个数据集 PASCAL VOC 和 COCO 只有 20 个 80 个类别, 因此港科大和腾讯联合退出了 FSS 1000 数据集用于 FSS, 其中包含了 1000 个类别.

阅读全文

半监督学习(Semi-Supervised Learning, SSL)

2021-08-07

Jarvis

表示学习

深度学习 (deep learning) 通过监督学习 (supervised learning) 在大量的机器学习任务上取得了瞩目的成就, 如 ImageNet 上超过 90% 的分类准确率, Cityscapes 上超过 85% 的分割准确率. 然而, 实现高精度的分类, 分割等任务需要大规模有标签的训练数据, 如 ImageNet 的百万张图像或是 Cityscapes 上数千张 1080p 分辨率图像的像素级标注, 都需要耗费大量的人力物力, 同时在这些数据上训练的模型往往在跨域的数据泛化上仍然具有挑战性 (如医学图像). 虽然数据标注难以获取, 但从多种渠道收集无标注数据是相对容易的, 因此研究者逐渐把目光转向如何利用少部分有标注数据和大规模的无标注数据来训练模型 (比如, 有标签数据占整体的 1-10%). 这种同时利用少量有标注数据和大量无标注数据训练模型的方法称为半监督学习 (semi-supervised learning, SSL).

阅读全文