笔趣阁

手机浏览器扫描二维码访问

336 集体后悔的学界合（第2页）

“去去去，半年前想到算个p，去年T方法刚出来，我直接就拉到图像任务上做过实验了。”

“我刚刚尝试复现了一下。。。效果怎么还是稀烂？”

有关这次视觉T方法的大讨论，绝对是圈内研究人员最有参与感的一件事情。

如果说科学创新就像是挖矿淘金，孟繁岐此前属于自己在高难度区域现优质金矿，又或者是在大家意料之外又情理之中的地方挖坑现优质金矿。

而这一次，则是直接在所有人几乎都挖过一铲子的坑里，硬是淘出金子来了。

这样的公共坑里挖出了金子，让不少人都有了一种莫名其妙的参与感，不由得洋洋得意了起来。

虽然自己p都没有现，但至少曾经有过一个重大的现不是！

但更多的还是那种懊恼和悔恨。

【明明是我先来的。。。】

【我当时。。。我当时都做了好几次实验了。。。我怎么就没把它做好呢？】

【假如。。。假如我能做得再好一些，这一次视觉T方法的成果就是我的了！】

许多人心中都冒出了这样的想法，仿佛自己距离成功只差一线。

却没有想明白，这里面其实根本就是天壤之别。

外界议论纷纷，聊得火热，孟繁岐则完全没有在意视觉T方法这里的内容。

在他看来，视觉T方法做得再好，也就是图像领域内的突破，没有触及根本。

跟传统卷积网络差了一个点的性能，又如何呢？不解决本质问题。

他选择公布这篇论文，其实更像是一个烟雾弹。

在大家都在关注视觉领域的时候，悄悄将文本和图像串联起来。

“人工智能模型只单独处理图片或者文字，这种单模态的形式是非常吃亏的。因为互联网上已经有了大把现成的数据是图像与文本相对应，又或者有关联的。”

孟繁岐早早就已经收集了大量的文本和图像对应数据了，只是此前gpT系列技术不够成熟，这些文本加图像的数据暂时排不上用场。

比如电商网站数据，店家对于商品图片会有大量的文字介绍和描述。

比如摄影和插画网站，也会对影像作品有一些简洁的表达。

考虑到网站的开需要大量的图片素材，很多开者也会在后台为图片增加备注，以免搞错用途。

这些都是孟繁岐所需要的优质训练数据，目前除了他以外，还没有人能够非常有效的利用这些东西。

“收集这些数据，还有一点好，就是便宜，这些都是现成的。相比我们之前进行的那种详细标注模式，这样搞不仅便宜，还快。”唐璜还是那么在意成本问题。

传统的图像数据通常还是做分析用途，如此一来，就需要给它标注类别，物体的位置乃至轮廓。

标注一张图所需时间不少，成本也不低。

因为孟繁岐需要的数量太庞大了，动辄上亿张都嫌不够。

一张图虽然便宜，但标注多了仍旧不是一笔小数目。

“这种图像和文本的对应关系会不会太弱了？”韩辞查看了其中的一些数据后提出了这种担忧。

孟繁岐说得是没错，图片不用人工去详细标注，直接在网络上抓取很多关联的文本和图像，乃至于使用后台对图片的备注，成本很低，数据也来得很快。

但这也会导致一个问题，你没办法确定文本和图像的关联程度到底是多少。

有的文字描述可能是精确的形状、纹理的描述；有些则可能是功能，效果方面的描述。

更有甚者，文不对图，压根驴唇不对马嘴的情况，想必在当今互联网上也不是什么罕见的事情。

“我们先要做的是基于图像和文本对比的预训练方法，trastiveLanguageImagepretraining（c1ip）。这种方法的根本目的是在大量的文本和图像关系中学到它们匹配的关系。只要有关系即可，具体是什么关系，我们先不操心。”

“我们大量学习文本特征和图像特征的余弦相似性，学的是一种基础能力。后续如果要在特定领域上使用，可以再针对性做微调，并不是要一步到位。”

孟繁岐当然清楚这批数据文本和图像对应情况会有很大波动，但这不影响先出第一版。数据质量问题可以持续再优化。

并且这样复杂的情况可以使得模型更加鲁棒，不会因为微小的差别性能就生剧烈的变化。

“不过关于微调，根据我的预测，这种文字和图像相结合方法会极大地改变传统图像领域预训练后在特定领域微调的流程。它可能只需要少量的样本乃至于不需要样本，就能够实现一部分传统的图像分析功能。”

预训练加微调是人工智能领域的经典流程，先让模型学习大量数据，获得基本知识和智能，称为预训练。

这个过程中，很多数据可能跟最后的任务几乎没有关系的。

这些数据也未必需要自己准备，甚至预训练的过程也未必需要自己去做。

因为很多大公司在开源模型技术的同时，也会放出自己的【预训练模型】，也就是在布者私有的巨大数据上训练出来的智能。

其他研究者可以直接延用这个参数，会比自己重新搞一个模型要强很多。

孟繁岐此前也经常公布自己的预训练模型给其他研究者们使用。

但传统的视觉领域基本上都需要微调，模型参数拿到之后没法直接用。必须要在自己的领域和任务上专门再训练一次，做一些微小的模型参数调整才行。

这件事情听上去是很合理的，毕竟孟繁岐布一个模型的时候，并不知道其他人想要用它做什么。