来自132个机构的研究人员花了两年时间提出了一个新的基准大工作台，一个大语言模型在此基础上，对OpenAI的GPT模型和Google—Internal Dense Transformer架构进行了评测，模型规模为6个数量级 最终的结果表明，虽然模型的性能伴随着规模的扩大而提高，但与人类的性能仍相差甚远。 对于这部作品，杰夫·迪恩转发了一个赞:很棒的作品。 大语言模型的新基准 莱康在这篇论文里说了什么。 伴随着规模的扩大，模型的性能和质量都得到了一定程度的提升，可能会有一些革命性的影响，但这些性能之前并没有很好的描述。 现有的一些基准存在一定的局限性，评测范围较窄，性能评分很快达到饱和。 比如强力胶，在引入这一基准后的18个月内，模型取得了超越人类水平的性能。 基于这样的背景，BIG—bench诞生了。 目前由204项任务组成，涵盖语言学，儿童发展，数学，常识推理，生物，物理，社会偏见，软件开发等问题。 此外，还有一个由人类专家组成的陪审团，他们也执行所有任务来提供基线水平。 为了方便更多机构使用，研究人员还给出BIG—bench Lite，一个小但有代表性的任务子集，便于更快的评估。 以及实现benchmark API的开源代码，它支持对公开可用模型的任务评估和新任务的轻量级创建。 最终评估结果表明，规模跨越了六个数量级，且伴随着模型规模的扩大和训练样本数量的增加，大平台上的整体性能有所提高。 但与人类基线水平相比，性能还是比较差的。 在某些特定任务上，模型的性能会伴随着规模的增大而稳步提升但有时候，会有特定规模的突然突破表现 此外，它还可以评估模型的社会偏差。 此外，他们意外地发现，模特还可以获得一些隐藏技能比如象棋里怎么按规则走 剩下的，有50页参考文献。 好了，有兴趣的朋友可以戳下面链接到康康论文。 纸质链接: GitHub链接: 郑重声明：此文内容为本网站转载企业宣传资讯，目的在于传播更多信息，与本站立场无关。仅供读者参考，并请自行核实相关内容。 |
