Keras之父历时2年力作，64页论文探讨智能如何评估

　　谷歌AI研究员、Keras之父FranoisChollet历时2年的力作近日发布，在长达64页的论文中，他深入分析、阐述“智能的定义和测量”，引起AI研究社区大量关注。你赞同Chollet的观点吗？来新智元AI朋友圈和AI大咖们一起讨论吧。

 

　　谷歌AI研究员、Keras之父FranoisChollet近日发表一篇长达64页的论文，深入分析、阐述“智能的定义和测量”，引起AI研究社区大量关注。

 

　　与此同时，Chollet还发布了一个新的AI评价数据集“抽象推理语料库”(AbstractionandReasoningCorpus)，简称ARC。Chollet表示，在过去的2年里，他一直断断续续地在做这件事。

 

　　在新智元小程序获取论文：

 

　　论文的主要内容包括：

 

　　1)回顾历史，我们如何定义和评估AI

 

　　2)对“智能”(Intelligence)的新的正式定义，以及对“通用AI的基准”（generalAIbenchmark）应该是什么样子的具体指导原则

 

　　3)介绍ARC的目标及其背后的逻辑。

 

　　Chollet说，这个定义是他试图将过去10年来的思考和讨论(演讲、Twitter、对话等等)正式转化为一些有用、可行的东西的尝试。ARC这个新的AI评价数据集引导他朝着非常有趣的研究方向发展，因此也希望读者发现它有用。

 

　　Chollet强调，论文中提供的定义并不是“唯一正确的”定义。那不是重点。因为智能是复杂的，在不同的背景中可能意味着不同的东西。“智能”或“人工智能”的多种定义都可能是有效的。

 

　　Chollet最近还在一个算法上取得了很好的进展，这个算法至少能够解决部分ARC，基于一个他研究了很长时间的认知理论(autonomousabstraction)。Chollet表示将尽快分享这些想法和代码。

 

　　这个理论自2009年以来一直在酝酿之中。它借鉴了ONEIROS项目(开放终端神经电子智能机器人操作系统)的重要元素，这是Chollet从2009年到2012年(在2014年短暂地再次参与)一直在开发的一个通用AI架构，但后来大部分都被放弃了。

 

　　ONEIROS是从一个经典的RL思想开始的，集中于1)学习时空特征的模块化层次“maps”(使用PMI矩阵分解而不是梯度下降)，2)通过注意力机制的形式进行上下文切换，以及3)内在动机(好奇心)。

 

　　其基本想法是“认知是一种感知运动信息空间的动态的、层次-模块化的地图”。因此，Chollet还把它称为“maptheory”。

 

　　Chollet认为ONEIROS做了很多正确的事情(特别是考虑到当时的情况——主要是在2010年设计，并在2012年尝试对其进行简化)，但最终它没有触及最重要的一点：抽象的本质。

 

　　这就是“TheMeasureofIntelligence”这项工作正在做的，ARC正是触及了“抽象的本质”。

 

　　有意思的是，“Keras”这个名字来自ONEIROS：

 

　　“Chollet创建了Keras作为开放式神经电子智能机器人操作系统(ONEIROS)机器人研究项目的神经网络的API。ONEIROS这一名称是对古希腊史诗《奥德赛》的致意，在这部史诗中，神话人物Oneiroi（Oneiros的单数形式）为人类指明了两条进入梦境的路：一条路穿过宏伟的象牙之门进入噩梦，另一条路则穿过低矮的兽角之门，最终呈现一片神圣的景象。Keras在希腊语中意为角，这个名称非常合适，因为KerasAPI旨在为与神经网络协同使用提供一条捷径。”

 

　　“TheMeasureofIntelligence”论文发表后，在Twitter、Reddit等社区得到很多关注，有人评价“有趣”、“必读的好文章”，也有人质疑这项研究是否必要。

 

　　论文内容结构

 

　　Google机器学习研究员EmilWallner带来了不错的总结和解读，一起来看。

 

　　为了推进AGI，我们需要量化和评价其技能获取效率

 

　　FranoisChollet的核心观点是：我们不能通过衡量其对特定技能的掌握程度来评价一个AI系统的适应性和灵活性。

　　只要数据足够多，模型就能靠“记忆”实现决策。为了推进AGI，我们需要量化和评价其***技能获取效率***。

 

　　在20世纪70年代，许多人认为国际象棋反映了人类理性思维的全部范围。用计算机下棋就能达成认知理解的重大飞跃。但是，在IBM的DeepBlue之后，他们意识到计算机并没有更好地理解人类的思维。

 

　　IBM的DeepBlue并不“智能”，但我们认为掌握国际象棋的人是有智能的。这是因为我们将国际象棋与一种元技能(meta-skill)联系在一起，元技能是一种用于数学和推理等逻辑任务的能力。我们经常以类似的方式将AI系统拟人化：掌握任务=AGI。

 

　　同样，Chollet认为DeepMind的围棋AIAlphaZero既不灵活也不通用。他将其与使用局部敏感哈希函数的哈希表进行比较，通过无限的模拟，你可以用动作来映射棋盘的位置。

 

　　Chollet认为，当前的以任务为中心的智能观点是推进AGI的瓶颈所在。相反，我们应该采用Hernandez-Orallo的观点：

 

　　“人工智能是一门让机器完成它们从未见过、也没有事先准备好的任务的科学和工程技术。”

 

　　当人类接受不同的认知测试时，得到的结果是彼此相关的。这表明人类具有学习技能的基本元技能，即“g因子”(g-factor)。这些是Chollet认为评价AI需要衡量的能力，从BroadGeneralization开始。

 

　　在II.2节，Chollet正式阐述了他的中心思想：

 

　　“一个系统的智能是对其在一定任务范围内的技能获取效率的衡量，与先验、经验和泛化难度相关。”

 

　　下面是“技能获取效率”的概述。“Task”可以是国际象棋，“Situation”是一个棋盘位置，而“skillprogram”是一个固定的国际象棋引擎。可以将智能系统看作是不同任务的程序综合引擎。

 

　　Chollet使用算法信息论(AlgorithmicInformationTheory)来量化程序和交互：

 

　　“智能是学习者将自己的经验和先验知识转化为新技能的速度，这种新技能的价值在于不确定性和适应性。”

 

　　为了避免局部通用系统人为地“购买”特定任务的表现，Chollet将先验知识限制在发展科学理论中发现的“核心知识”：比如基础物理、算术、几何学和对意图的基本理解。

 

　　Chollet根据他概述的最佳实践ARC创建了一个数据集。该数据集模拟了IQ测试(流体智能)中的抽象和推理部分。