AI专家警告：GPT-3令人赞叹，但缺乏透明度
让算法像人一样写作，是人工智能研究实验室OpenAI多年来一直追寻的梦想。其最新研究成果是语言生成算法模型GPT-3，现已被用于生成让人难以分辨的伪文章，其所写博客骗过了黑客新闻(Hacker News)的发布者，甚至成为网站热门文章。
那个帖子是这样的：“要想把事情做好，也许我们根本不需要想太多。这似乎有悖常理，但我相信有时想得多了反而会阻碍我们的创造力。”
OpenAI之所以可以实现如此高效的算法，是因为它能够访问巨额计算量和数据，且此算法本身的容量远大于已有的所有算法：版本的GPT-3有1750亿个参数，这种方程式能帮算法做出更精准预测。GPT-2只有15亿个参数。
虽然OpenAI曾公布过它的算法，但这次它选择让GPT-3保持神秘。该公司表示，对大多数操作者来说，GPT-3实在是太大了，对其收费，就能让OpenAI从中获利。
在过去的一年里，OpenAI变革公司结构，使其更能吸引投资者。它放弃了“限制利润”模式的非盈利定位，这样如果OpenAI获利，投资者就能获得回报。它还与微软达成了10亿美元的合作协议，开启了两家公司之间的合作，该协议还允许OpenAI优先访问微软的云计算平台。
研究人员说，他们对OpenAI不公布算法表示质疑，称这违背了基本科学原则，且对该公司声明的核实变得愈发困难。
Facebook人工智能研究(FAIR)的联合董事暨Facebook蒙特利尔人工智能研究实验室负责人乔埃尔?皮诺(Joelle Pineau)在一封电子邮件中说到：“我对目前为止对诸如GPT-2/GPT-3和AlphaGo这类代码不共享的所有争论持怀疑态度。在人工智能领域，有很多类似情况。”
GPT-3的核心是个非常强大的英语写作工具。GPT-3最重要的是它的规模，它通过分析45万亿字节的数据学会了写作。报道称这个训练过程在云计算上花费了数百万美元，它见证了人类数以亿计的书写组合。
这是OpenAI长期战略的关键部分。多年来，该公司一直表示，深度学习算法的规模越大越好。数据越多，计算能力越强，算法的能力就越强。OpenAI就是因为具备同时在数百个GPU上训练算法的能力，才在《刀塔2》中击败了职业电子竞技玩家。
OpenAI的领导曾表示，OpenAI的政策主管杰克·克拉克(Jack Clark)认为算法越大，则“越有条理，越有创造力，也越可靠”。在谈到《刀塔2》机器人需要的训练量时，首席技术官格雷格·布罗克曼表示：“等运气耗尽，我们期待一场棋逢对手的比赛。”
GPT-3采用了类似方法。OpenAI认为，算法更大意味着参数更多，就能进行更普遍的操作。例如，GPT-3最基本的功能是自动补全，给它一个词或句子，它就会逐字逐句地生成它认为接下来该出现的词句。不必对算法进行任何修改，它也能回答问题，甚至进行翻译。这与只能处理一项任务的专项微调算法不同。
有人认为，这向人工智能的圣杯——通用智能迈出了一步，它意味着算法可以像人类一样学习和适应;而另一些人则表示，算法仍不能真正理解它生成的话语。
OpenAI发布了一篇详细的研究报告，解释了该算法的架构和它所取得的结果，而当涉及到GPT-3的功能研究时，其他人工智能研究人员只能选择相信OpenAI。这家研究公司最近不再以非盈利为定位，开始筹集资金开发商业产品，它不再像过去一样公布算法。
2019年2月，OpenAI宣称，前一版本GPT-2算法有可能生成错误信息或虚假新闻，太过危险不便发布，这一声明引来了很多质疑。公司先行发布了简易版的GPT-2，并未发现滥用迹象，才最终发布了版本算法。现在，与其说GPT-3太危险，不如说它似乎太有利可图而不能发行。
GPT-3只能通过OpenAI运行的API访问，这与亚马逊、谷歌和微软等公司的算法变现方式相类似。开发者可以编写程序向GPT-3发送特定指令，GPT-3在OpenAI的云端中生成响应并回传结果。虽然API在内测期间免费，但OpenAI正在考虑长期定价。这意味着研究人员只能向算法发送特定命令，而OpenAI可以随时取消访问权限。
OpenAI将这种做法归结于对安全和规模的考虑。如果该公司发现有人滥用API做了诸如支持假新闻网站的事情，那么它可以取消该开发者的访问权限。
该公司还表示，这些算法规模庞大，运行成本高昂，更别提开始训练后的花销。“这使得任何除大公司以外的使用者都很难从底层技术中获益。我们希望API能让小型企业和组织更容易地使用强劲的人工智能系统。”
由于云计算的计价方式，OpenAI训练和操作算法的确切成本很难核算。租赁GPU的成本根据特定服务器区域的地理邻近程度，以及基于项目规模的协议费率等因素的不同，差别很大。由于OpenAI为完成任务将其中部分资金用于建造自己的超级计算机，它可能从与微软的10亿美元合作中受益。
但是这些限制，即规模和缺乏透明度，使得其他科学家很难复制和验证该算法的有效性。
尽管涉及风险投资和企业利益，人工智能仍然是研究计算机科学的一个途径，且这种科学方法仍然适用。最好的科学实验，比如建立一个算法来成功完成一项任务并证明一个假设，是可以复制的。
皮诺是可复制计算机科学的热心支持者，她认为像GPT-3和AlphaGo这样尚未公布的算法是“科学文物”。她在电子邮件中说到：“这有点像挖出的恐龙骨头，它为你提供了支持某些理论的证据，但与实际进行实验是不一样的。”皮诺表示，这些“文物”有助于提出未来的研究假设，但它们仍然不能替代确凿的知识。
很多人担心，通过限制对代码和受训算法的访问，人工智能的“民主化”，即任何人都可使用人工智能，会受OpenAI威胁。“使用人工智能”这一用语是多层面的，意思是使用计算能力、数据集以及算法本身。诸如谷歌的TensorFlow和脸书的PyTorch这类开源框架使得算法易于构建和共享，还存在其他很多开源数据集。
然而，计算能力来自硬件，是一种有限的物理资源，大公司和像OpenAI这样资金充足的研究机构更容易获得该资源。
如果OpenAI的实验被证明是人工智能的发展方向，同时算法的扩大转化为性能的提高，那么消费不起先进人工智能的人就无法使用它了。这还会允许拥有资源的大公司制定规则，决定谁有权使用某些人工智能算法。例如，他们可以利用API进行设置，并对访问和使用算法进行收费。
乔治亚理工学院(Georgia Institute of Technology)研究自然语言处理的人工智能教授马克·瑞德尔(Mark Riedl)表示：“如果确信实现更好人工智能的方法实际上是实现更大规模，那么谁能拥有更优人工智能就由OpenAI决定了。”
瑞德尔对OpenAI是否会监视其新API的所有使用情况，以确定是否被用于恶意目的表示质疑，OpenAI曾花了大量精力来思考它的算法会如何被滥用。“OpenAI是否会查看输出，以判断他们的技术是否得到恰当使用?鉴于其宗旨，以及这与他们新盈利模式相冲突，这似乎很关键。他们能做到大规模监控吗?”
并非所有人都认同OpenAI“越大越好”的方法是人工智能的发展方向。例如，自然语言处理研究人员梅拉妮·米歇尔(Melanie Mitchell)就对GPT-3进行了“模仿”测试，要求算法识别特定字母序列的变化模式。如果“abc”变为“abd”，那么“efg”会变成什么?
上世纪80年代，米歇尔开发了一种算法来解决这类人类一直以来所进行类比的微型模拟测试。要正确地进行类比，必须理解所有组件之间的关系。在字母表的例子中，算法必须了解字母表的顺序和每个字母的位置。虽然该算法在众多测试中表现良好，但米歇尔发现，它也无法掌握其他算法数十年前已掌握的一些简单概念。
米歇尔说：“在研究方面，我个人认为，在一个问题上投入过多的计算和参数可能会把人工智能逼进死胡同。如果我们的目标是制造强大、具有普遍智能的机器，我认为这无法取得真正的进展。”
她承认，在制造需要深度学习的人工智能产品时，庞大的计算能力让科技巨头获得优势，但反之并不是所有现代问题都需要高能耗的深度学习算法，不是解决每个问题都需要达到GTP-3的规模。
米切尔在测试该算法时写道：“GPT-3的性能令人惊叹，但它也和当今最先进的人工智能系统中的很多情况类似：似乎很智能的性能中夹杂着一些非人类错误，而且我们搞不清楚它表现好或犯错误的原因。”
文章名称：AI专家警告：GPT-3令人赞叹，但缺乏透明度
文章地址：http://scyanting.com/article/chojgs.html
