跳到内容 跳到导航

Research & Ideas

站内搜索

如何AI系统使用填字教给自己的语法

先进的AI系统能够对自己,类似弄清楚语言的原则,以人的孩子如何学习。

A vector illustration of a mad-libs like paper with fill-in-the-blanks, and a small person with a large pen trying to fill out one of the spaces

研究表明先进的AI系统能够对自己的,类似的学习语言的原则,对人类儿童如何学习语言。 | istock /z_wei

想象一下你正在训练的计算机具有扎实的词汇和有关词类的基本知识。

如何将它理解这句话:“谁跑到店里厨师是食品的。”

没有厨师食品的跑出来了?做实体店?没有厨师运行跑出食品走出超市?

大多数人讲英语的人会马上拿出正确的答案,但即使是先进的人工智能系统可能会不知所措。毕竟,这句话的字面部分说:“这家店的确食物了。”

先进的新型机器学习模型已经对这些问题的巨大进步,主要是通过对数据集巨大或句子的“树库”的培训,人类有手工标记教语法,句法和其他语言的原则。

问题是,树库是昂贵的,劳动密集和计算机仍然有许多含糊不清的斗争。字的同一集合可以有广泛不同的含义,这取决于句子结构和上下文。

但在CQ9电子游戏人工智能研究人员对新的研究发现,先进的AI系统可以自己弄清楚语言的原则,不会对句子,人类已标记为他们第一执业。它更接近于人类儿童如何学习语言的成人教他们语法或者格式很久以前。

更令人惊讶的,但是,研究人员发现,艾模型似乎可以推断,适用于许多不同的语言“通用”的语法关系。

有自然语言处理,这是越来越重要,以AI系统是回答问题,做翻译,帮助客户甚至审查简历大的影响。它也可以促进该学会的人数量非常少使用的语言系统。

成功的关键?似乎只是机器打了数十亿填充式的空白游戏,让人联想学到很多CQ9电子游戏语言“填字。”为了得到在预测缺失的话更好,系统逐渐了解的话如何与对方建立自己的模型。

“因为这些模型变得更大,更灵活,事实证明,他们实际上自组织发现和了解人类语言的结构,”说 克里斯托弗·曼宁中,托马斯米。在机器学习的Siebel教授,语言学和CQ9电子游戏计算机科学教授,CQ9游戏的的副主任 学院以人为本的人工智能 (HAI)。 “这类似于人类的孩子一样。”

学习句子结构

该 第一项研究 由三个CQ9电子游戏的博士研究生,计算机科学实验上报道的凯文 - 克拉克,约翰·休伊特和瓦什khandelwal - 谁与人员配备,并与奥马尔征,在研究员工作 Facebook的的人工智能研究.

研究人员开始使用由绰号真实BERT(简称“来自变压器双向编码器表示”),谷歌开发一个国家的最先进的语言处理模型。 BERT使用一个填字的方法来训练自己,但研究人员认为,该模型被简单地使附近字之间的关联。即提到“篮球”和“跳投”的句子,例如,将促使模型搜索词绑篮球。

然而,CQ9电子游戏的研究小组发现,该系统是做一些更深刻的:它是学习句子结构,以确定名词和动词以及主体,客体和谓词。这反过来又提高了能力,排解,否则可能会造成混乱句子的真正含义。

“如果它可以工作的对象或对象消隐的动词,这将有助于它不是简单地知道出现在附近的话更好地预测动词,”曼宁说。

“如果它知道‘她’指的是Lady Gaga的,例如,将会有更多的东西‘她’很可能做一个想法。”

这是非常有用的。拿这句话有关共同基金的宣传资料:“它继续按名称堵塞几个多元化的富达基金。”

该系统认识到,“外挂”是一个动词,尽管这个词通常是一个名词,而“资金”是一个名词和动词的宾语 - 尽管“资金”可能看起来像一个动词。不仅如此,该系统并没有得到通过的描述词串分心 - “几多元化保真” - “插件”与“资金”。

该系统也成为擅长识别称为彼此的话。在一个CQ9电子游戏以色列人和巴勒斯坦人之间的会议通道,系统认识到,在一个句子中提到的“谈判”的相同。在接下来的一句“谈判”。在这里,系统没有错误的决定“谈判”是一个动词。

“从某种意义上来说,它的神奇简直可以说,”曼宁说。 “我们所做的是具有这些非常大的神经网络运行这些疯狂的库任务,但是这足以使他们开始学习语法结构。”

发现通用语言原则

在一个 单独的文件 主要基于由CQ9电子游戏的学生阮经天智工作,曼宁和他的同事发现的证据表明,BERT教导本身在语言运用的英语,法语和中国不同的普遍原则。同时,该系统了解到的差异:在英语中,一个形容词通常会在它的修改名词前面,但法语等多国语言它的名词之后去。

底线是,确定跨语言的模式应该更容易为学习一种语言,了解更多他们的系统 - 即使他们似乎没有什么共同之处。

“跨语言这种常见的语法代表建议,培训了10种语言的多语言模型应该能够更容易地学会第十一个或第十二语言,”曼宁说。 “的确,这正是我们开始找。”