NLG ≠ 机器写作 | 专家专栏

2018-09-11
智能获客营销获客

关于NLQ的一些思考

引子


2017年5月31日,包括 Aaron Courville(《Deep Learning》一书作者)在内的五位作者,在 arXiv 上提交了一篇论文《Adversarial Generation of Natural Language》,提出了一种新的基于生成对抗网络(Generative Adversarial Networks, GAN)的自然语言生成(Natural Language Generation,NLG)方法,在自动写诗这件事情上取得了非常好的效果,但这并不是重点。


重点是,这篇文章引发了自然语言处理(Natural Language Processing, NLP)大神 Yoav GoldGerg和深度学习(Deep Learning, DL)大神 Yann LeCun 的论战。


Yoav 先是在 Twitter 上发了一篇推文表明自己不喜欢这篇论文的工作,之后又写了一篇Medium长文(图1)表达自己的观点:


“拜托你们这帮搞深度学习的人,别再抓着语言不放并声称自己已经解决语言的问题了!”,认为这篇论文并没有解决自然语言生成(NLG) 的问题。



△ YoavGoldBerg的 Medium 长文截屏(后来Yoav修改了这篇文章)

随后,Yann LeCun 在 Facebook 上对 Yoav 的观点进行了反击(图2),然后又反复数个回合。


△ Yann LeCun 在 Facebook 上的反击

引发这次争论的主题就是自然语言生成(以下简称 NLG),也是接下来系列文章里我们要讨论的主题。


何为 NLG?


提到 NLG,首先会联想到一个不知疲倦的机器人,可以每周7×24小时地奋笔疾书,产出各种各样的小说、情书、剧本、新闻、财报等各种类型的文字。


现实中,的确也有一些机器生成的书出版(例如用165行 Python 代码自动生成的书《World Clock》,由 Harvard Book Store press 出版 ),甚至在 Amazon 上有了一定的销量和用户好评(例如 Philip M. Parker 用机器写了一大堆书在 Amazon 上卖)。


但实际的 NLG,更多的是基于已有文本/数据/图像生成自然语言形式的文本,离真正的「机器写作」差的还很远。


NLG是自然语言处理(NLP)的重要组成部分。NLP研究如何实现自然语言形式的人机交互,其研究涉及语言学、计算机科学和数学等多个领域。


NLP 包含自然语言理解 (Natural Language Understanding,NLU) 和自然语言生成(Natural Langauge Generation, NLG)两个重要方向,如下图所示。


△ 自然语言处理主要技术领域

其中,NLU 旨在让机器理解自然语言形式的文本内容。从 NLU 处理的文本单元来讲,可以分为词(term)、句子(sentence)、文档(document)三种不同的类型:


词层面的基础 NLU 领域包括分词(汉语、缅甸语、泰语等非拉丁语系语言需要)、词性标注(名词、动词、形容词等)、命名实体识别(人物、机构、地点等)和实体关系提取(例如人物-出生地关系、公司-所在地关系、公司收购关系等);


句子层面的基础 NLU 领域包括句法结构解析(获取句子的句法结构)和依存关系解析(获取句子组成部分的依赖关系);


文档层面的基础 NLU 领域包含情感分析(分析一篇文档的情感倾向)和主题建模(分析文档内容的主题分布)。


与NLU不同,NLG旨在让机器根据确定的结构化数据、文本、音视频等生成人类可以理解的自然语言形式的文本。根据数据源的类型,NLG可以分为三类:


● Text to text NLG,主要是对输入的自然语言文本进行进一步的处理和加工,主要包含文本摘要(对输入文本进行精简提炼)、拼写检查(自动纠正输入文本的单词拼写错误)、语法纠错(自动纠正输入文本的句法错误)、机器翻译(将输入文本的语义以另一种语言表达)和文本重写(以另一种不同的形式表达输入文本相同的语义)等领域;


● Data to text NLG,主要是根据输入的结构化数据生成易读易理解的自然语言文本,包含天气预报(根据天气预报数据生成概括性的用于播报的文本)、金融报告(自动生成季报/年报)、体育新闻(根据比分信息自动生成体育新闻)、人物简历(根据人物结构化数据生成简历)等领域的文本自动生成;


● Vision to text NLG,主要是给定一张图片或一段视频,生成可以准确描述图片或视频(其实是连续的图片序列)语义信息的自然语言文本,同时 text to vision 的自动生成近几年也有一些有趣的进展。


近年来,随着CNN(Convolutinal Neural Network)、RNN(Recurrent Neural Network)、GAN(Generative Adversarial Network)等深度学习技术的应用,NLP(尤其是 NLG)领域取得了明显的进展,也涌现了一些有趣的 NLG 应用。


有趣的 NLG 应用


在 Text to text NLG 领域,令人瞩目的进展当属 GNMT (Google Neural Machine Translation)。它基于带 Attention 机制的 Encoder(8层LSTM)- Decoder(8层LSTM) 框架(图4),通过引入残差连接(Residual Connection),并基于 Google 打造的 TPU (Tensor Processing Unit)进行并行化处理,高效地进行 GNMT 模型的训练和预测。


△ GNMT 的 Encoder-Decoder 框架

GNMT 相对传统的 PBMT(Phrase-Based Machine Translation)模型,在多个主要语言对的翻译中将翻译误差降低了 55%-85% 以上。


同时,Google 在 GNMT中借鉴迁移学习(Transfer Learning)的思路,通过不同语言对的翻译模型共享参数,实现了未经训练的语言对之间的自动翻译(即「Zero-Shot Translation」)。


在 Data to text NLG 领域,一项有趣的工作是Facebook AI Research 2016年发表在 EMNLP 会议上的一篇论文研究了如何利用人物的结构化数据(通常是表格化的数据)生成人物 biography 的工作,并通过抽取维基百科的 infobox 和正文第一段话,自动化地构建了一个大型平行语料库 WikiBio,包含了超过70万条平行数据和超过40万的词表。


它基于条件神经语言模型,利用表格数据作为条件,进行自然语言形式的 biography 文本生成(图5)。


它将表格数据以局部条件(local conditioning,描述之前生成的词序列与表格数据的关系)和全局条件(global conditioning,利用表格中所有的域和对应数据对人的特征进行建模)的形式加入到神经网络模型中,并设计了一种 copy 机制使模型可以灵活考虑表格中出现过的词。


基于这样的机制,可以达到类似下面例子的结果。


△ 人物 biography 文本生成示例

Vision to text NLG 领域的典型应用当属 Image Captioning(看图说话),它的输入为一张图片(Video Captioning 中输入为一个图片序列,但技术方案类似),输出是描述该图片语义的自然语言文本。


下图中有一些有趣的例子。


△ 一些有趣的 vision-to-text NLG 例子

同机器翻译的GNMT方案类似,Image Captioning 的技术方案也基于 Encoder-Decoder 框架,只是 Encoder 部分的神经网络从 LSTM 替换成了 CNN,用以准确刻画图片的语义信息。


同 GNMT 类似,引入 Attention 机制来智能选择影响 Decoder 部分生成文字的图像空间特征。具体的模型结构如图7所示。


△ Image Captioning 模型结构

NLG 技术的能力边界


NLG 技术,一个核心在于NL,即自然语言形式的文本,更易于普通人阅读;另一个核心在于G,即生成,但不是创作,不涉及深入地分析、提炼和推理。


在 Text to text NLG 中,本质上是将输入文本进行处理,映射到一个语义向量空间中,然后再用输出文本来表达同样的语义,而这一过程中语义信息本身并没有经过进一步加工。


Data to text NLG 的目的是将结构化数据嵌入自然语言文本中,便于普通人的快速阅读,即使有一些看似推理的结果(例如天气预报中根据下周七天的天气数据,输出「未来一周大部分时间晴好,仅周三有短时小雨」这样的文本),其实也是人为定义了新的结构化数据字段。


Vision to text NLG 中也是如此,只是用自然语言文本来表达原先图像表达的语义,也不涉及语义的进一步加工。


换句话说,目前的 NLG 技术并不能实现人类的「写作」过程 - 其中包括对大量输入信息的理解、提炼、分析、推理和重组,而仅能够给出输入信息(文本、数据和图像)的自然语言形式的表示。


NLG 技术生成的文本,单篇文本看起来会非常规范和优质,但把大量的生成文本放在一起,就会感觉出浓浓的机器味儿 - 更为模式化且缺少灵活性。因此,用「机器写作」来作为 NLG 的别称,是有点过于高看其能力了。

即便如此,由于机器可以不知疲倦且客观地工作,NLG 技术在下述场景中有了广泛的应用:


● 需要利用海量数据生成大量的自然语言文本,且零错误,如企业年报等;


● 需要极高的时效性,全天候检测热点/异常点,并实时生成文本内容,如突发新闻快讯等;


● 生成客观不带情感的内容,如财经快讯、体育快讯等;


● 根据受众特点,对相同的输入文本/数据/图像,生成符合受众特点的个性化文本内容,如商品文案等。

上一篇   如何用NLP与知识图谱支援MarTech建设?

提交成功

我们将在2个工作日内联系您,并为您开通试用账号

北京百炼智能科技有限公司商务合作联系
个人信息保护政策

欢迎您和我们联系!
请您在填写商务合作联系信息前仔细阅读《百炼智能商务合作联系个人信息保护政策》(以下简称“《个人信息保护政策》”)。
本政策仅适用于北京百炼智能科技有限公司官方网站、微信小程序以及微信公众号中商务合作联系功能。
生效日期:2020年11月26日
最近更新和发布日期:2020年11月26日
如果您对我们的《个人信息保护政策》有任何疑问、建议、投诉或举报,请通过以下联系方式与我们联系:
电子邮件: support@bailian.ai
电 话: 010-64934028
本政策将帮助您了解以下内容:
商务合作联系的个人信息收集使用规则
我们如何保护您的个人信息
您的权利
我们如何处理儿童的个人信息
您的个人信息如何在全球范围转移
本政策如何更新
如何联系我们
百炼智能深知个人信息对您的重要性,并会尽全力保护您的个人信息安全可靠。我们致力于维持您对我们的信任,恪守以下原则,保护您的个人信息:权责一致原则、目的明确原则、选择同意原则、最小必要原则、确保安全原则、主体参与原则、公开透明原则等。同时,百炼智能承诺,我们将按业界成熟的安全标准,采取相应的安全保护措施来保护您的个人信息。

一、《个人信息保护政策》的制定目的

感谢您选择和我们合作。为了满足您的商务合作需求,我们需要您留下包括联系方式在内的个人资料。我们希望通过我们的《个人信息保护政策》让您清楚地了解我们对信息的收集、使用方式,以及您可采用什么方式来保护自己的个人信息。如果您不同意我们的《个人信息保护政策》,请勿点击同意按钮或继续填写个人资料。如您在点击同意按钮后,完成个人资料的填写并提交,将视为您已经充分理解并完全接受我们的《个人信息保护政策》,并同意我们通过您提交的个人资料和您联系,接洽合作事宜。

二、《个人信息保护政策》的更新

我们的《个人信息保护政策》将根据产品和服务范围的变化适时更新和调整。当法律法规和监管政策发生变化时,《个人信息保护政策》将随之调整以符合法律法规和政策的要求。我们的个人信息保护政策可能变更。未经您明确同意,我们不会削减您按照本个人信息保护政策所应享有的权利。我们会在本页面上发布对本政策所做的任何变更。
对于重大变更,我们还会提供更为显著的通知,我们会通过电子邮件发送通知,说明个人信息保护政策的具体变更内容。
本政策所指的重大变更包括但不限于:
1、我们的服务模式发生重大变化。如处理个人信息的目的、处理的个人信息类型、个人信息的使用方式等;
2、我们在所有权结构、组织架构等方面发生重大变化。如业务调整、破产并购等引起的所有者变更等;
3、个人信息共享、转让或公开披露的主要对象发生变化;
4、您参与个人信息处理方面的权利及其行使方式发生重大变化;
5、我们负责处理个人信息安全的责任部门、联络方式及投诉渠道发生变化时;
6、个人信息安全影响评估报告表明存在高风险时。
我们还会将本政策的旧版本存档,供您查阅。
如果您不同意更改后的《个人信息保护政策》,请您立即和我们的工作人员联系,我们将及时彻底删除您提交所有的个人资料,但同时也无法继续和您保持联系。

三、信息搜集使用规则
1、我们收集哪些您的个人信息
我们收集并使用您用于商务合作联系的个人资料,是为了保证我们的工作人员及时和您取得联系,以满足您和百炼智能进行商务合作、媒体合作、产品试用或其他合作的需求,个性化您对百炼的体验和与之的互动,以建立和管理您与百炼的商务合作关系并为您提供更好的服务。
必要的联系信息。您选择通过商务合作联系功能和我们取得联系,则需要向我们提供或允许我们收集的必要信息包括:您的姓名、用于商务联系的电话和邮箱、您任职的公司和在公司的职务。共计5类个人信息。
您还可以自主选择【需求描述】中填写并向我们提供更详细的资料。这些信息也可能包括您或他人的个人信息。这并非该业务功能运行所必需,但您对商务合作需求的具体描述对我们了解您的商务合作需求、改善我们的服务质量等有非常重要的意义。我们并未强制要求您提供这些信息,您可以自行选择如何填写。

2、我们如何使用您的个人信息
对于必要的个人信息,我们会用来和您取得联系,以及时回应您的商务合作需求。
对于非必要的个人信息,我们的工作人员或阅读和分析,以更精准地定位您的合作需求。

3、我们如何委托处理、共享、转让、公开披露您的个人信息
(1)委托处理
本商务合作联系的某些具体的模块或功能由外部供应商提供。例如我们会聘请服务提供商来协助我们提供客户支持。对我们委托处理个人信息的公司、组织和个人,我们会与其签署严格的保密协定,要求他们按照我们的要求、本个人信息保护政策以及其他任何相关的保密和安全措施来处理个人信息。
(2)共享
我们不会与本公司以外的任何公司、组织和个人分享您的个人信息,除非获得您的明确同意。
我们可能会根据法律法规规定,或按政府主管部门的强制性要求,对外共享您的个人信息。
(3)转让
我们不会将您的个人信息转让给任何公司、组织和个人,但以下情形除外:
a) 在获取明确同意的情况下转让:获得您的明确同意后,我们会向其他方转让您的个人信息;
b) 在涉及合并、收购或破产清算时,如涉及到个人信息转让,我们会在要求新的持有您个人信息的公司、组织继续受此个人信息保护政策的约束,否则我们将要求该公司、组织重新向您征求授权同意。
(4)公开披露
我们仅会在以下情形下,公开披露您的个人信息:
a) 获得您明确同意后;
b) 基于法律的披露:在法律、法律程序、诉讼或政府主管部门强制性要求的情况下,我们可能会公开披露您的个人信息。

4、请审慎填写和提交您的个人信息!
我们尊重并保护您的隐私,请您在填写和提交个人资料时尽量避免涉及您的个人隐私或敏感信息,请确认您填写和提交的电话和邮箱均系用于商务合作联系的目的,以免我们的同事和您联系时打扰到您的私人生活。

四、个人信息保护规则
我们如何保护您的个人信息
(一)我们已使用符合业界标准的安全防护措施保护您提供的个人信息,防止数据遭到未经授权访问、公开披露、使用、修改、损坏或丢失。我们会采取一切合理可行的措施,保护您的个人信息。
(二)我们已经取得了以下认证:国家信息系统安全等级保护”三级
(三)我们会采取一切合理可行的措施,确保未收集无关的个人信息。我们只会在达成本政策所述目的所需的期限内(通常不超过12个月)保留您的个人信息,除非需要延长保留期或受到法律的允许。
(四)我们将定期更新并公开安全风险、个人信息安全影响评估等报告的有关内容。您可通过以下方式获得:(1)登录访问我们的网页;(2)及时联系我们的客服(电话: 010-64934028 ;电子邮件: support@bailian.ai )。
(五)互联网环境并非百分之百安全,我们将尽力确保或担保您发送给我们的任何信息的安全性。如果我们的物理、技术、或管理防护设施遭到破坏,导致信息被非授权访问、公开披露、篡改、或毁坏,导致您的合法权益受损,我们将承担相应的法律责任。
(六)在不幸发生个人信息安全事件后,我们将按照法律法规的要求,及时向您告知:安全事件的基本情况和可能的影响、我们已采取或将要采取的处置措施、您可自主防范和降低风险的建议、对您的补救措施等。我们将及时将事件相关情况以邮件、信函、电话、推送通知等方式告知您,难以逐一告知个人信息主体时,我们会采取合理、有效的方式发布公告。同时,我们还将按照监管部门要求,主动上报个人信息安全事件的处置情况。

五、个人信息权利的告知
请关注您的权利
按照中国相关的法律、法规、标准,以及其他国家、地区的通行做法,我们保障您对自己的个人信息行使以下权利:
(一)访问您的个人信息
您可以随时使用我们的 Web 表单联系,或发送电子邮件至 support@bailian.ai ,我们将在15天内回复您的访问请求。
对于您在使用我们的产品或服务过程中产生的其他个人信息,只要我们不需要过多投入,我们会向您提供。如果您想行使数据访问权,请发送电子邮件至 support@bailian.ai
(二)更正您的个人信息
当您发现我们处理的关于您的个人信息有错误时,您有权要求我们作出更正。您可以随时使用我们的 Web 表单联系,或发送电子邮件至 support@bailian.ai ,我们将在15天内回复您的更正请求。
(三)删除您的个人信息
在以下情形中,您可以向我们提出删除个人信息的请求:
1、如果我们处理个人信息的行为违反法律法规;
2、如果我们收集、使用您的个人信息,却未征得您的同意;
3、如果我们处理个人信息的行为违反了与您的约定。
若我们决定响应您的删除请求,我们还将同时通知从我们获得您的个人信息的实体,要求其及时删除,除非法律法规另有规定,或这些实体获得您的独立授权。当您从我们的服务中删除信息后,我们可能不会立即在备份系统中删除相应的信息,但会在备份更新时删除这些信息。
(四)改变您授权同意的范围
每个业务功能需要一些基本的个人信息才能得以完成。对于额外收集的个人信息的收集和使用,您可以随时给予或收回您的授权同意。您可以随时使用我们的 Web 表单联系,或发送电子邮件至 support@bailian.ai
当您收回同意后,我们将不再处理相应的个人信息。但您收回同意的决定,不会影响此前基于您的授权而开展的个人信息处理。
如果您不想接受我们给您发送的商业合作信息,您随时使用我们的 Web 表单联系,或发送电子邮件至 support@bailian.ai
(五)约束信息系统自动决策
在某些业务功能中,我们可能仅依据信息系统、算法等在内的非人工自动决策机制作出决定。如果这些决定显著影响您的合法权益,您有权要求我们作出解释,我们也将提供适当的救济方式。
(六)响应您的上述请求
为保障安全,您可能需要提供书面请求,或以其他方式证明您的身份。我们可能会先要求您验证自己的身份,然后再处理您的请求。我们将在15天内作出答复。如您不满意,还可以通过以下途径投诉:电话: 010-64934028 ;电子邮件: support@bailian.ai
对于您合理的请求,我们原则上不收取费用,但对多次重复、超出合理限度的请求,我们将视情收取一定成本费用。对于那些无端重复、需要过多技术手段(例如,需要开发新系统或从根本上改变现行惯例)、给他人合法权益带来风险或者非常不切实际(例如,涉及备份磁带上存放的信息)的请求,我们可能会予以拒绝。
在以下情形中,我们将无法响应您的请求:
1、与个人信息控制者履行法律法规规定的义务相关的;
2、与国家安全、国防安全直接相关的;
3、与公共安全、公共卫生、重大公共利益直接相关的;
4、与刑事侦查、起诉、审判和执行判决等直接相关的;
5、个人信息控制者有充分证据表明个人信息主体存在主观恶意或滥用权利的;
6、出于维护个人信息主体或其他个人的生命、财产等重大合法权益但又很难得到本人同意的;
7、响应个人信息主体的请求将导致个人信息主体或其他个人、组织的合法权益受到严重损害的;
8、涉及商业秘密的。

六、未成年人的个人信息的处理
我们的产品、网站和服务主要面向商务组织和商务人士。我们不搜集或接收未成年人的个人信息。尽管当地法律和习俗对未成年人的定义不同,但我们将不满 18 周岁的任何人均视为未成年人。
如果我们发现自己在未事先获得可证实的父母同意的情况下收集了儿童的个人信息,则会设法尽快删除相关数据。

七、您的个人信息如何在全球范围转移
原则上,我们在中华人民共和国境内收集和产生的个人信息,将存储在中华人民共和国境内。
由于我们通过遍布全球的资源和服务器提供产品或服务,这意味着,在获得您的授权同意后,您的个人信息可能会被转移到您使用产品或服务所在国家/地区的境外管辖区,或者受到来自这些管辖区的访问。
此类管辖区可能设有不同的数据保护法,甚至未设立相关法律。在此类情况下,我们会确保您的个人信息得到在中华人民共和国境内足够同等的保护。例如,我们会请求您对跨境转移个人信息的同意,或者在跨境数据转移之前实施数据去标识化等安全举措。

八、《个人信息保护政策》的执行和监督
我们会定期检查本《个人信息保护政策》的执行情况。如果您对我们的《个人信息保护政策》有任何疑问、建议、投诉或举报,请联系我们(电话: 010-64934028 ;电子邮件: support@bailian.ai )。
一般情况下,我们将在十五天内回复。
如果您对我们的回复不满意,特别是我们的个人信息处理行为损害了您的合法权益,希望您能和我们联系,我们将秉持最大善意寻求协商解决。如争议无法通过协商解决,您还可以向政府相关管理机构投诉或通过仲裁、诉讼等争议解决方式