ROST情感分析的语法规则_NLP技术之句法分析-程序员宅基地

技术标签: ROST情感分析的语法规则  

文章参考链接:https://www.jianshu.com/p/fb408b6a0904

NLP任务中的第二个环节就是句法分析,句法分析的基本任务是确定句子的语法结构或句子中词汇之间的依存关系。句法分析不是一个自然语言处理任务的最终目标,但它往往是实现最终目标的关键环节。
句法分析分为句法结构分析和依存关系分析两种。以获取整个句子的句法结构为目的的称为完全句法分析,而以获得局部成分为目的的语法分析称为局部分析,依存关系分析简称依存分析。
一般而言,句法分析的任务有三个:
判断输出的字符串是否属于某种语言
消除输入句子中词法和结构等方面的歧义
分析输入句子的内部结构,如成分构成、上下文关系等。
第二三个任务一般是句法分析的主要任务。


一般来说,构造一个句法分析器需要考虑两部分工作:一部分是语法的形式化表示和词条信息描述问题,形式化的语法规则构成了规则库,词条信息等由词典或同义词表等提供,规则库与词典或同义词表构成了句法分析的知识库;另一部分就是基于知识库的解析算法了。
语法形式化属于句法理论研究的范畴,目前在自然语言处理中广泛使用的是上下文无关文法(CFG)和基于约束的文法,后者又称合一文法。


简单的讲,句法结构分析方法可以分为基于规则的分析方法和基于统计的分析方法两大类。
基于规则的句法结构分析方法的基本思路是,由人工组织语法规则,建立语法知识库,通过条件约束和检查来实现句法结构歧义的消除。


根据句法分析树形成方向的区别,人们通常将这些方法划分为三种类型:自顶向下的分析方法,自底向上的分析方法和两者相结合的分析方法。自顶向下分析算法实现的是规则推导的过程,分析树从根结点开始不断生长,最后形成分析句子的叶结点。而自底向上分析算法的实现过程恰好想法,它是从句子符号串开始,执行不断规约的过程,最后形成根节点。
基于规则的语法结构分析可以利用手工编写的规则分析出输入句子所有可能的句法结构;对于特定领域和目的,利用有针对性的规则能够较好的处理句子中的部分歧义和一些超语法(extra-grammatical)现象。


但对于一个中等长度的输入句子来说,要利用大覆盖度的语法规则分析出所有可能的句子结构是非常困难的,而且就算分析出来了,也难以实现有效的消歧,并选择出最有可能的分析结果;手工编写的规则带有一定的主观性,还需要考虑到泛化,在面对复杂语境时正确率难以保证;手工编写规则本身就是一件大工作量的复杂劳动,而且编写的规则领域有密切的相关性,不利于句法分析系统向其他领域移植。


基于规则的句法分析算法能够成功的处理程序设计语言的编译,而对于自然语言的处理却始终难以摆脱困境,是因为程序设计语言中使用的知识严格限制的上下文无关文法的子类,但自然语言处理系统中所使用的形式化描述方法远远超过了上下文无关文法的表达能力;而且人们在使用程序设计语言的时候,一切表达方式都必须服从机器的要求,是一个人服从机器的过程,这个过程是从语言的无限集到有限集的映射过程,而在自然语言处理中则恰恰相反,自然语言处理实现的是机器追踪和服从人的语言,从语言的有限集到无限集推演的过程。
完全语法分析


基于PCFG的基本分析方法
基于概率上下文无关文法的短语结构分析方法,可以说是目前最成功的语法驱动的统计句法分析方法,可以认为是规则方法与统计方法的结合。
PCFG是CFG的扩展,举个例子:

c245f84d0ce078187101e236fdefbacb.png


PCFG
当然,同一个符号不同生成式的概率之和为1。NP是名词短语、VP是动词短语、PP是介词短语。
基于PCFG的句法分析模型,满足以下三个条件:
位置不变性:子树的概率不依赖于该子树所管辖的单词在句子中的位置
上下文无关性:子树的概率不依赖于子树控制范围以外的单词
祖先无关性:子树的概率不依赖于推导出子树的祖先节点
根据上述文法,『He met Jenny with flowers』有两种可能的语法结构:

a32beaf2a0112587582f8447f2129efe.png


而且我们可以通过将树中的所有概率相乘,得到两棵子树的整体概率&

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_39577289/article/details/110351273

智能推荐

UiBot初体验-来也科技UiBot下载安装教程_来也rpa下载-程序员宅基地

文章浏览阅读2.5k次。UiBot是来也科技开发的一款RPA流程自动化开发工具。官网下载地址:https://tg.uibot.com.cn/sem/brandPromotion2/official02.html点击免费试用,简单粗暴,不需要填用户信息,直接下载。安装好后,打开UiBot开发工具:免费注册后,登录。 会有新手指引,教你如何创建一个新的工程。我觉得这个新手引导做的非常好。上图是开发工具主界面,有了流程组件,就比UiPath的流程更清晰,更加直观。开发流程上来讲,和UiPath基本类似,容易上手;_来也rpa下载

【机器学习】K-means三维聚类,进阶版,python_kmeans三维聚类-程序员宅基地

文章浏览阅读1.6w次,点赞13次,收藏135次。K-means是一种常用的聚类算法,进阶版展示如下,代码传送门:import randomfrom sklearn import datasetsimport numpy as npimport matplotlib.pyplot as pltfrom mpl_toolkits.mplot3d import Axes3D# 正规化数据集 Xdef normalize(X, a..._kmeans三维聚类

第17章 Docker 中 MongoDB 的安装与配置及使用_docker mongodb environment-程序员宅基地

文章浏览阅读796次。第17章 Docker 中 MongoDB 的安装与配置及使用2018-10-14文章目录第17章 Docker 中 MongoDB 的安装与配置及使用前言目标环境介绍快速参考(Quick reference)什么是MongoDB?如何使用此镜像启动mongo服务器实例从另一个Docker容器连接到MongoDB...通过docker stack deploy或docker-compose`compose`容器shell访问和查看MongoDB日志Configuration无需配置文件即可自定义配置_docker mongodb environment

庞伯特牛逼!_旁伯特-程序员宅基地

文章浏览阅读400次。公司科技信息分享群里老板分享了个信息:https://youtu.be/sWDTXIaPLU0. 乒乓球机器人国内相关文章:https://www.163.com/dy/article/FQF5SBJ20511PT5V.htmlCCTV1的一个节目中乒乓球机器人—— 庞伯特 与“世界乒坛皇后”邓亚萍老师以及同样继承了她超强基因的儿子林翰铭之间进行了一场深度的“亲密接触”。作为一个乒乓球多年的爱好者,我的感想是:一个是知己知彼百战不殆;另外一个是比较初级的打球者,在指导.._旁伯特

无穷小微积分教材,何处寻?_无穷小微积分”,访问该网站,下载“elementary calculus”,-程序员宅基地

文章浏览阅读1.3k次。无穷小微积分教材,何处寻? 今年7月8日,北京大学就要放暑假了。00后大学生终于松了一口气。 在暑假期间,我们推荐一本无穷小微积分电子版教材给大家阅读消化。 这本电子版微积分教材可以放入手机中随时、随地阅读教材的有关章节,真体会“学微积,用手机”的滋味。 然而,无穷小微积分教材,何处寻呢?不难。读者只要百度一下“无穷小微积分”,进入“无穷小微积分”网站之后,点击图标“..._无穷小微积分”,访问该网站,下载“elementary calculus”,

Unity -Demo 之 接入“科大讯飞”语音识别SDK(完整)_unity自带的语音识别功能 demo-程序员宅基地

文章浏览阅读10w+次,点赞34次,收藏94次。Unity接入讯飞的SDK使用准备工具:1.语音识别的基本知识2.讯飞的官网注册信息并创建一个应用用于使用SDK正文一.Android Studio操作1.工程开始在AS新建一个工程,名字随便。然后新建一个module,起一个名字File-new-new Module(下图)2.建立相应文件夹然后在java文件夹下新建两个文件夹便于管理语音识别跟语音唤醒,再新建一个MainActivity.class(下图)3.接入Unity的ckasses.jar包把Unity的class_unity自带的语音识别功能 demo

随便推点

下载官方 Win11、Win10 镜像 ISO 的方法_limbowin11镜像文件iso-程序员宅基地

文章浏览阅读1.2w次,点赞7次,收藏55次。下载官方 Win11、Win10 镜像 ISO 的方法下载 Windows 11下载 Windows 10安装 WindowsWindows 11 官方下载网址:https://www.microsoft.com/zh-cn/software-download/windows11Windows 10 官方下载网址:https://www.microsoft.com/zh-cn/software-download/windows10下载 Windows 11  下载 Windows 11 镜像 I_limbowin11镜像文件iso

AttributeError: ‘str‘ object has no attribute ‘shape‘_attributeerror: 'str' object has no attribute 'sha-程序员宅基地

文章浏览阅读1.1w次。出现错误:AttributeError: ‘str’ object has no attribute ‘shape’解决方案:将后面的result改为result.array_attributeerror: 'str' object has no attribute 'shape

数据架构的机器学习集成:如何将机器学习算法集成到数据架构中-程序员宅基地

文章浏览阅读782次,点赞8次,收藏15次。1.背景介绍随着数据的规模不断扩大,数据架构在数据科学中的重要性日益凸显。数据架构是数据科学的基础,它决定了数据的存储、管理、处理和分析方式。随着机器学习技术的不断发展,将机器学习算法集成到数据架构中成为了一项重要的任务。在这篇文章中,我们将探讨如何将机器学习算法集成到数据架构中,以便更好地利用数据资源,提高机器学习模型的性能。我们将从以下几个方面进行讨论:背景介绍核心概念与联系...

开始挖掘数据前,该如何认识我们手上的数据?_如何挖掘到自己需要的数据-程序员宅基地

文章浏览阅读202次。(自己的认知与理解有限,文中错误、不当之处还请诸位不吝指出,大家共同进步) 数据是重要、应该被充分利用的,这一点大家都是认同的,就像我们的个人信息(尤其是手机号)被肆意的售卖,各种推销、诈骗电话屡见不鲜,虽然我们对此大为光火,但是对推销员和诈骗犯来说,人家确实利用到了数据,而且总能钓上几条鱼。作为一名数据挖掘工作者来说,可能没法在一线搜集数据,但是充分理解到手的数据是接下来一切工作..._如何挖掘到自己需要的数据

ireport中detail的伸展问题解决_ireport detail跨行分页-程序员宅基地

文章浏览阅读6.2k次。问题:ireport内容伸展问题。和分页时导致数据变成2行的问题。本身应该是一行数据,由于分页被分割成了2行的错误效果设计时:勾选,伸展到band高度在页面属性中,勾选忽略分页(如果分页的话,detail内容多时,会被截断成2行内容。容易导致无法区分,数据错误)..._ireport detail跨行分页

(66)Nginx+lua+Redis开发-程序员宅基地

文章浏览阅读85次。一. 概述Nginx是一个高性能,支持高并发的,轻量级的web服务器。目前,Apache依然web服务器中的老大,但是在全球前1000大的web服务器中,Nginx的份额为22.4%。Nginx采用模块化的架构,官方版本的Nginx中大部分功能都是通过模块方式提供的,比如Http模块、Mail模块等。通过开发模块扩展Nginx,可以将Nginx打造成一个全能的应用服务器,这样可以将一..._access_by_lua 代理redis

推荐文章

热门文章

相关标签