【知识点】情感分析与观点挖掘

情感分析与观点挖掘，是一个研究领域，分析人们的观点，意见，情绪，评价，评估，态度和情感。随着互联网与社交媒体的普及，网络上的内容激增，政府、企业等各种机构越来越重视利用自然语言处理技术对特定的语音和文字等内容进行情感分析与观点挖掘。自2000年初以来，情感分析已成为自然语言处理中最活跃的研究领域之一。在数据挖掘、Web挖掘和文本挖掘中也有广泛的研究。事实上，由于计算机科学对商业和整个社会的重要性，它已经从计算机科学传播到管理科学和社会科学。情感分析系统在几乎所有商业和社会领域都有应用。情感分析旨在识别语音或书面文本并将其分类为正面、负面或中性。

 

新闻和社交媒体报道的很大一部分包含具有明显经济相关性的观点。例如，产品和旅行评论或知名博主的文章会影响消费者的购买决定。因此，用于处理这种用户生成内容的情感分析和其他观点挖掘技术对于旨在与大型用户社区互动的决策者来说变得势在必行。因为社交媒体情感分析工具，可以用于产品或者品牌的商业调查，利用情感分析工具客观准确地分析相关社交媒体中的表情符号、主题标签、评论甚至视频内容，以确定这些评论是正面的、负面的还是中性的。为用户提供社交媒体评价指标的准确图景。

 

观点挖掘和情感分析模型可以关注意见的极性（正面、负面、中性）、个人感受（愤怒、快乐、悲伤等）以及意图或目标（感兴趣或不感兴趣）。 

 

情感分析功能根据服务在句子和文档级别找到的最高置信度得分提供情感标签（例如“负面”、“中性”和“正面”）。此功能还为每个文档和其中的句子返回 0 到 1 之间的置信度分数，用于正面、中性和负面情绪。

 

观点挖掘是情感分析的一个特征。在自然语言处理(NLP) 中也称为基于方面的情感分析，此功能提供有关文本中与单词相关的意见（例如产品或服务的属性）的更精细的信息。旨在从文本中发现和提取特定的情绪（愤怒、失望、刺激、快乐等）。先进的机器学习算法允许文本分析程序直接从样本文本中学习，因此它们可以理解人类语言的细微差别，甚至可以检测到讽刺和挖苦。

 

观点挖掘最常见的用途是根据观点极性对评论和陈述进行分类。这可以是简单的正面、负面或中性，或者您可以超越这一点，进入更精细的情感分析，包括：

• 非常积极

• 积极的

• 中性的

• 消极的

• 非常消极

这通常用于民意调查或调查，例如：

• 非常积极 = 5 星

• 非常负面 = 1 星

情感分析工具允许您进行开放式调查分析或跟踪社交媒体上的情绪。

 

比如：微软的Azure 语言认知服务是一项基于云的服务，它提供自然语言处理 (NLP) 功能来理解和分析文本。允许您的应用使用预构建的脚本处理自然语言、评估情绪并了解如何识别用户的需求。使用此服务可帮助使用基于 Web 的 Language Studio、REST API 和客户端库构建智能应用程序。

产品网址：https://docs.microsoft.com/en-us/azure/cognitive-services/

 

文本挖掘和情感分析的区别

项目	文本挖掘	情感分析
作用	显示客户对您的产品或服务的评价；什么想法通常在文本中联系在一起。它还显示用户和客户讨论最多的主题和话题。	让您了解您的客户是积极、消极还是中立地评论您的产品或服务。您甚至可以超越非文本反馈，例如视频、音频和图像。当客户微笑时，与客户皱眉时相比，您可以轻松理解客户感到满意。
如何提供帮助	帮助识别早期警告，表明您的组织正陷入困境或您的产品或服务存在问题。	负分表示您的客户正处于您的产品或服务的边缘。
工作原理	获得专利的NLP技术可以像处理人脑一样处理基于文本的数据，但这是通过专有算法完成的，以识别相关联的语音、单词或想法，并全面确定数据库中的模式和趋势。	重点是确定单词和短语是积极的、消极的还是中性的。这主要是在 -1 到 +1 的范围内完成的，其中 -1 是极负的，+1 是绝对正的。

情感分析主要涉及分析文本中表达的观点，因此讨论不同类型的很重要。广义上的观点可以普遍地划分和比较。

1.常规意见，通常在文献中被简单地称为意见，有两种主要的子类型，称为直接意见和间接意见。任何对实体或对象直言不讳的意见都可以归类为直接意见。例如，“ iPhone可以拍出高质量的照片。” 间接意见间接地形成对实体或对象的意见，并通常参考外部实体形成这种意见。比如 ‘坐在椅子上十个小时后，我背痛严重’ 解释了“痛”的原因，并直接提出了对坐在椅子上的负面评价。

2.意见比较，表达了意见持有者在对该特定实体与其他实体之间的异同进行比较分析后对该实体的偏好。形容词的比较或最高级形式通常用于表达比较意见。“ iPhone手机比安卓手机有更好的性能”是意见的一个例子。根据意见的表达方式，意见也可以分为隐性意见和显性意见。例如可以提出一般性意见或比较性意见，通常是比较适合的表述。“ iPhone的”指标和“iPhone 的性能比安卓手机好” 。隐含的意见也称为隐性的意见，用来建议或比较意见。例如，“我 一周前买了一些Android 手机，它已经开始时不时地滞后”。

 

情感分析的应用

意见是所有人类活动不可分割的一部分，因为它们影响我们的行为并在决策过程中发挥重要作用。在做决定时，我们往往会在意他人的意见。古时候，人们在征求意见时，常常向亲朋好友询问。同样，每当企业和组织需要一些意见时，他们都会进行调查、民意调查和焦点小组。事实上，收集公众意见和消费者观点一直是营销、公共关系和政治竞选公司的一项业务。

 

今天，随着网络使用的迅速增长和互联网在世界许多地方的可访问性增加，网络中生成的内容量，如评论、论坛讨论、微博、推特、博客、社交网站上的帖子是以爆炸性的速度增长。今天，人们很少向他们的朋友或家人征求意见，他们会利用网络上的评论和意见。对于企业和组织来说，他们也很少需要进行调查和民意调查来收集公众意见，因为他们可以从互联网上公开的来源收集这些意见，例如评论论坛或微博和社交网站。然而，收集和监控网络上的自媒体的内容并从这些内容中提取具体的可用信息仍然是一项艰巨的任务。由于网站的多样性和大量自媒体的文本，普通人类读者几乎不可能从网络上的此类内容中提取和总结意见。因此，有必要建立自动化的情感分析系统。

 

情感分析可以通过丢弃文本中的主观信息而仅利用客观内容来进行信息提取。它还可以帮助识别以意见为导向的问题，并在回答此类问题时寻求答案。此外，情感分析考虑了多个观点，从而创建了观点的总结。它还可以用于“热点”检测、新闻中的偏见识别、过滤不适当的广告投放内容、过滤脏话和基于评论的不合适的视频等。情感分析的应用可以在每个可能的领域中被注意到，从企业和服务、消费品、医疗保健、社会活动和政治选举到金融服务。

 

1.情感分析在商业情报中的应用——如今的企业很难忽视情感分析的应用。如果利用得当，从情感分析中获得的信息可以使品牌彻底振兴。根据情感分析后得出的总结意见审查，企业可以估计他们的客户保留率，调整当前的市场情况并制定解决客户不满的计划。情感分析通过帮助他们利用自动化洞察力做出即时决策，使业务变得更加动态。创意测试在业务中非常重要，可以推出任何重大变化或引入下一个大创意。

通过情感分析，企业可以轻松推出任何新想法，例如新产品、活动、新徽标等，以进行创意测试并分析其附带的情感。由于情感分析可以应用于任何文本，因此对于企业来说，对其竞争对手的公开可用的有意见的文本进行情感分析也是谨慎的做法。这使企业能够了解他们的竞争对手在哪些方面做得更好，并制定计划从竞争对手那里挖走客户。获得超越竞争对手的领先优势。拥有良好的产品或服务并不总是足以让企业建立声誉并吸引客户。在线营销、社交活动、内容营销和客户支持在使企业受欢迎和留住客户方面发挥着重要作用。情感分析考虑了所有这些因素，并量化了当前和潜在客户的感知。了解负面情绪后，企业可以对其品牌和营销策略进行必要的更改，以吸引更多客户并使他们能够快速过渡。

2.情感分析在政治中的应用—— 情感分析已被政治活动家广泛用于分析趋势和识别意识形态偏见。在政治运动中，衡量人群的反应并为特定目标人群找出合适的信息或议程是典型的，可以利用情感分析来完成上述所有任务。同样，情感分析有助于政党深入了解公众对其政策的意见，并评估公众或选民的意见。

3.情感分析在社会学中的应用—— 在社会学中，通过群体传播思想是一个重要的概念。识别意见和对想法的反应在决定是否采用任何新想法方面起着重要作用。情感分析可用于检测大众对任何新概念或想法的反应。

简而言之，人是主观的创造物。意见和情感对人类具有更大的重要性，能够在该层次上与人进行交互对信息系统具有重要意义。

情感分析的挑战

尽管情感分析有很多应用，但由于存在许多障碍，构建最先进的情感检测工具具有挑战性。情感分析处理人们表达的观点，人们使用许多复杂的方式来表达他们的观点。

此外，表达意见的背景在确定情绪方面也起着重要作用。例如，“我的整个卖家在为商品收取更多费用时做得非常出色”。在执行情感分析时考虑表达意见的复杂性和背景是非常具有挑战性的。

另外，在进行情感分析时，情感歧义和讽刺也很难考虑，并可能导致将句子标记到不正确的组中。有时，带有肯定或否定词的句子并不一定意味着它表达了这种情绪。例如“你能推荐一款很棒的手机吗？”。虽然，这句话有积极的词“awesome”，但它并没有表达积极的情绪。

同样，有些句子虽然没有情感词，但也能表达情感。例如“这个软件使用了大量的计算机内存。”尽管它不包含任何情感词，但包含负面情感。

讽刺是另一个可以改变表达句子整体情绪的因素。例如“当然，我今天有足够的时间来校对你的文章，而我的论文明天就要提交了。”

此外，用于表达观点的语言本身对进行情感分析也是一个挑战。解释所有的俚语、方言和语言变化是非常具有挑战性的。

情感词也称为意见词，毫无疑问是最重要的情感标识符。积极情绪词，如：太棒了,很棒,好,令人惊异的等，消极情绪词如：可怕、坏、怕等，通常用于表示积极或消极情绪。除了个人情感词外，短语和习语也可以用作情感标识符，并在情感分析中发挥重要作用。情感词典也称为意见词典，是此类单词、短语和习语的列表。许多研究人员已经使用不同的技术来编译和使用此类情感词典来完成情感分析任务，并且在许多情况下都很有用，但是它们也有一些限制，如下所示：

• 情感词的方向可能取决于应用领域。例如，“suck”这个词通常表示负面情绪，例如“ This phone suck”，但在不同的领域使用时可以反映积极的方向，例如“ This Vacuum tube sucking air”。

• 讽刺句子中的情感词很难解释。与使政治观点难以处理的产品评论相比，讽刺在政治讨论中最为普遍。

• 一个句子可能不一定表达情感，尽管它包含情感词。疑问句和条件句是此类句子的两个示例。例如“你能告诉我三星 Note 7 是不是好手机吗？”。虽然，这句话包含“好”这个词，但它并不能反映积极的情绪。

最后，重要的是要解决情感分析的潜在问题是自然语言处理（NLP）这一事实。情感分析与 NLP 的主要元素如否定处理、分离词消歧、会议决议等密切相关。虽然情感分析是一个非常狭窄的 NLP 问题，但由于上述 NLP 的主要元素，它是非常困难的。与情感分析有关。这些问题本身在 NLP 中并没有具体的解决方案来用于情感分析任务。

社交媒体情感分析的挑战

随着社交网站和移动技术的出现，网络上自媒体的内容数量正在增加。来自世界各地的人们可以在网络上自由地表达他们的观点和意见。人们很少担心在网络上发布他们的想法的后果，他们甚至可能使用匿名来表达他们的意见。尽管人们的这些意见对于社交媒体分析师和情感分析非常有价值，但它是有代价的。不管怎么说，当人们不必担心他们在互联网上发表意见的后果时，怀有恶意心态的人很可能会利用这种自由。人们可以伪造他们的观点并在互联网上发布有偏见的评论，以贬低任何人、产品、组织等。不仅是人们，一些组织和商业公司也不回避发布虚假评论、论坛讨论和在线帖子，以散布有关竞争对手的负面谣言，以获得市场竞争优势。这些发布虚假评论和意见的个人和组织被称为意见垃圾发送者，这种发布有偏见的意见的趋势被称为意见垃圾。

 

在研究社交媒体情感分析时，意见垃圾发送者和意见垃圾是一个主要问题。意见垃圾发送者倾向于扭曲情感分析的结果并显示有偏见的结果，因此检测任何意见垃圾至关重要。在进行社交媒体情感分析时，只能考虑受信任的来源和评论，以减轻意见垃圾发送者和意见垃圾的影响。

小编知识星球上传了八篇“观点挖掘与情感分析”相关的文档资料：

1.《观点挖掘与情感分析-挑战与应用》

2.《观点挖掘与情感分析》

3.《情感分析与观点挖掘》

4.《希腊社交媒体的情感分析与观点挖掘综述》

5.《语义对观点挖掘的影响》

6.《国家安全舆论挖掘：技术、领域应用、挑战和研究机遇》

7.《十多年的社会观点挖掘：一个系统的回顾》

8.《Azure认知服务》

上述原文PDF文档和机器翻译已上传小编知识星球

长按识别下面的二维码可加入星球

里面已有近千篇资料可供下载

越早加入越便宜哦

 

原文始发于微信公众号（丁爸 情报分析师的工具箱）：【知识点】情感分析与观点挖掘