【资料】数据和社交媒体分析

本文机器翻译由百分点智能翻译提供

官网地址：http://translate.percent.cn/

公司官网：https://www.percent.cn/

导言

“大数据”正在迅速成为包括教育在内的许多领域对企业非常重要的领域。简而言之，它指的是来自各种来源的数据和数据中的理解模式的组合，这些数据可用于各种目的，例如改进市场情报和教育研究。大型和小型企业正在实施（或计划实施）大型数据战略。除了市场情报外，它还应用于保健及其他科学研究、航空和重型机械等复杂制造业、改善公用事业和交通管理、石油和天然气勘探、电信、零售、银行和保险、国防和安全等领域。

本文介绍了大数据及其在教育等领域的一些应用。我们还描述了使用大数据监控社交媒体（例如LinkedIn、Facebook和Twitter）促进市场增长和品牌管理。文章介绍了各高校开设的大数据培训课。

本文提到的教育行业的应用包括综合各种关于学生的信息来源，如考试记录、行为模式和教师观察一段时间，以提供更准确和及时的干预。此外，我们还讨论了新的评估形式，如电子评估和适应性测试，这些评估将提供新的数据流，可用于更详细地研究考生的表现，以及监测和评估测试。

大数据

近年来的技术进步已导致在日常生活中产生了大量数据，如购物、旅游、银行、制造业和贸易、公用事业、国家和治理、体育、娱乐、科学、教育和保健。商业组织、研究机构和政府已经开始认识到利用这些数据促进其增长的重要性。因此，大数据的研究在不同研究领域的学者中越来越突出(Einav&Levin，2013；Mayer-Schbnberger&Cukier，2013)，也引起了非学术世界的兴趣(BBC，2013；Lohr，2012)。

大数据的概念包括数据收集、从各种来源收集的数据的组合、对其进行处理和使用由此获得的结果。具体而言，大数据是用于需要复杂处理和可视化的大数据库的术语，传统数据处理软件无法高效地处理它们(Wikipedia，2014a)。麦肯锡全球研究所(McKinsey Global Institute)称，“大数据是指数据集，其大小超出了典型数据库软件工具捕获、存储、管理和分析的能力”（Manyika etal. ,Gartner Inc. 的著名大数据模型(称为3V模型)将其定义为“大数据是高容量、高速度和/或高多样性的信息资产，需要新的处理形式来增强决策、洞察力发现和过程优化”(Beyer&Laney，此处的“卷”一词表示数据集的复杂性，不一定表示数据集的大小。“多样性”是指不同的结构化或非结构化数据，如文本和数字、视频、音频和日志文件。“速度”是指数据可用于分析的速度。有时候，其他的V，如“真实性”（旨在实现数据的完整性和组织自信地使用数据的能力）或“价值”（新数据是否能使组织获得更多的价值？）还突出强调了(Swoyer，2012年；Villanova大学，2014年)。

近年来，大数据的潜力越来越大，导致政府资助了几项新举措。欧盟最近启动了“大数据公营私人论坛”(Big Data Public PrivateForum，简称BIG Project)，与学术界、企业和其他利益攸关方接触，制定研究大数据的明确战略。该项目的成果将被用作"地平线2020"的投入，该举措旨在确保欧洲的全球竞争力，在欧洲创造新的增长和就业机会(BIG，2014；欧洲联盟委员会，美国政府宣布为2012 年“大数据研究与发展倡议”提供资金 2 亿美元，该倡议旨在从科学与工程、国家安全以及教学和学习等领域的大量复杂数据收集中获得见解（Kalil，2012年)。美国国家安全局正在犹他州建设数据中心，处理他们在互联网上收集的信息。与这项开发有关的隐私可能会引起一些担忧，因为它可能导致收集个人的个人数据，如互联网接入历史、私人通信、信用卡使用和健康记录，等等。

预计在犹他州设施内处理的数据量很可能在“约塔字节”（Yottabytes）——国际单位系统（Sl）中最大的单位前缀，并于1991年加入。一个字节（前缀为 YB）相当于 1024 个字节。千兆字节仍然是硬盘容量最常用的衡量标准，然而千兆字节和千兆字节也已经开始使用。如今，1兆字节的磁盘驱动器（约2. 5英寸宽）可以装在笔记本电脑内。值得注意的是，根据一项估计，在太字节大小的驱动器上存储约当字节将需要100万个城市块大小的数据中心，与美国特拉华州和罗德岛州一样大。

未来几年，组织收集的数据量预计将增加，这可能是由于数据存储和处理能力的效率和成本下降、数字技术的普及、互联网和数字设备提供的数据量以及处理算法的复杂性。

大量数据将在网上生成，这需要对数据存储设施进行大量投资。最近有报告称，Facebook目前正在瑞典建立一个数据中心，规模为11个足球场，另外两个足球场也在美国，以收集和处理他们的数据（Bradbury，2013年）。

教育组织对利用大数据和分析应用有很大的兴趣，预计在不久的将来，这些应用将会增加。然而，为了充分利用大数据，组织应该清楚他们到底想要调查什么，以及他们计划如何使用这些信息。我们认为，企业需要在执行大数据/社交媒体政策时考虑以下问题：

1.我们未来准备好了吗？

2 是炒作还是需要？

3. 有没有更简单和/或更经济的方法获得类似的结果？

4. 开发内部能力还是雇佣外部资源更好？

5. 我们的客户/利益相关者愿意接受这样的监控吗？

6. 我们是否需要向利益攸关方宣传我们的政策？如果是，我们是否做到了？

7. 我们的竞争对手的准备状态是什么？

8. 我们是否遵守数据隐私法？

9 人们的在线行为可以赋予多少价值？

10.我们还是否使用传统的信息来源（如访谈和焦点小组）来补充在线指标？

11.我们是否还依赖人类的判断来解释数据（而不仅仅是软件产生的结果）？

12.我们是否与组织内的其他部门合作制定全面的政策？

大数据的应用

有许多例子说明在各个领域中使用大数据。虽然这些与教育领域没有直接联系，但它们给我们描绘了数据对我们日常生活的影响(Raconteur媒体，2013年)。实例包括：

•IBM的“深雷天气分析”包：帮助农民知道何时灌溉农作物；

•SAS：利用大数据识别保险行业的欺诈行为；

•英国航空公司的“认识我”计划：利用收集的数据，更好地了解个人喜好，购买频繁飞行者的模式；

•大曼彻斯特交通：使用实时交通信息避免道路拥堵；

•美国银行美林证券：根据对客户需求的更全面、更全面的理解，为客户制定切实有效的解决方案；

•东肯特医院大学NHS基金会信托基金：工作人员能够获得数据，以适应实时变化，例如根据不同地点的需求变化，在各地点之间重新分配医生和护士；

•花旗：根据客户行为估计目标预测分析；

•英格兰公共卫生：通过最近公布的国家癌症数据库，根据患者如何实时反应，创建高度针对性的治疗（数据包含1 100万份历史记录和每年新增35万份条目）；

•奥卡多：提供网上购买的杂货。它跟踪车辆位置，驾驶风格和汽油消耗，同时交付

每周110万件物品；

•荷兰皇家壳牌：每年花费6.5亿英镑汇编多个地点的大数据，以便他们能够更准确地预测一个地点的碳氢化合物资源存在——这可能有助于节省钻井成本（对于一次海上钻井，成本高达6500万英镑）；

•埃森哲：通过数据和文本挖掘、语义、语言学和语法处理，收集社会媒体分析，用于情绪分析；

•Facebook：最近开始解码照片（识别面部和物体）和视频的内容；

•苹果：获得专利，通过音频芽收集体温和心率数据；

•Google：调整语言处理中的算法，使其与文化相关（例如，区分美国和英国的成语），并提高其速度识别能力；

•Temetra：整理人们如何在家庭和企业中使用天然气和水的信息，每隔15分钟而不是每年阅读一次，就给出数据；

•Modak Analytics：在2014年4月至5月举行的印度大选期间，挖掘了8.1亿选民的大约18兆字节的数据，这些数据涉及他们的当事人——政党——的性别、年龄和经济地位等各种人口状况(Kurmanath，2014)。

利用大数据制定政府政策的一个有趣的应用是行为洞察力小组（www. atchorauralInsights.co.uk），该小组由英国政府和Nesta（www.nesta.org. uk）共同拥有了解个人在实践中如何作出决定，以及他们如何可能对各种选择作出反应，以使政府能够据此制定其政策或干预措施。

大数据在教育中的应用

正在学校和高等教育中产生大量数据。教育领域的大量数据可用于：

•了解学生的表现和行为模式；

•跟踪学生的整个教育进度，如果发现任何异常，允许及时干预；

•为每个学生制定个性化的内容和教学方法，以便提供补救帮助，而不会羞辱或孤立学生，或在同学面前使他们尴尬；

•评估学生在标准化考试中的表现。预测评估；

•找出哪些教学技术最适合学生，并提供定制教学。诊断评估；

•实时反馈，帮助提高学生的成绩；

•进行适应性测试；

•合并系统，如学习管理和课程管理；

•整合教室和家中的学生使用的ICT设备，在诸如带自己的设备(BYOD)等举措下获得大量关于他们的有用信息；

•合并各种数据来源，如课程记录、学生出勤、班级名册、方案参与、学位成绩、纪律记录和考试分数，以便能够更有效地管理学生招聘、行政和学术研究；(Hoit，2012；West，2012)。

除了上述应用之外，授标机构还可利用数据在测试开发和标记监测等领域进行更全面的研究，还可利用大量数据，这些数据可能是通过使用计算机化评估以及通过其他信息技术推动的举措，如计算机化的互动系统产生的。

大数据教育课程

麦肯锡报告说，到2018年，仅美国就将面临多达19万人的短缺，这些人具有分析专长，有150万经理和分析师具有根据对大数据的分析理解和决策的技能（Manyika等人，2011年）。最近由电子技能UK3为SAS编写的一份报告显示，在未来五年内，英国对大型数据专业人员的需求年均增长率预计约为18%（相比之下，IT人员年均增长率为2.5%）。这将相当于约28人，到2017年，每年提供1000个就业机会(共计132 000个)(电子技能，2013年)。各所大学都开设了大数据课程，盛顿大学、哥伦比亚大学、弗吉尼亚大学、旧金山大学和纽约大学。各研究所和MOC(大规模开放在线课程)提供商也在提供这一领域的在线课程，如斯坦福大学、加利福尼亚大学、伯克利信息学院、大数据大学、麻省理工学院、Coursera和Statistics. com(KDnuggets, 2014)。牛津大学和哈佛大学正在开办短期专业课程，IBM、SAS、SAP和Google等技术供应商也在这一领域开办各种学术课程(Nerney, 2013)。

大数据和社交媒体

企业之所以兴旺，是因为他们尽可能地了解自己的客户。因此，对人们在线行为的监控对他们的成功至关重要。各组织正在投资收集此类分析，利用大数据作为监测社交媒体活动的关键组成部分，特别是在Facebook、Twitter和Linkedln等社交网络上。

社交媒体分析是网络用户行为的综合。关于消费者网页浏览、网上购物行为、消费者反馈和社交网络营销研究的数据可用性，使组织能够及时、广泛地了解消费者。因此，组织可以基于不同的目标，如广告和产品发布，把市场情报策略集中起来；宣传和品牌管理；提高客户忠诚度；为客户提供个性化服务；对市场趋势和竞争者保持关注；尽量减少风险；节省成本和扩大业务。

应用于社交媒体的大数据现象正在推动一个新的、不断增长的研究领域，即“情绪分析”。它的目的是了解人们在日常生活中说什么或分享什么。企业挖掘这些信息以了解他们的客户并相应地改进他们的操作。教育组织也可以听取学生的意见，深入了解他们的看法。情绪分析利用学生在社交网站上的活动，提供了一个有用的工具，收集有关他们在线行为的信息，最重要的是，收集他们对教育系统不同方面的反馈，如大学录取过程、资格特征、考试及其抱负

组织可以将这些信息反馈到制定营销战略中，这可以以多种方式进行，例如针对学生网上活动低于预期的国家/地区，根据在线论坛的讨论监测他们的考试经历，了解他们的品牌对学生意味着什么，以及获得对新产品的反馈。

工具和指标

在线数据的更多来源和形式的可用性还导致开发新的工具，以获取信息和制作关于网站可见性的度量。可以收集诸如网站访问者所依据的国家/城市、他们使用的浏览器、他们用来搜索网站的关键词以及他们在访问特定网站之前和之后访问的网页等指标。一些这样的度量在下面给出。

网站排名

网站可以排名，以得到在一个特定时间段(例如，六个月或一年)内网站相对于所有其他网站的流行度的估计。排名由诸如www. ranking. com和www. alexa. com的工具提供谷歌(Google.com)排名1位，其次是Facebook. com和YouTube. com。这些排名可以被组织用来评估其网站总体受欢迎程度，以及与竞争对手相比。图1显示了两个网站www.education.gov.uk和 www.parliament的等级比较。

在线流量分析

GoogleAnalytics和www. alexa.com等在线工具以表格和交互图的形式提供网站的流量度量，用户可以定制这些表格和交互图。一些工具还提供在电子表格中收集的数据，组织可以使用这些数据来生成自己的图表。提供的一些指标是：在特定时间段内访问网站的总数、唯一访问者的数量、浏览的网页总数、每次访问中浏览的网页平均数量、平均访问持续时间、以及单页访问百分比的反弹率(即，反弹率)。用户从第一页面离开网站而不继续查看网站内的其他页面的访问。一般来说，反弹率越低，网站保持访问者兴趣的能力越好。50%的反弹率被视为平均值(Wikipedia，2014)。所有这些指标都有助于组织对访问其网站的访问者进行更详细的了解，这些访问者可以用于针对他们的产品和服务。这些指标还允许识别那些受访问者欢迎的网站部分和那些不受欢迎的网站部分，这反过来可以帮助组织改进他们的网站。

社交媒体监测

组织可以通过Facebook、Twitter、Linkedln、YouTube和博客等社交媒体网站定期与客户联系。组织还可以与其雇员和其他利益攸关方互动(例如：学生、客户、外部顾问）使用诸如Yammer之类的工具，Yammer是一个私人社交网络，帮助各部门、地点和业务应用程序之间的协作。

组织还可以监控新闻，找出哪些关键贡献者在网上谈论这些新闻。它们可以测量其运动的结果，并监控潜在的问题。培训提供者可以使用这样的网站监控工具来帮助他们理解和改善培训课程的范围。企业可以从了解他们在线用户之间的相互联系中受益。

一些提供基本度量的监控工具的使用是免费的。然而，大多数真正能够帮助企业的服务可能非常昂贵，从每月几百到几千英镑。因此，企业必须从战略上规划其在线监控工具的需求和期望。这可能不是一个容易的任务，因为社交媒体是一个新的、变化很快的领域。此外，这一领域的服务提供商的数量正在迅速增长，可能难以找到可靠的提供商。在选择最适当的解决方案之前，可能需要试用某些工具。并非所有的工具都能满足每个组织的要求。这些工具产生的报告应该容易解释，值得付出代价。

社交媒体监测工具

监控社交媒体的一些流行工具有：Yomego、Ubervu、Hootsuite和Vocus。表2列出了一些网络分析报告工具，可用于从用户自己的网站产生洞察力。数据可视化地表示使用图表，这些图表可以通过仪表板定制。

探讨

数据正在迅速地改变我们的世界。我们买的东西，我们吃什么，我们如何沟通，我们如何管理，我们如何生活都受到数据的影响。然而，应当指出，在日常生活中使用数据不是一个新概念。古代文明根据先前记录的数据预测行星运动，设计了日历。最近，数字和电信技术的进步导致可用数据量猛增，世界从未如此相互关联。每个使用互联网、电话或信用卡的人都会留下一连串信息，供组织用来预测他们的行为并做出相应的调整。支付公用事业账单、提交纳税申报表或以某种方式向政府注册的人也是如此（选举登记处、医疗服务机构，等。政府倡议以及卫生、经济、制造业、国防和安全及教育等所有研究领域也在使用大数据。

组织应该仔细规划他们的大数据和社交媒体政策，并考虑长远。由于这一领域的炒作，公司似乎急于收集大量的数据，无论是文本还是非文本。然而，并非它们收集的所有数据都是有意义的或需要的。从本质上说，大数据意味着组合来自不同来源的数据。存在这样的风险，即累积非常嘈杂的数据并理解它，可能需要比它所产生的回报更多的资源。组织也需要意识到雇佣“大数据”科学家的成本越来越高。因此，最好从一开始就进行成本效益分析。事实证明，数据政策失败的风险对一个组织来说可能非常昂贵——无论是对其资产负债表还是其品牌。

学校和教育组织拥有大量的学生数据，包括总结或诊断评估中的传记信息（如社会经济地位和族裔）和表现历史（分数/等级/教师观察）。基于计算机的评估等应用使更多的数据来源得以收集和分析，例如考生在每个问题上花费的时间，这有助于更全面地了解学生的成绩，这可以在课堂上使用，以便能够进行更有针对性和及时的干预。同样，在线标记问题文件使授标机构有更多(当然也更容易获得)数据用于监测标记和评价其测试。研究人员和企业可能期待一些新的和创新的数据应用，以及更完善的分析复杂数据的统计方法。

原文及机器翻译文档已上传小编知识星球

原文始发于微信公众号（丁爸 情报分析师的工具箱）：【资料】数据和社交媒体分析