中国大数据六大技术变迁记

中国大数据六大技术变迁记_数据分析师考试

　集“Hadoop中国云计算大会”与“CSDN大数据技术大会”精华之大成， 历届的中国大数据技术大会（BDTC） 已发展成为国内事实上的行业顶尖技术盛会。从2008年的60人Hadoop沙龙到当下的数千人技术盛宴，作为业内极具实战价值的专业交流平台，每一届的中国大数据技术大会都忠实地描绘了大数据领域内的技术热点，沉淀了行业实战经验，见证了整个大数据生态圈技术的发展与演变。

2014年12月12-14日，由中国计算机学会（CCF）主办，CCF大数据专家委员会协办，中科院计算所与CSDN共同承办的 2014中国大数据技术大会(Big Data Technology Conference 2014，BDTC 2014) 将在北京新云南皇冠假日酒店拉开帷幕。大会为期三天，以推进行业应用中的大数据技术发展为主旨，拟设立“大数据基础设施”、“大数据生态系统”、“大数据技术”、“大数据应用”、“大数据互联网金融技术”、“智能信息处理”等多场主题论坛与行业峰会。由中国计算机学会主办，CCF大数据专家委员会承办，南京大学与复旦大学协办的“2014年第二届CCF大数据学术会议”也将同时召开，并与技术大会共享主题报告。

本次大会将邀请近100位国外大数据技术领域顶尖专家与一线实践者，深入讨论Hadoop、YARN、Spark、Tez、 HBase、Kafka、OceanBase等开源软件的最新进展，NoSQL/NewSQL、内存计算、流计算和图计算技术的发展趋势，OpenStack生态系统对于大数据计算需求的思考，以及大数据下的可视化、机器学习/深度学习、商业智能、数据分析等的最新业界应用，分享实际生产系统中的技术特色和实践经验。

大会召开前期，特别梳理了历届大会亮点以记录中国大数据技术领域发展历程，并立足当下生态圈现状对即将召开的BDTC 2014进行展望：

追本溯源，悉大数据六大技术变迁

伴随着大数据技术大会的发展，我们亲历了中国大数据技术与应用时代的到来，也见证了整个大数据生态圈技术的发展与衍变：

1. 计算资源的分布化——从网格计算到云计算。 回顾历届BDTC大会，我们不难发现，自2009年，资源的组织和调度方式已逐渐从跨域分布的网格计算向本地分布的云计算转变。而时至今日，云计算已成为大数据资源保障的不二平台。

2. 数据存储变更——HDFS、NoSQL应运而生。 随着数据格式越来越多样化，传统关系型存储已然无法满足新时代的应用程序需求，HDFS、NoSQL等新技术应运而生，并成为当下许多大型应用架构不可或缺的一环，也带动了定制计算机/服务器的发展，同时也成为大数据生态圈中最热门的技术之一。

3. 计算模式改变——Hadoop计算框成主流。 为了更好和更廉价地支撑其搜索服务，Google创建了Map/Reduce和GFS。而在Google论文的启发下，原雅虎工程师Doug Cutting开创了与高性能计算模式迥异的，计算向数据靠拢的Hadoop软件生态系统。Hadoop天生高贵，时至今日已成为Apache基金会最“Hot”的开源项目，更被公认为大数据处理的事实标准。Hadoop以低廉的成本在分布式环境下提供了海量数据的处理能力。因此，Hadoop技术研讨与实践分享也一直是历届中国大数据技术大会最亮眼的特色之一。

4. 流计算技术引入——满足应用的低延迟数据处理需求。 随着业务需求扩展，大数据逐渐走出离线批处理的范畴，Storm、Kafka等将实时性、扩展性、容错性和灵活性发挥得淋漓尽致的流处理框架，使得旧有消息中间件技术得以重生。成为历届BDTC上一道亮丽的风景线。

5. 内存计算初露端倪——新贵Spark敢与老将叫板。 Spark发源于美国加州大学伯克利分校AMPLab的集群计算平台，它立足于内存计算，从多迭代批量处理出发，兼容并蓄数据仓库、流处理和图计算等多种计算范式，是罕见的全能选手。在短短4年，Spark已发展为Apache软件基金会的顶级项目，拥有30个Committers，其用户更包括IBM、Amazon、Yahoo!、Sohu、百度、阿里、腾讯等多家知名公司，还包括了Spark SQL、Spark Streaming、MLlib、GraphX等多个相关项目。毫无疑问，Spark已站稳脚跟。

6. 关系数据库技术进化—NewSQL改写数据库历史。 关系数据库系统的研发并没有停下脚步，在横向扩展、高可用和高性能方面也在不断进步。实际应用对面向联机分析处理（OLAP）的MPP（Massively Parallel Processing）数据库的需求最迫切，包括MPP数据库学习和采用大数据领域的新技术，如多副本技术、列存储技术等。而面向联机事务处理（OLTP）的数据库则向着高性能演进，其目标是高吞吐率、低延迟，技术发展趋势包括全内存化、无锁化等。

立足扬帆，看2014大数据生态圈发展

时光荏苒，转眼间第2014中国大数据技术大会将如期举行。在技术日新月异的当下，2014年的BDTC上又可以洞察些什么？这里我们不妨着眼当下技术发展趋势：

1. MapReduce已成颓势，YARN/Tez是否可以再创辉煌？ 对于Hadoop来说，2014是欢欣鼓舞的一年——EMC、Microsoft、Intel、Teradata、Cisco等众多巨头都加大了Hadoop方面的投入。然而对于众多机构来说，这一年却并不轻松：基于MapReduce的实时性短板以及机构对更通用大数据处理平台的需求，Hadoop 2.0转型已势在必行。那么，在转型中，机构究竟会遭遇什么样的挑战？各个机构如何才能更好地利用YARN所带来的新特性？Hadoop未来的发展又会有什么重大变化？为此，BDTC 2014特邀请了Apache Hadoop committer，Apache Hadoop Project Management Committee（PMC）成员Uma Maheswara Rao G，Apache Hadoop committer Yi Liu，Bikas Saha（PMC member of the Apache Hadoop and Tez）等国际顶尖Hadoop专家，我们不妨当面探讨。

2. 时过境迁，Storm、Kafka等流计算框架前途未卜。 如果说MapReduce的缓慢给众多流计算框架带来了可乘之机，那么当Hadoop生态圈组件越发成熟，Spark更加易用，迎接这些流计算框架的又是什么？这里我们不妨根据BDTC 2014近百场的实践分享进行一个侧面的了解，亦或是与专家们当面交流。

3. Spark，是颠覆还是补充？ 与Hadoop生态圈的兼容，让Spark的发展日新月异。然而根据近日Sort Benchmark公布的排序结果，在海量（100TB）离线数据排序上，对比上届冠军Hadoop，Spark以不到十分之一的机器，只使用三分之一的时间就完成了同样数据量的排序。毫无疑问，当下Spark已不止步于实时计算，目标直指通用大数据处理平台，而终止Shark，开启Spark SQL或许已经初见端倪。那么，当Spark愈加成熟，更加原生的支持离线计算后，开源大数据标准处理平台这个荣誉又将花落谁家？这里我们一起期待。

4. 基础设施层，用什么来提升我们的网络？ 时至今日，网络已成为众多大数据处理平台的攻坚对象。比如，为了克服网络瓶颈，Spark使用新的基于Netty的网络模块取代了原有的NIO网络模块，从而提高了对网络带宽的利用。那么，在基础设施层我们又该如何克服网络这个瓶颈？直接使用更高效的网络设备，比如Infiniband能够带来多少性能提升？建立一个更智能网络，通过计算的每个阶段，自适应来调整拆分/合并阶段中的数据传输要求，不仅提高了速度，也提高了利用率。在BDTC 2014上，我们可以从Infiniband/RDMA技术及应用演讲，以及数场SDN实战上吸取宝贵的经验。

5. 数据挖掘的灵魂——机器学习。 近年来，机器学习领域的人才抢夺已进入白热化，类似Google、IBM、微软、百度、阿里、腾讯对机器学习领域的投入也是愈来愈高，囊括了芯片设计、系统结构（异构计算）、软件系统、模型算法和深度应用各个方面。大数据标志一个新时代的到来，PB数据让人们坐拥金山，然而缺少了智能算法，机器学习这个灵魂，价值的提取无疑变得镜花水月。而在本届会议上，我们同样为大家准备了数场机器学习相关分享，静候诸位参与。

而在技术分享之外，2014年第二届CCF大数据学术会议也将同时召开，并与技术大会共享主题报告。届时，我们同样可以斩获许多来自学术领域的最新科研成果。

以上是小编为大家分享的关于中国大数据六大技术变迁记的相关内容，更多信息可以关注环球青藤分享更多干货

OCP考试大家背题库的时候背题干吗？？

过来人说下：

1、E文太差做好别做 IT， 或者想办法转 IT的管理

2、 纯为了过考试的话，99%的人是背题库的， 背也很简单 只要做2~3次，对着答案，肯定能记住了，不是让你把题目都背出来，是背个印象

3、 现在OCP基本没啥用， ORACLE DBA本身这个行业现在不景气，不是你想想的竞争那么激烈， 如果真的用人单位要比较2个人的话， 同样的待遇 绝对招多一年工作经验的

4、 为什么每年那么多人进入这个行业？ 主要是 毕业生就业困难， 然后一些培训单位以高薪为幌子拉人去培训， 这种培训有没有用自己体会

gbase哪个证书要花钱

国产数据库浪潮之下，学习国产数据库的人越来越多，国产数据库认证的含金量也越来越高。获得国产数据库相关认证的小伙伴，在求职、晋升等方面都具有极大的优势。小编整理了国产数据库免费认证汇总，想要完善知识体系，系统学习并获得免费认证的朋友，看这一篇就够了！

目录

TiDB

认证介绍

学习方式

OceanBase

认证介绍

学习方式

GBase

认证介绍

学习方式

腾讯云

认证介绍

学习方式

国产数据库认证考试指南汇总

TiDB

TiDB是?PingCAP?公司自主设计、研发的开源分布式关系型数据库，目前PingCAP Education 共推出了 PCTA PCTP 两门在线认证考试，两门在线认证都可以免费获得。

认证介绍

PCTA?（?PingCAP Certified TiDB Associate?）是 PingCAP 公司认证?TiDB?数据库专员的缩写。?PCTA 要求具备安装部署及日常运维分布式关系型数据库的能?。PCTA 需要学习并熟练掌握 TiDB 架构原理、安装部署、周边工具等基础知识。

PCTP?（?PingCAP Certified TiDB Professional?）是 PingCAP 公司认证?TiDB?数据库专家的缩写?。PCTP 要求具备管理大型分布式关系型数据库集群的能力。 PCTP 需要学习并熟练掌握 TiDB 的深度原理及高级 Feature、性能调优、SQL 优化、故障排除和高可用架构等进阶内容。?要成为 PCTP 必须先获得?PCTA?认证。

PCTA考取后，才可以考 PCTP，PCTP难度大于 PCTA。顺利通过 PCTA / PCTP 认证考试，即可获得相应认证证书。

学习方式

直接在官网：?报名，课程进度达到一定值，即可报名考试。

1、PCTA 认证考试。 学习《301 TiDB 系统管理基础》课程，学习进度达到60%及以上即可报名考试。考试时长 60 分钟，共 60 道题（单选 30 道，多选 30 道，每题 1 分）满分 60 分， 36 分为及格?。认证证书（电子版）将于考试结束后 1 个工作日内发放，一经发放，长期有效。

最近报名时间： 2022-06-04 00:00至2022-06-20 00:00

最近考试时间： 2022-06-23 20:00至2022-06-23 21:05

2、PCTP 认证考试。 PCTP 认证考试为远程闭卷考试，学习《302 TiDB 高级系统管理》课程进度达到80%及以上即可报名参加考试，考试时长 90 分钟，共 70 道题（单选 35 道，多选 35 道，每题 1 分）满分 70 分， 42 分为及格?。 认证证书（电子版）将于考试结束后 2 个工作日内发放。证书一经发放，长期有效。六月PCTP考试已结束，大家可以在官网关注七月认证时间。官网报名费900元，可以通过以下两种方式获得免费考试兑换码：

1）4000 社区积分可兑换 1 个?PCTP?考试兑换码。

2）成为 TiDB 社区版主，版主任职满 6 个月，可获得 1 个?PCTP?认证考试兑换码。

OceanBase

OceanBase是由蚂蚁集团完全自主研发的企业级分布式关系数据库，目前推出了OBCA、OBCP 以及OBCE三种认证，其中OBCA（OceanBase 数据库认证专员）目前限时免费，可在官网： 报名。

认证介绍

OBCA 认证主要讲解 OceanBase 的发展历程、应用案例、产品架构、核心功能、部署安装等知识。帮助您理解多副本一致性协议、数据可靠及高可用、在线水平扩展、分布式事务等 OceanBase 的重要特性。OBCA 认证主要面向具备 IT 通用基础能力的学员，了解至少一门关系型数据库（MySQL 或者 Oracle），对分布式系统或分布式事务有基本了解，适合初级数据库管理员，初级应用开发人员，合作伙伴驻场服务人员等。

学习方式

在OceanBase官网平台注册登录，进行个人实名认证后，点击OBCA认证考试，即可免费报名。目前OBCA 认证培训有线上、线下两种方式参与，线上学习有六章视频课程。OBCA的考试题目一共50道题（从题库中随机抽取）。其中15道判断题（每题1分）、20道单选题目（每题2分）、15道多选题目（每题3分），总分为100分，通过分数为60分。

OBCA考试现阶段为每位考生提供3次免费考试机会，考生每天限考1次。考试通过以后，可以在OceanBase官网查询领取OBCA证书，证书终身有效。

GBase

GBase是南大通用数据技术有限公司推出的自主品牌的数据库产品，GBASE继续在今年暑假期间，举办“千人优学-GBase数据库大学生专场实训”培训，专为在校大学生量身定做、全程免费的GBase 8s GDCA认证培训。

认证介绍

面向对国产数据库感兴趣、有意愿未来从事数据库交付运维、售前支持的在校学生，通过课程，了解国产数据库，掌握GBase 8s原理及基本运维开发。考试通过者免费获得GBase管理工程师认证证书（电子）。

学习方式

整个课程分为学习和考试2个阶段，14天学习（内含1次模拟考试），2次认证考试机会，整个课程以在线学习平台组织培训考试，通过群内专业老师答疑，2次直播说明答疑，通过科学合理的安排，循序渐进、轻松掌握国产数据库基础知识。认证考试成绩60分（含）以上课程及格，可获得实训学分；80分（含）以上获得GBase 8s GDCA认证证书（电子版）；低于60分的同学可申请1次补考。

学习日期：6月20-7月3日 每天解锁一节课

考试日期：7月7日 19:00-21:00 （答题时长60分钟）

补考日期：7月9日 19:00-21:00 （答题时长60分钟）

具体报名方式：

腾讯云

腾讯云推出的“云梯计划”，为学生开发者及高校提供全面的腾讯云学习、实战资源，助力未来开发者登上筑梦云梯。学生群体完成学生认证后，可以免费上认证课程、免费获得动手实验课程，最后能获得8折优惠券报名认证考试，认证证书两年内有效。具体四项认证如下图所示：

认证介绍

腾讯云从业者认证是云计算行业从业者的初级技能认证，通过该认证可有效验证是否具备掌握云计算基础知识以及理解腾讯云基础产品的功能和使用场景的能力。适用于初入云计算行业，计划从事售前工作，或逐步向运维、架构等角色提升的人员。

腾讯云开发工程师认证是针对云上业务应用开发工程师的技能认证。通过该认证，可有效验证是否具备将传统应用重构并迁移上云的能力，以及基于腾讯云进行云原生应用和分布式微服务的设计和开发能力。适用于腾讯云开发工程师，负责云应用程序开发的人员。

腾讯云运维工程师认证是针对腾讯云产品运维人员的技能认证，通过该认证，可有效验证是否具备腾讯云基础产品的部署、监控、运维能力。适用于从事运维腾讯云产品和服务的人员，负责在云上部署业务的技术人员，保障云上业务正常稳定运行的维护人员。

腾讯云架构工程师认证是针对云解决方案架构师的技能认证，通过该认证，可有效验证是否具备设计中小型云架构的能力，根据业务规划高可用、高安全、成本优化的云架构方案。适用于腾讯云架构设计师，负责分析业务特性，并进行云上业务架构设计的技术人员。

学习方式

您想获得相关认证，需要按照下列步骤操作：

1、在官网认证页面： 完成学生认证。

2、领取相关课程以及实验资源，并学习。

3、获得8折优惠券，报名参与认证考试。

考试时间 90分钟

考试总分 100分

考试题型 60单选 + 20多选 + 不计分测试

通过条件 70分及以上

国产数据库认证考试指南汇总

目前国产数据库绝大多数都是付费认证培训，也有一部分免费认证是限时的，大家可以多多关注国产数据库各官网动态。国产数据库认证考试可参考下方表格：

厂商 ? 等级 认证名称 培训认证费用

达梦 入门 DAE认证——达梦助理工程师

达梦 初级 DM8-DCA认证——达梦认证管理员 4800元

达梦 中级 DM8-DCP认证——达梦认证专家 7800元

达梦 高级 DCM认证——达梦认证大师

PingCAP 初级 PCTA认证——TiDB认证数据库专员 限时免费

PingCAP 中级 PCTP认证——TiDB认证数据库专家 1200元

华为 初级 HCIA-GaussDB 认证——华为认证GaussDB数据库工程师 200USD

华为 初级 OGCA认证——openGauss初级管理员认证 2100元（限时优惠）

华为 中级 OGCP认证——openGauss中级管理员认证 待上线

华为 高级 OGCE认证——openGauss高级管理员认证 待上线

华为 中级 HCIP-GaussDB-OLAP 认证——华为认证GaussDB OLAP数据库高级工程师 300USD

华为 中级 HCIP-GaussDB-OLTP 认证——华为认证GaussDB OLTP数据库高级工程师 300USD

蚂蚁金服 初级 OBCA 认证——OceanBase 数据库认证专员 限时免费

蚂蚁金服 中级 OBCP 认证——OceanBase 数据库认证专家 6000元

阿里云 初级 ACA认证——阿里云云原生数据库PolarDB助理工程师 600元

阿里云 中级 ACP认证——阿里云云原生数据库PolarDB工程师 1200元

阿里云 高级 ACE认证

腾讯云 初级 TCA认证—— 腾讯云TBase数据库交付运维初级工程师 1200元

腾讯云 初级 TCA认证—— 腾讯云TDSQL数据库交付运维初级工程师 1200元

腾讯云 中级 TCP认证——腾讯云TBase数据库交付运维工程师 1800元

腾讯云 中级 TCP认证——腾讯云TDSQL数据库交付运维工程师（MySQL/PostgreSQL） 1800元

腾讯云 高级 TCE认证——数据库交付运维级工程师-腾讯云TDSQL（MySQL/PostgreSQL） 2400元

人大金仓 初级 KCA认证 200元

人大金仓 中级 KCA认证 200元

人大金仓 高级 KCM认证 待添加

巨杉 初级 SCDA认证——巨杉数据库助理工程师 599元

巨杉 中级 SCDP认证——巨杉数据库中级工程师 1599元

巨杉 中级 SCDD认证——巨杉数据库开发工程师 1599元

云和恩墨 初级 MGCA 1800元

云和恩墨 中级 MGCP 1800元

云和恩墨 高级 MGCE 1800元

?

?点击： 查看国产数据库认证考试指南汇总。??欢迎各位墨友在评论区补充其他国产数据库免费/付费认证，让我们一起学习，一起成长！

?

更多阅读：

《国产数据库认证考试指南汇总》：

《国产数据库考试资料汇总》：

国产数据库

免费

tidb

oceanbase

gbase

最后修改时间：2022-06-16 16:19:17

「喜欢文章，快来给作者赞赏墨值吧」

赞赏

【版权声明】本文为墨天轮用户原创内容，转载时必须标注文章的来源（墨天轮），文章链接，文章作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。

评论

惭愧小七

软考（计算机技术与软件专业技术资格（水平）考试），国家级的考试，不存在包过、题库这种情况，很值得考的;

2022-11-26

点赞

回复

严少安

PCTA认证 -- 10月起收费

OBCP -- 下周开始升级为V3，考试内容和形式都有所变化

2022-07-11

1

2

墨天轮福利君 : 感谢补充！

严少安 : @墨天轮福利君 GBase 还有 GBase 8a 认证

相关阅读

墨天轮2022年度数据库获奖名单

2022年中国数据库排行榜年终盘点

2023年1月中国数据库排行榜：OceanBase 持续两月登顶，前四甲青云直上开新局

2022年墨天轮数据库大调查中奖名单火热出炉！

收官！OceanBase x 墨天轮第五届技术征文大赛获奖名单公布！

PingCAP 合作伙伴学习加速营第四期开始招募啦！

TiDB 荣获日本“你未来想用的数据库”第一名

OceanBase 社区版 4.0 离线方式升级bp1至bp2 指南（含避坑总结）

【DBA100人】白鳝：一直往上走，从程序员到数据库专家

方案精讲丨TiDB 多业务融合方案（上）