大数据推动IT架构变革——小记海量大数据研习社大数据存储专场

8月14，海量大数据研习社第12次活动大数据存储专场在天津河北区科技招商展示服务中心举办。南大通用应邀参加，并由南大通用分析型数据库GBase 8a产品售前经理黄东旭担任本次研讨会主讲之一。黄老师熟悉内存数据库技术、MPP数据库技术，在金融、政府、安全等行业有丰富的项目经验。本次带来了题为《大数据推动IT架构变革》的主题演讲。

大数据时代来临，传统数据架构已经远远不能满足大数据平台的建设，因此大数据推动了数据架构的变革，由原来单一的数据管理模式转变为三足鼎立之势，即传统数据库（OldSQL）、新型数据库（NewSQL）和Hadoop（NoSQL）。 
 

传统技术架构由于基于SMP技术，扩展性能受限，且行存模式处理大数据时性能低下，不能很好的满足大数据4V（大量、高速、多样、真实）的特性，因此不适合处理大数据。  

而新型数据库（NewSQL）采用MPP架构，极大的扩展了数据管理能力。Hadoop主要面向互联网大数据，管理半结构化和非结构化数据，擅长做批量业务处理及复杂MR任务。  

黄老师的演讲以新型MPP数据库为背景，介绍了一些新的技术来适应大数据环境下计算的性能，如列存储、压缩、智能索引、扩展性、分布式高可用、数据分布、MPP并行、HashJoin等手段，并且与传统数据库相应功能做了对比分析。尤其在关键数据库应用问题上，如范式设计、分布式事务、数据模型等方面强调了新型数据库与传统数据库的不同。且对在大数据平台建设时的一些悖论，提出了自己的看法，如主键使用问题、数据同步问题、并发问题及数据分布问题等。  

最后，黄老师在架构上预测了未来大数据IT架构趋势，即混搭架构。在同一个数据平台中，融合多种数据架构技术，每种架构技术根据数据特征与应用特征的区别，各自管理自己的一部分数据，承担自己擅长的应用。这样由不同架构构成的混搭大数据平台，就可以面对多样的大数据分析场景，可以管理全数据，承担全应用。