大数据架构的基础应用与发展

梅州站长网（http://www.0753zz.com）基于不同的需要，可能选择开始大数据项目s: 因为所需处理的数据容量, 因为系统中数据结构的多样性, 因为扩展性问题, 或者因为需要削减数据处理的成本。 本节中，将看到怎样的征兆意味着一个团队需要开始一个大数据项目了。

数据大小那些事 使人们开始考虑大数据的两个主要领域是何时出现了与数据大小和容量有关的问题。尽管大多数时间这些问题是考虑大数据的合情合理的原因，但今天而已，这并不是唯一的原因。 有其他的表征—例如数据的类型. 如何在传统数据存储中管理不断增加的各种各样的数据类型, 如SQL数据库, 还期望象建表那样的结构化么? 不增加灵活性是不可行的，当出现新的数据结构是需要技术层面的无缝处理。

当讨论数据类型是，需要想象非结构化数据，图数据，图片，视频，语音等等。 不但要很好的存储非结构化数据，而且最好是得到一些他们之外的东西。另一表征来自于这一承诺: 大数据也可以从大容量的各种数据中提取增值信息.若干年前，对于大量读多于写的操作，通用的缓存或数据库队友每周的ETL (extract, transform,load) 处理是足够的。如今不再是这样的趋势。现在，需要一个架构具备长时间处理和准实时数据处理的能力。这一架构是分布式的，而不是依赖于高性能且价格高昂的商用机，取而代之的是，高可用，性能驱动和廉价技术所赋予的灵活性。

当下，如何充分利用增值数据以及如何能够原生地搜索到它们呢？为了回答这一问题，再次考虑传统存储中为了加速查询而创建的索引。如果为了复杂查询而索引上百列而且包含了主键的不确定性，会是什么样子？不希望在一个基础SQL 数据库中做这些;取而代之的是，需要考虑按照特殊需要而使用一个 NoSQL存储. 所以，简单回顾一下主要路径：数据获取，结构化，可视化这些真正数据管理的场景，显而易见，数据大小不再是主要的考量因素。

除了技术和架构考虑，需要面对典型大数据用例的使用场景。它们部分和特殊的工业领域相关； 另外的部分可能适应于各种领域。这些考虑一般都是基于分析应用的日志，例如web访问日志,应用服务器日志，和数据库日志，但是也可以基于各种其他的数据源例如社交网络数据。当面对这些使用场景的时候，如果希望随着商务的增长而弹性扩展，就需要考虑一个分布式的大数据架构。