大数据技术栈，主要有哪些

发布时间：2022-12-19 11:11:07 所属栏目：大数据来源：

导读：　　往大数据方向发展需要学哪些技术？网上一搜真是指不胜屈。对于小白来说，实在是一头雾水，到底哪些是当下流行的？哪些是必须要先学会的？流行？主次搞不清。为了解决这些疑惑，羚羊专门花了些时间，挨个技术去

　　往大数据方向发展需要学哪些技术？网上一搜真是指不胜屈。对于小白来说，实在是一头雾水，到底哪些是当下流行的？哪些是必须要先学会的？流行？主次搞不清。为了解决这些疑惑，羚羊专门花了些时间，挨个技术去研究对比归类，大概总结出以下的技术点：

　　文件存储： Hadoop HDFS、GFS、KFS、Tachyon

　　离线计算： Hadoop MapReduce、Spark

　　流式、实时计算：flink、Storm、JStorm、Spark Structured Streaming、Heron、Spark Streaming

　　存储格式：kudu、ORC、Apache Parquet、CarbonData

　　数据库： HBase、Redis、MongoDB、Couchbase、LevelDB、Apache Cassandra、Ignite、TiDB

　　资源管理： YARN、Mesos

　　日志收集： Flume、Scribe、Logstash、FileBeat

　　消息系统： Kafka、StormMQ、ZeroMQ、RabbitMQ、Confluent Platform

　　在线、离线查询搜索分析： Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Kylin、Druid、ClickHouse、Elasticsearch

　　数据可视化查询分析工具：Apache Zeppelin、Kibana

　　分布式协调服务：Zookeeper

　　视频监控大数据的关键技术和应用_大数据技术_数据科学与大数据技术介绍

　　集群管理与监控：Ambari、Ganglia、Nagios、Cloudera Manager

　　数据同步： Sqoop、DataX、Cannal、Maxwell、Debezium、DataBus

　　任务调度： Azkaban、Oozie

　　数据安全：Apache Eagle

　　机器学习、数据挖掘：Spark MLLib、Mahout

　　下图是羚羊根据当下流行的大数据技术点，结合之前的项目经验大数据技术，基于HDFS文件系统搭建了一个基本的、通用的完整大数据平台技术架构。一切的技术都是来源于不同的需求场景，所以根据不同的产品需求搭建出来的技术架构也会有差异。

（编辑：草根网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!