+-
UCloud一站式智能大数据平台USDP免费版正式发布!
首页 专栏 数据挖掘 文章详情
0

UCloud一站式智能大数据平台USDP免费版正式发布!

UCloud云计算 发布于 5 月 19 日

背景

在大数据业务系统中,所有技术栈生态均是围绕着存储进行扩展的,目前开源的主流存储技术栈主要包含如下 3 种类型:

· HDFS:Hadoop 系列套件,包含 Hive、HBase、Phoenix 等;

· ElasticSearch:包含 Logstash、ElasticSearch、Kibana 等;

· Kudu:包含 Impala 等;

无论针对哪种存储生态,其外层负责数据计算的技术栈很多都是通用的,例如Spark、Flink 几乎支持读写所有存储生态中的数据。对于生产环境而言,选择哪一种存储生态,往往取决于业务形态以及业务部门对不同技术栈的熟练程度。

针对大数据生态中的众多服务,Cloudera(CDH,支持HDFS、Kudu生态)与Ambari(HDP,支持HDFS生态) 提供了部署、管理、监控、运维大数据服务组件与大数据节点的能力。但随着Cloudera与Ambari合二为一,CDH与 HDP合并为CDP发行版,在后续的版本中不再提供免费版功能。这对于国内企业的大数据业务无疑增加了不少开发、运维成本,如果继续使用免费的旧版本,将无法得到新特性的更新支持和BUG的及时修复。

在此背景下,UCloud基于多年大数据平台开发经验,近日全新发布了针对私有化部署场景下的一站式智能大数据平台USDP免费版。免费版USDP支持HDFS、Kudu、ES全生态,助力企业提升大数据开发、运维效率,快速构建大数据业务的分析处理能力。


兼容最广的一站式智能大数据平台

USDP涵盖了HDFS、Hive、HBase、Spark、Flink、Presto、Atlas、Ranger 等众多开源大数据组件,支持对这些组件进行运维、中台建设、数据开发、业务可视化等全栈式大数据开发运维管理。USDP通过轻量、易用、傻瓜式的形态交付给用户,支持对不同模块进行拆分,从而实现高度定制化,灵活匹配各垂直行业场景下的需求。

目前,UCloud一站式智能大数据平台USDP所支持的服务如表格所示,同时还在持续拓展更多开源生态组件服务。

相比Cloudera(CDH、CDP)、Ambari(HDP),USDP支持更多丰富的大数据服务包括Flink、Kylin、Livy、Phoenix、Tez、Elasticsearch、Kibana、Azkaban、Presto、Atlas、Kafka Eagle、ZKUI等,几乎涵盖了所有主流技术框架,且所支持的大数据服务之间完全兼容,用户可以灵活选择、按需使用。此外,UCloud大数据技术团队持续跟进开源社区进展以及产品反馈,对潜在的 Bug 进行及时修复,用户无需再考虑大数据服务之间的适配问题。在CDH订阅付费模式下,免费版USDP无疑是当下大数据开发运维的最佳选择!

自研管理组件,安全可靠性更高

USDP作为UCloud大数据团队自主研发的一站式智能大数据平台,其整体架构如下图所示:

上图中,Manager Server为USDP管理端服务,需配备一个MySQL实例存储集群相关的元数据信息。Agent为USDP从节点控制端服务,用于管理、操作所在节点以及所在节点上的大数据服务。其中BigData Service为各类大数据服务(例如:HDFS、YARN等)。

InfluxDB、Prometheus、Grafana作为监控服务,用于汇总并展示整个集群的监控数据。

USDP支持最少3个节点,最多上千节点的集群规模,同时,允许Manager Server与Agent等相关服务部署在相同的节点上,这样满足大型业务的同时,也尽可能帮助用户使用较小的成本满足小型业务对数据分析的诉求。

USDP一站式智能大数据平台的核心优势

无需担心业务绑定

USDP中所包含的大数据服务、组件,均满足 Apache 2.0开源协议,UCloud大数据团队在做过大量兼容性测试后,积极回馈社区,并将编译后的兼容包全面公开发布。由于本身紧跟开源社区的步伐,用户可以随时进行自主替换、自主建设、自主数据迁移、集群迁移等,因此无需担心大数据业务与闭源服务绑定。

傻瓜式部署方式

为了能让用户体验到极简的大数据部署运维、管理方案,USDP提供了丰富详细的部署、操作文档,并且用户无需担心安装时准备众多内容,初始化环境只需要简单几步,即可自动完成配置。

1-环境检查


2-服务部署

全面丰富的监控指标

USDP预置的监控指标主要包含三部分内容:

• JMX全量指标采集

• Http常用指标采集

• 自定义指标采集

以上三部分监控数据最终将汇总于USDP的 Promethues中,并在每个服务的概览页面中,展示最常用的监控指标,同时,在Grafana中,通过 USDP官方预置的监控模板(Dashboard),用户可以查看最详细监控指标。如果USDP预置的监控图标无法满足业务需求,用户也可以自定义添加所需的监控图表。

灵活便捷的告警服务

USDP提供预置的告警模板,用户只需要引导进行简单配置,即可实现向不同目标(微信、钉钉、邮件、接口调用等)发送集群指标告警的需求。与监控指标的设计相似,如果用户认为预置的告警模板无法满足业务需求,也可以自定义对告警模板进行修改,或添加新的告警规则。

专业的技术支持

UCloud大数据团队积淀了多年公有云大数据运维和业务调优经验,通过持续更新的文档知识库,为用户提供专家级技术支持,解决使用USDP的后顾之忧。

反哺开源社区

USDP免费版中所使用的开源、全面兼容优化后的服务包,将反哺回开源社区,为开发者提供免费的下载渠道。

USDP解锁丰富的大数据场景

使用USDP一站式智能大数据平台,可以在各行各业中实现如下应用场景。

数据仓库

目前国内常用的数仓模型为维度数仓,即按照事实表、维度表来构建数据仓库、数据集市。通过USDP一站式智能大数据平台,用户可以部署构建维度数仓所需的各项服务,帮助企业快速构建数据中台。

机器学习

机器学习通过算法对大量数据进行分析,挖掘出其中蕴含的规律,并用于事物预测或者分类,有大量的计算需求。通过USDP一站式智能大数据平台支持的Spark、Flink等分布式运算框架,可以高效的进行机器学习应用开发。

信息检索

从海量数据中快速检索到所需信息,一直是数据应用的重要领域,USDP一站式智能大数据平台集成了分布式搜索和分析引擎Elasticsearch以及实时检索数据库HBase、数仓服务Kylin等,能够提供高效的数据检索能力,可用于构建企业级搜索引擎、日志管理系统等。

最后,敲黑板划重点:UCloud一站式智能大数据平台USDP免费版诚邀大家参考以下方式下载使用。

附USDP资源下载地址:

• US3:

https://s3-cn-bj.ufileos.com/...

• 百度网盘:

链接:

https://pan.baidu.com/s/1mlic...

提取码:spp9

扫码添加UCloud大数据技术专家

备注“USDP”

邀请您加入大数据产品技术交流群

大数据处理 ucloud 数据挖掘
阅读 58 更新于 5 月 19 日
举报
收藏
分享
本作品系原创, 采用《署名-非商业性使用-禁止演绎 4.0 国际》许可协议
UCloud云计算
关注专栏
UCloud云计算

国内顶尖的公有云服务商,秉持 “中立、专注”的态度,依托位于国内、亚太、北美、欧洲的全球17大数据中心以及北、上、广、深、杭等全国11地线下服务站,为近5万余家企业级客户提供云计算服务,间接服务用户数量超10亿,部署在UCloud平台上的客户业务总产值达逾千亿人民币。

47 声望
17 粉丝
关注作者
0 条评论
得票数 最新
提交评论
UCloud云计算

国内顶尖的公有云服务商,秉持 “中立、专注”的态度,依托位于国内、亚太、北美、欧洲的全球17大数据中心以及北、上、广、深、杭等全国11地线下服务站,为近5万余家企业级客户提供云计算服务,间接服务用户数量超10亿,部署在UCloud平台上的客户业务总产值达逾千亿人民币。

47 声望
17 粉丝
关注作者
宣传栏
目录

背景

在大数据业务系统中,所有技术栈生态均是围绕着存储进行扩展的,目前开源的主流存储技术栈主要包含如下 3 种类型:

· HDFS:Hadoop 系列套件,包含 Hive、HBase、Phoenix 等;

· ElasticSearch:包含 Logstash、ElasticSearch、Kibana 等;

· Kudu:包含 Impala 等;

无论针对哪种存储生态,其外层负责数据计算的技术栈很多都是通用的,例如Spark、Flink 几乎支持读写所有存储生态中的数据。对于生产环境而言,选择哪一种存储生态,往往取决于业务形态以及业务部门对不同技术栈的熟练程度。

针对大数据生态中的众多服务,Cloudera(CDH,支持HDFS、Kudu生态)与Ambari(HDP,支持HDFS生态) 提供了部署、管理、监控、运维大数据服务组件与大数据节点的能力。但随着Cloudera与Ambari合二为一,CDH与 HDP合并为CDP发行版,在后续的版本中不再提供免费版功能。这对于国内企业的大数据业务无疑增加了不少开发、运维成本,如果继续使用免费的旧版本,将无法得到新特性的更新支持和BUG的及时修复。

在此背景下,UCloud基于多年大数据平台开发经验,近日全新发布了针对私有化部署场景下的一站式智能大数据平台USDP免费版。免费版USDP支持HDFS、Kudu、ES全生态,助力企业提升大数据开发、运维效率,快速构建大数据业务的分析处理能力。


兼容最广的一站式智能大数据平台

USDP涵盖了HDFS、Hive、HBase、Spark、Flink、Presto、Atlas、Ranger 等众多开源大数据组件,支持对这些组件进行运维、中台建设、数据开发、业务可视化等全栈式大数据开发运维管理。USDP通过轻量、易用、傻瓜式的形态交付给用户,支持对不同模块进行拆分,从而实现高度定制化,灵活匹配各垂直行业场景下的需求。

目前,UCloud一站式智能大数据平台USDP所支持的服务如表格所示,同时还在持续拓展更多开源生态组件服务。

相比Cloudera(CDH、CDP)、Ambari(HDP),USDP支持更多丰富的大数据服务包括Flink、Kylin、Livy、Phoenix、Tez、Elasticsearch、Kibana、Azkaban、Presto、Atlas、Kafka Eagle、ZKUI等,几乎涵盖了所有主流技术框架,且所支持的大数据服务之间完全兼容,用户可以灵活选择、按需使用。此外,UCloud大数据技术团队持续跟进开源社区进展以及产品反馈,对潜在的 Bug 进行及时修复,用户无需再考虑大数据服务之间的适配问题。在CDH订阅付费模式下,免费版USDP无疑是当下大数据开发运维的最佳选择!

自研管理组件,安全可靠性更高

USDP作为UCloud大数据团队自主研发的一站式智能大数据平台,其整体架构如下图所示:

上图中,Manager Server为USDP管理端服务,需配备一个MySQL实例存储集群相关的元数据信息。Agent为USDP从节点控制端服务,用于管理、操作所在节点以及所在节点上的大数据服务。其中BigData Service为各类大数据服务(例如:HDFS、YARN等)。

InfluxDB、Prometheus、Grafana作为监控服务,用于汇总并展示整个集群的监控数据。

USDP支持最少3个节点,最多上千节点的集群规模,同时,允许Manager Server与Agent等相关服务部署在相同的节点上,这样满足大型业务的同时,也尽可能帮助用户使用较小的成本满足小型业务对数据分析的诉求。

USDP一站式智能大数据平台的核心优势

无需担心业务绑定

USDP中所包含的大数据服务、组件,均满足 Apache 2.0开源协议,UCloud大数据团队在做过大量兼容性测试后,积极回馈社区,并将编译后的兼容包全面公开发布。由于本身紧跟开源社区的步伐,用户可以随时进行自主替换、自主建设、自主数据迁移、集群迁移等,因此无需担心大数据业务与闭源服务绑定。

傻瓜式部署方式

为了能让用户体验到极简的大数据部署运维、管理方案,USDP提供了丰富详细的部署、操作文档,并且用户无需担心安装时准备众多内容,初始化环境只需要简单几步,即可自动完成配置。

1-环境检查


2-服务部署

全面丰富的监控指标

USDP预置的监控指标主要包含三部分内容:

• JMX全量指标采集

• Http常用指标采集

• 自定义指标采集

以上三部分监控数据最终将汇总于USDP的 Promethues中,并在每个服务的概览页面中,展示最常用的监控指标,同时,在Grafana中,通过 USDP官方预置的监控模板(Dashboard),用户可以查看最详细监控指标。如果USDP预置的监控图标无法满足业务需求,用户也可以自定义添加所需的监控图表。

灵活便捷的告警服务

USDP提供预置的告警模板,用户只需要引导进行简单配置,即可实现向不同目标(微信、钉钉、邮件、接口调用等)发送集群指标告警的需求。与监控指标的设计相似,如果用户认为预置的告警模板无法满足业务需求,也可以自定义对告警模板进行修改,或添加新的告警规则。

专业的技术支持

UCloud大数据团队积淀了多年公有云大数据运维和业务调优经验,通过持续更新的文档知识库,为用户提供专家级技术支持,解决使用USDP的后顾之忧。

反哺开源社区

USDP免费版中所使用的开源、全面兼容优化后的服务包,将反哺回开源社区,为开发者提供免费的下载渠道。

USDP解锁丰富的大数据场景

使用USDP一站式智能大数据平台,可以在各行各业中实现如下应用场景。

数据仓库

目前国内常用的数仓模型为维度数仓,即按照事实表、维度表来构建数据仓库、数据集市。通过USDP一站式智能大数据平台,用户可以部署构建维度数仓所需的各项服务,帮助企业快速构建数据中台。

机器学习

机器学习通过算法对大量数据进行分析,挖掘出其中蕴含的规律,并用于事物预测或者分类,有大量的计算需求。通过USDP一站式智能大数据平台支持的Spark、Flink等分布式运算框架,可以高效的进行机器学习应用开发。

信息检索

从海量数据中快速检索到所需信息,一直是数据应用的重要领域,USDP一站式智能大数据平台集成了分布式搜索和分析引擎Elasticsearch以及实时检索数据库HBase、数仓服务Kylin等,能够提供高效的数据检索能力,可用于构建企业级搜索引擎、日志管理系统等。

最后,敲黑板划重点:UCloud一站式智能大数据平台USDP免费版诚邀大家参考以下方式下载使用。

附USDP资源下载地址:

• US3:

https://s3-cn-bj.ufileos.com/...

• 百度网盘:

链接:

https://pan.baidu.com/s/1mlic...

提取码:spp9

扫码添加UCloud大数据技术专家

备注“USDP”

邀请您加入大数据产品技术交流群