容器与大数据能力如何完美集合?

大数据平台容器化的底层容器使用何种技术,集群与平台,厂商或是开源的容器云平台是否可以完全兼容并提供大数据场景下的相关能力

参与3

1同行回答

dean25dean25课题专家组软件架构设计师民生银行
大数据平台容器化后底层容器使用的还是k8s这一套,这个并没有改变。 技术方案方案一般有2大类: 一个大类是用k8s模拟yarn调度模式、一个大类是k8s原生调度方式。spark/flink社区主要支持k8s原生调度方式,我们因为历史原因选择用k8s模拟yarn调度模式。大数据容器化只有和混...显示全部

大数据平台容器化后底层容器使用的还是k8s这一套,这个并没有改变。 技术方案方案一般有2大类: 一个大类是用k8s模拟yarn调度模式、一个大类是k8s原生调度方式。spark/flink社区主要支持k8s原生调度方式,我们因为历史原因选择用k8s模拟yarn调度模式。大数据容器化只有和混合部署结合才有价值,可以大幅度提升资源使用效率,降低算力成本。单独搞大数据容器化没有啥意义,所以建议在进行大数据容器化改造,可以优先尝试混合部署结合方式。

收起
银行 · 2024-04-28
浏览73

ChatGPT 回答

大数据平台容器化的底层容器使用的技术可以是Docker、Kubernetes等。Docker是一种轻量级的容器技术,可以将应用程序及其依赖项打包成一个可移植的容器,从而实现跨平台部署。Kubernetes是一个开源的容器编排平台,可以自动化部署、扩展和管理容器化应用程序。

在大数据场景下,容器化技术可以帮助实现快速部署、弹性伸缩、资源隔离等功能,提高大数据平台的灵活性和可靠性。同时,容器云平台也可以提供大数据场景下的相关能力,如数据存储、数据处理、数据分析等,以满足用户的需求。

目前,市面上有许多容器云平台厂商和开源项目,如Docker Swarm、Kubernetes、OpenShift等,它们都可以提供大数据场景下的相关能力。但是,不同的容器云平台在功能、性能、易用性等方面存在差异,用户需要根据自己的需求选择合适的平台。同时,用户还需要注意平台的兼容性,确保平台可以与自己的大数据应用程序兼容。

提问者

橘子皮
容器云运维工程师北京银行
擅长领域: 云计算容器消息中间件

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2024-04-28
  • 关注会员:2 人
  • 问题浏览:594
  • 最近回答:2024-04-28
  • X社区推广