Slaytanic

In Code We Trust

  • 首页
  • Bigdata
    • Hadoop
    • Bigtop
    • HBase
    • Hive
    • Spark
    • Flume
    • Zookeeper
    • Zeppelin
  • Web
    • Frontend
    • Backend
  • Route&Switch
  • Server
    • X86
    • ARM
  • Git
  • Culture
    • History
    • Music
    • Philosophy
  • Personal
  • About
  • My Life

Archives

Home machine learning

Integrate pyspark and sklearn with distributed parallel running on YARN

Python is useful for data scientists, especially with pyspark, but it’s a big problem to sysadmins, they will install python 2.7+ and spark and numpy,scipy,sklearn,pandas on each node, well, because Cloudera said that. Wow, imaging this, You have a cluster with 1000+ nodes or even 5000+ nodes, although you are good at DevOPS tools such as puppet, fabric, this work still cost lot of time. Continue reading Integrate pyspark and sklearn with distributed parallel running on YARN →

Posted by 向 磊 / 7月 20, 2017 / 0 Comments / Tagged with hadoop, lambda, machine learning, python, spark / Posted in Bigdata, Bigdata, Hadoop, Bigdata, Spark

标签

arm async bigtop client cloudera cookie deb DNS dr-elephant flume freebsd gettext GFW HA hadoop hive kerberos lambda log manager named nginx ops pyspark python rpm secure server shadowsocks shell spark tornado xsrf zeppelin 分析 卖书 异步 性能 日志 服务器 监控 自动化 调优 运维 阿里云

归档

  • 2021年8月
  • 2020年1月
  • 2019年4月
  • 2018年12月
  • 2018年11月
  • 2018年6月
  • 2018年1月
  • 2017年10月
  • 2017年7月
  • 2017年5月
  • 2017年4月
  • 2017年3月
  • 2017年1月
  • 2016年12月
  • 2016年1月
  • 2015年11月
  • 2015年8月
  • 2015年7月
  • 2015年4月
  • 2015年1月
  • 2014年8月
  • 2014年6月
  • 2014年4月
  • 2014年3月
  • 2014年1月
  • 2013年12月

功能

  • 登录
  • 条目feed
  • 评论feed
  • WordPress.org

About us

Slaytanic

This WordPress Theme is your easy solution for building strong competitive financial website for your business. Don’t waste your priceless time, install the theme and go ahead.

Navigation

  • About

近期文章

  • Jupyterhub integrate with customized Kerberos authenticator 17/08/2021
  • DS means Data Scientist? NO! 10/01/2020
  • jupyterlab and pyspark2 integration in 1 minute 09/04/2019
  • 自己动手打造ipv6梯子 12/12/2018

Contact info

  • 1254/21 West-Holland Street
    Manchester
    United Kingdom
  • 345-677-554
  • info@yoursite.com
  • profitconnection

© Copyright 2022 Slaytanic • Designed by MotoPress • Proudly Powered by WordPress