By

Spark架构采用了分布式计算中的Master-Slave模型。Master是对应集群中的含有Master进程的节点，Slave是集群中含有Worker进程的节点。Master作为整个集群的控制器，负责整个集群的正常运行；Worker相当于是计算节点，接收主节点命令与进行状态汇报；Executor负责任务的执行；Cluster作为用户的客户端负责提交应用，Driver负责控制一个应用的执行。具体如下图

阅读更多

By

1.什么是 java 序列化， 如何实现 java 序列化？或者请解释 Serializable 接口 接口的作用？
答：我们有时候将一个java 对象变成字节流的形式传出去或者从一个字节流中恢复成一个java 对象，例如，要将java 对象存储到硬盘或者传送给网络上的其他计算机，这个过程我们可以自己写代码去把一个java 对象变成某个格式的字节流再传输，但是，jre 本身就提供了这种支持，我们可以调用OutputStream的writeObject方法来做，如果要让java帮我们做，要被传输的对象必须实现serializable 接口，这样，javac 编译时就会进行特殊处理，编译的类才可以被writeObject方法操作，这就是所谓的序列化。需要被序列化的类必须实现Serializable 接口，该接口是一个mini 接口，其中没有需要实现的方法，implements Serializable只是为了标注该对象是可被序列化的。
例如，在web 开发中，如果对象被保存在了Session 中，tomcat 在重启时要把Session对象序列化到硬盘，这个对象就必须实现Serializable接口。如果对象要经过分布式系统进行网络传输或通过rmi 等远程调用，这就需要在网络上传输对象，被传输的对象就必须实现Serializable接口。

阅读更多

By

试想一下，如果有10G数据，或者更多；怎么才能够快速地去重呢？你会说将数据导入到数据库（mysql等）进行去重，或者用java写个程序进行去重，或者用Hadoop进行处理。如果是大量的数据要写入数据库也不是一件容易的事情，首先你需要开发一个程序将数据写入数据库，然后再用数据库的select distinct或者group by进行去重。如果是一次性的工作，这种方式显得就比较笨拙了。那么有没有更好的办法呢？下面记录一下我是怎么从10G数据里面迅速去重的。这里采用shell脚本的方式进行处理。

阅读更多