Spark Stream怎么使用
这篇文章主要讲解了“Spark Stream怎么使用”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“Spark Stream怎么使用”吧！
pom.xml
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-streaming_2.11</artifactId>
<version>2.1.0</version>
</dependency>
import java.io.OutputStream;
import java.net.ServerSocket;
import java.net.Socket;
import java.util.Arrays;
import java.util.UUID;
import org.apache.spark.SparkConf;
import org.apache.spark.streaming.Durations;
import org.apache.spark.streaming.api.java.JavaDStream;
import org.apache.spark.streaming.api.java.JavaPairDStream;
import org.apache.spark.streaming.api.java.JavaStreamingContext;
import scala.Tuple2;
public class SparkStreamTest {
public static void main(String[] args) throws Exception {
startSockerServer(9999);
SparkConf conf = new SparkConf().setMaster("local[2]").setAppName("NetworkWordCount");
JavaStreamingContext jssc = new JavaStreamingContext(conf, Durations.seconds(1));
JavaDStream<String> lines = jssc.socketTextStream("localhost", 9999);
JavaDStream<String> words = lines.flatMap(x -> Arrays.asList(x.split(" ")).iterator());
JavaPairDStream<String, Integer> pairs = words.mapToPair(s -> new Tuple2<>(s, 1));
JavaPairDStream<String, Integer> counts = pairs.reduceByKey((x, y) -> x + y);
counts.print();
jssc.start();
jssc.awaitTermination();
jssc.close();
}
private static void startSockerServer(int port) throws Exception {
new Thread(){
public void run() {
try {
ServerSocket server = new ServerSocket(port);
Socket socket = server.accept();
OutputStream os = socket.getOutputStream();
for (int i = 0; i < 1000; i++) {
String txt = UUID.randomUUID().toString().replaceAll("-", " ");
txt = "Hello test\n";
os.write(txt.getBytes());
Thread.sleep(10);
}
socket.close();
server.close();
} catch (Exception e) {
e.printStackTrace();
}
}
}.start();
}
}
会不断地打印出类似的结果：
-------------------------------------------
Time: 1490947248000 ms
-------------------------------------------
(Hello,99)
(test,99)
感谢各位的阅读，以上就是“Spark Stream怎么使用”的内容了，经过本文的学习后，相信大家对Spark Stream怎么使用这一问题有了更深刻的体会，具体使用情况还需要大家实践验证。这里是编程网，小编将为大家推送更多相关知识点的文章，欢迎关注！
免责声明：
① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的，并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据，供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。
② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341
