我的编程空间,编程开发者的网络收藏夹
学习永远不晚

安装Kafka-Python

短信预约 -IT技能 免费直播动态提醒
省份

北京

  • 北京
  • 上海
  • 天津
  • 重庆
  • 河北
  • 山东
  • 辽宁
  • 黑龙江
  • 吉林
  • 甘肃
  • 青海
  • 河南
  • 江苏
  • 湖北
  • 湖南
  • 江西
  • 浙江
  • 广东
  • 云南
  • 福建
  • 海南
  • 山西
  • 四川
  • 陕西
  • 贵州
  • 安徽
  • 广西
  • 内蒙
  • 西藏
  • 新疆
  • 宁夏
  • 兵团
手机号立即预约

请填写图片验证码后获取短信验证码

看不清楚,换张图片

免费获取短信验证码

安装Kafka-Python

安装Kafka-Python


下载Kafka-Python压缩包

从https://github.com/mumrah/kafka-python/releases中下载最新的release包,此时最新的包为kafka-python-0.9.3.tar.gz


 编译安装

$tar -xvf kafka-python-0.9.3.tar.gz

$cd kafka-python-0.9.3.tar.gz

$python setup.py install


如果报下面的异常说明没有安装setuptools,请参考下文进行安装:

[html] view plain copy print?

[root@hadoop01 kafka-python-0.9.3]# python setup.py  install  

Traceback (most recent call last):  

  File "setup.py", line 3, in <module>  

    from setuptools import setup, Command  

ImportError: No module named setuptools  




编码

[html] view plain copy print?

import time  

__author__ = 'aihua.sun'  

import logging  

import random,string  

from kafka.producer import SimpleProducer  

from kafka.client import KafkaClient  

LOG = logging.getLogger('kafka_producer')  

class TrueCloudDataPointProducer():  

    def __init__(self,hosts,batch_send=False,batch_send_every_n=20,topic="true_cloud_datapoint_topic"):  

        self.hosts=hosts  

        self.client=KafkaClient(self.hosts)  

        self.batch_send=batch_send  

        self.batch_send_every_n=batch_send_every_n  

        self.producer = SimpleProducer(self.client,batch_send=batch_send,batch_send_every_n=batch_send_every_n)  

        self.topic=topic  

    def send_messages(self,msg):  

        self.producer.send_messages(self.topic,msg)  

def get_instance():  

    hosts={'hadoop01':'9092','hadoop01':'9093','hadoop01':'9094','hadoop101':'9095','hadoop02':'9092','hadoop02':'9093','hadoop02':'9094'}  

    return TrueCloudDataPointProducer(hosts)  

if __name__=="__main__":  

    begin=time.time()  

    producer=get_instance()  

    for i in range(0,10000):  

        msg='Message'+str(i)+' '+''.join(random.choice(string.lowercase) for i in range(64))+'\n'  

        producer.send_messages(msg)  

    end=time.time()  

    print("use time:"+str((end-begin)))  




安装依赖模块

setuptools

下载

从https://pypi.python.org/pypi/setuptools/14.3.1#downloads下载setuptools包


 编译安装

$tar zxvf setuptools-14.3.1.tar.gz

$cd setuptools-14.3.1

$python setup.py build

$python setup.py install


six

 从https://pypi.python.org/pypi/six/1.9.0 下载six-1.9.0.tar.gz

编译安装

$tar zxvf six-1.9.0.tar.gz

$cd setuptools-0.6c11

$python setup.py build

$python setup.py install


免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

安装Kafka-Python

下载Word文档到电脑,方便收藏和打印~

下载Word文档

猜你喜欢

安装Kafka-Python

安装Kafka-Python下载Kafka-Python压缩包从https://github.com/mumrah/kafka-python/releases中下载最新的release包,此时最新的包为kafka-python-0.9.3.
2023-01-31

kafka-python安装实践

#网上看的教程都很麻烦,也不知道为什么,反正我是pip install setuptoolspip install kafka-python就OK了setuptools是kafka-python的依赖库
2023-01-31

Kafka kafka在windows下的安装与配置

kafka在windows下的安装与配置  By: 授客 QQ:1033553122  1.测试环境................................................................................
Kafka kafka在windows下的安装与配置
2021-09-21

CentOS7怎么安装Kafka

这篇文章主要介绍CentOS7怎么安装Kafka,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!简介 Kafka 是一种高吞吐的分布式发布订阅消息系统,能够替代传统的消息队列用于解耦合数据处理,缓存未处理消息等,同时具
2023-06-10

如何安装php+kafka

这篇文章给大家分享的是有关如何安装php+kafka的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。1、 安装java,并设置相关的环境变量> wget https://download.java.net/open
2023-06-20

windows 安装kafka流程

1、安装jdk 安装地址:www.oracle.com/java/technologies/downloads 下载好后进行安装,基本上一路点击下一步,不要忘记了把安装目录更换一下! 安装好后需要配置环境变量 找到 "计算机-属性-高
2023-08-22

怎样安装测试kafka

本篇文章为大家展示了怎样安装测试kafka,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。在server1和server2上安装kafkacd /tmptar -xzf kafka_2.12-2.4.
2023-06-05

Centos7下怎么安装kafka-manager

本篇内容介绍了“Centos7下怎么安装kafka-manager”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!安装当前版本已更新至3.0.
2023-06-27

Linux系统如何安装Kafka

小编给大家分享一下Linux系统如何安装Kafka,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者
2023-06-28

在Linux环境下安装Kafka

目录二、生产与消费2.1 kafka-topics.sh 用于管理主题2.2 kafka-console-consumer.sh用于消费消息2.3 kafka-console-producer.sh用于生产消息2.4 具体操作 一、环境准备
2022-06-04

php7怎么安装kafka扩展

这篇文章将为大家详细讲解有关php7怎么安装kafka扩展,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。一、安装librdkafka# cd /usr/local/src/# git clone http
2023-06-15

php怎么安装kafka扩展

这篇文章主要介绍了php怎么安装kafka扩展,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。一、安装librdkafka# cd /usr/local/src/# git c
2023-06-15

kafka和zookeeper是怎么安装的

小编给大家分享一下kafka和zookeeper是怎么安装的,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!kafka和zookeeper安装编写 compose
2023-06-21

Docker安装Kafka教程(超详细)

首先创建一个网络 app-tier:网络名称 –driver:网络类型为bridge docker network create app-tier --driver bridge 1、安装zookeeper Kafka依赖zook
2023-08-19

Centos7如何编译安装kafka-manager

本篇内容介绍了“Centos7如何编译安装kafka-manager”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!管理多个集群具体支持以下内
2023-06-05

Python: kafka-python

背景我们有个数据处理平台,有两个用 docker 运行的数据处理模块,分别是:data_api, 和 processor_api,故名思义:data_api: 接受数据;processor_api: 处理数据;数据处理简单架构踩坑
2023-01-31

CentOS安装filebeat收集日志到kafka

filebeat是日志数据采集器,可代替logstash收集日志,部署起来比较方便。一般日志量比较大,会先收集到kafka然后再进行消费。

编程热搜

  • Python 学习之路 - Python
    一、安装Python34Windows在Python官网(https://www.python.org/downloads/)下载安装包并安装。Python的默认安装路径是:C:\Python34配置环境变量:【右键计算机】--》【属性】-
    Python 学习之路 - Python
  • chatgpt的中文全称是什么
    chatgpt的中文全称是生成型预训练变换模型。ChatGPT是什么ChatGPT是美国人工智能研究实验室OpenAI开发的一种全新聊天机器人模型,它能够通过学习和理解人类的语言来进行对话,还能根据聊天的上下文进行互动,并协助人类完成一系列
    chatgpt的中文全称是什么
  • C/C++中extern函数使用详解
  • C/C++可变参数的使用
    可变参数的使用方法远远不止以下几种,不过在C,C++中使用可变参数时要小心,在使用printf()等函数时传入的参数个数一定不能比前面的格式化字符串中的’%’符号个数少,否则会产生访问越界,运气不好的话还会导致程序崩溃
    C/C++可变参数的使用
  • css样式文件该放在哪里
  • php中数组下标必须是连续的吗
  • Python 3 教程
    Python 3 教程 Python 的 3.0 版本,常被称为 Python 3000,或简称 Py3k。相对于 Python 的早期版本,这是一个较大的升级。为了不带入过多的累赘,Python 3.0 在设计的时候没有考虑向下兼容。 Python
    Python 3 教程
  • Python pip包管理
    一、前言    在Python中, 安装第三方模块是通过 setuptools 这个工具完成的。 Python有两个封装了 setuptools的包管理工具: easy_install  和  pip , 目前官方推荐使用 pip。    
    Python pip包管理
  • ubuntu如何重新编译内核
  • 改善Java代码之慎用java动态编译

目录