我的编程空间,编程开发者的网络收藏夹
学习永远不晚

为什么在内存中下载比从 aws s3 在文件系统中下载慢?

短信预约 -IT技能 免费直播动态提醒
省份

北京

  • 北京
  • 上海
  • 天津
  • 重庆
  • 河北
  • 山东
  • 辽宁
  • 黑龙江
  • 吉林
  • 甘肃
  • 青海
  • 河南
  • 江苏
  • 湖北
  • 湖南
  • 江西
  • 浙江
  • 广东
  • 云南
  • 福建
  • 海南
  • 山西
  • 四川
  • 陕西
  • 贵州
  • 安徽
  • 广西
  • 内蒙
  • 西藏
  • 新疆
  • 宁夏
  • 兵团
手机号立即预约

请填写图片验证码后获取短信验证码

看不清楚,换张图片

免费获取短信验证码

为什么在内存中下载比从 aws s3 在文件系统中下载慢?

为什么在内存中下载比从AWS S3在文件系统中下载慢? 在下载文件时,我们通常会选择从AWS S3存储桶中下载到本地文件系统。然而,有时候我们会发现,使用内存中的下载方式比直接从S3下载到文件系统要慢。这是因为在内存中下载涉及到一些额外的步骤和资源消耗。首先,内存中的下载需要将文件内容读取到内存中,然后再将其写入到文件系统中。这个过程中涉及到了额外的内存操作和IO操作,相比直接从S3下载到文件系统,会导致下载速度变慢。另外,内存中的下载还可能受到内存限制的影响,当下载的文件较大时,可能会导致内存不足的问题,进而影响下载速度。因此,在选择下载方式时,需要根据具体情况权衡利弊,选择最适合的方式来进行下载操作。

问题内容

我正在使用aws gosdk从某个存储桶下载。下面是下载的两种实现

  1. 下载到文件
func (a *awsclient) downloadtofile(ctx context.context, objectkey string) (string, error) {
    params := &awss3.getobjectinput{
        bucket: aws.string(a.bucket),
        key:    aws.string(objectkey),
    }

    downloadpath := "some/valid/path"
    f, err := os.create(downloadpath)
    defer f.close()
    _, err = a.downloader.download(ctx, f, params)
    return downloadpath, err
}
  • 下载到内存
  • func (a *AwsClient) DownloadToMemory(ctx context.Context, objectKey string) (string, error) {
        params := &awsS3.GetObjectInput{
            Bucket: aws.String(a.bucket),
            Key:    aws.String(objectKey),
        }
    
        buffer := manager.NewWriteAtBuffer([]byte{})  
        _, err = a.downloader.Download(ctx, buffer, params)
        return buffer.Bytes(), err
    }

    对于 100 mb 的文件,下载到内存中需要 30 秒,下载到文件系统中只需要 8 秒。我的期望是内存下载应该快得多。我的系统(apple m1、ventura、8gb ram)有足够的可用 ram,所以这不是问题。有人可以帮助我理解这种行为吗?

    解决方法

    将大的 S3 对象下载到动态缓冲区中效率非常低。该缓冲区被重新分配多次以处理 100M 数据和多个下载线程。内存重新分配需要大量 CPU 时间。

    尝试在开始时分配 100M,而不是使用空字节片。

    如果对象大小未知,您可以使用 S3.HeadObject 实时获取对象长度。

    以上就是为什么在内存中下载比从 aws s3 在文件系统中下载慢?的详细内容,更多请关注编程网其它相关文章!

    免责声明:

    ① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

    ② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

    为什么在内存中下载比从 aws s3 在文件系统中下载慢?

    下载Word文档到电脑,方便收藏和打印~

    下载Word文档

    猜你喜欢

    为什么在内存中下载比从 aws s3 在文件系统中下载慢?

    为什么在内存中下载比从AWS S3在文件系统中下载慢?在下载文件时,我们通常会选择从AWS S3存储桶中下载到本地文件系统。然而,有时候我们会发现,使用内存中的下载方式比直接从S3下载到文件系统要慢。这是因为在内存中下载涉及到一些额外的步骤
    为什么在内存中下载比从 aws s3 在文件系统中下载慢?
    2024-02-09

    编程热搜

    • Python 学习之路 - Python
      一、安装Python34Windows在Python官网(https://www.python.org/downloads/)下载安装包并安装。Python的默认安装路径是:C:\Python34配置环境变量:【右键计算机】--》【属性】-
      Python 学习之路 - Python
    • chatgpt的中文全称是什么
      chatgpt的中文全称是生成型预训练变换模型。ChatGPT是什么ChatGPT是美国人工智能研究实验室OpenAI开发的一种全新聊天机器人模型,它能够通过学习和理解人类的语言来进行对话,还能根据聊天的上下文进行互动,并协助人类完成一系列
      chatgpt的中文全称是什么
    • C/C++中extern函数使用详解
    • C/C++可变参数的使用
      可变参数的使用方法远远不止以下几种,不过在C,C++中使用可变参数时要小心,在使用printf()等函数时传入的参数个数一定不能比前面的格式化字符串中的’%’符号个数少,否则会产生访问越界,运气不好的话还会导致程序崩溃
      C/C++可变参数的使用
    • css样式文件该放在哪里
    • php中数组下标必须是连续的吗
    • Python 3 教程
      Python 3 教程 Python 的 3.0 版本,常被称为 Python 3000,或简称 Py3k。相对于 Python 的早期版本,这是一个较大的升级。为了不带入过多的累赘,Python 3.0 在设计的时候没有考虑向下兼容。 Python
      Python 3 教程
    • Python pip包管理
      一、前言    在Python中, 安装第三方模块是通过 setuptools 这个工具完成的。 Python有两个封装了 setuptools的包管理工具: easy_install  和  pip , 目前官方推荐使用 pip。    
      Python pip包管理
    • ubuntu如何重新编译内核
    • 改善Java代码之慎用java动态编译

    目录