解析多个 JSON 数组中的实体，消除重复代码

小伙伴们对Golang编程感兴趣吗？是否正在学习相关知识点？如果是，那么本文《解析多个 JSON 数组中的实体，消除重复代码》，就很适合你，本篇文章讲解的知识点主要包括。在之后的文章中也会多多分享相关知识点，希望对大家的知识积累有所帮助！

我正在制作一个 json api 包装器客户端，它需要获取分页结果，其中下一页的 url 由上一页提供。为了减少共享相同响应格式的 100 多个实体的代码重复，我希望有一个客户端方法来从所有分页页面获取和解组不同的实体。

我当前的简化（伪）版本方法（没有错误等）：

type ListResponse struct {
    Data struct {
        Results []interface{} `json:"results"`
        Next    string        `json:"__next"`
    } `json:"d"`
}

func (c *Client) ListRequest(uri string) listResponse ListResponse {
    // Do a http request to uri and get the body
    body := []byte(`{ "d": { "__next": "URL", "results": []}}`)
    json.NewDecoder(body).Decode(&listResponse)
}

func (c *Client) ListRequestAll(uri string, v interface{}) {
    a := []interface{}
    f := c.ListRequest(uri)
    a = append(a, f.Data.Results...)

    var next = f.Data.Next
    for next != "" {
        r := c.ListRequest(next)
        a = append(a, r.Data.Results...)
        next = r.Data.Next
    }

    b, _ := json.Marshal(a)
    json.Unmarshal(b, v)
}

// Then in a method requesting all results for a single entity
var entities []Entity1
client.ListRequestAll("https://foo.bar/entities1.json", &entities)

// and somewehere else
var entities []Entity2
client.ListRequestAll("https://foo.bar/entities2.json", &entities)

然而，问题是这种方法效率低下并且使用太多内存等，即首先在通用 listresponse 中进行解组，结果为 []interface{} （以查看下一个 url 并将结果连接到单个切片中） )，然后编组 []interface{}，以便在 []entity1 的目标切片中直接向后解编它。

我也许可以使用 reflect 包动态创建这些实体的新切片，直接解组到它们中并随后连接/附加它们，但是如果我理解正确，我最好不要使用 reflect 除非绝对必要...

解决方案

查看 encoding/json 包中的 rawmessage 类型。它允许您将 json 值的解码推迟到以后。例如：

results []json.rawmessage `json:"results"`

甚至...

results json.rawmessage `json:"results"`

由于 json.rawmessage 只是一个字节片段，因此这比您要解组到的中间 []interface{} 效率更高。

关于如何在给定多页读取的情况下将它们组装成单个切片的第二部分，您可以通过让调用者使用切片类型的切片来将该问题转嫁给调用者。

// then in a method requesting all results for a single entity
var entitypages [][]entity1
client.listrequestall("https://foo.bar/entities1.json", &entitypages)

但是，这仍然存在您的一般设计所存在的无限内存消耗问题，因为您必须立即加载所有页面/项目。您可能需要考虑更改为打开/读取抽象，例如处理文件。您将有一些 open 方法，该方法返回另一种类型，例如 os.file，提供一次读取数据子集的方法，同时在内部请求页面并根据需要进行缓冲。

也许是这样的（未经测试）：

type PagedReader struct {
  c *Client

  buffer []json.RawMessage

  next string
}

func (r *PagedReader) getPage() {
  f := r.c.ListRequest(r.next)
  r.next = f.Data.Next
  r.buffer = append(r.buffer, f.Data.Results...)
}

func (r *PagedReader) ReadItems(output []interface{}) int {
  for len(output) > len(buffer) && r.next != "" {
    r.getPage()
  }

  n := 0
  for i:=0;i<len(output)&&i< len(r.buffer);i++ {
    json.Unmarshal(r.buffer[i], output[i] )
    n++
  }
  r.buffer = r.buffer[n:]
  return n
}

今天带大家了解了的相关知识，希望对你有所帮助；关于Golang的技术知识我们会一点点深入介绍，欢迎大家关注编程网公众号，一起学习编程~