如何使用 Linux 命令行工具解析和打印 JSON

JSON 是一种轻量级且独立于语言的数据存储格式,易于与大多数编程语言集成,并且在正确格式化的情况下也易于人类理解。 JSON这个词代表 Ĵ爱娃小号脚本 对象 ñotation,虽然从 JavaScript 开始,主要用于服务器和浏览器之间的数据交换,但现在被用于包括嵌入式系统在内的许多领域。 在这里,我们将在 Linux 上使用命令行工具解析和漂亮地打印 JSON。 它对于在 shell 脚本中处理大型 JSON 数据或在 shell 脚本中操作 JSON 数据非常有用。

内容

  1. 什么是漂亮的印刷?
  2. 在 linux 中使用 jq 解析和打印 JSON
  3. JSON 漂亮的打印
  4. 如何用 jq 解析 JSON
    1. jq的基本过滤器和标识符
    2. 解析特定数据
    3. 从 JSON 数组中解析元素
    4. 脚本示例

什么是漂亮的印刷?

JSON 数据的结构更易于人类阅读。 但是在大多数情况下,JSON 数据存储在一行中,即使没有行结束字符。

显然这对于​​手动阅读和编辑来说不是很方便。

这时候漂亮的印刷品就派上用场了。 这个名字很容易解释,重新格式化 JSON 文本以使人类更易读。 这被称为 JSON 漂亮的打印.

在 linux 中使用 jq 解析和打印 JSON

JSON数据可以用命令行文本处理器解析 awk, sed格子. 事实上 JSON.awk 是一个 awk 脚本来做到这一点。 但是,有一些用于相同目的的专用工具。

  1. jq 或者 杰顺, 用于shell的JSON解析器,它们都非常有用。
  2. Shell 脚本如 JSON.sh 或者 jsonv.sh 解析JSON bash, zsh 或破折号外壳。
  3. JSON.awk, JSON 解析器 awk 脚本。
  4. Python模块如 json.tool.
  5. 下划线-cli, Node.js 和 javascript 为基础。

在本教程中,我只关注 jq,这是一个非常强大的 JSON 解析器,用于具有高级过滤和脚本功能的 shell。

JSON 漂亮的打印

JSON 数据可能是一体的,人类几乎难以辨认,因此为了使其具有一定的可读性,这里提供 JSON 漂亮打印。

例子: 来自的数据 jsonip.com, 要获取 JSON 格式的外部 IP 地址,请使用 curl 或者 wget 像下面这样的工具。

$ wget -cq https://jsonip.com/ -O -

实际数据如下所示:

{"ip":"111.222.333.444","about":"/about","Pro!":"https://getjsonip.com"}

现在用 jq 漂亮地打印它:

$ wget -cq https://jsonip.com/ -O - | jq '.'

在使用 jq 过滤结果后,这应该如下所示。

{     "ip": "111.222.333.444",     "about": "/about",     "Pro!": "https://getjsonip.com"  }

用python可以做同样的事情 json.tool 模块。 这是一个例子:

$ cat anything.json | python -m json.tool

这个基于 Python 的解决方案对大多数用户来说应该没问题,但是在没有预安装或无法安装 Python 的情况下(例如在嵌入式系统上),它就没有那么有用了。

然而 json.tool python 模块有一个明显的优势,它是跨平台的。 因此,您可以在 Windows、Linux 或 mac OS 上无缝使用它。

建议阅读:

  • Prettyping – 使 Ping 命令的输出更漂亮,更易于阅读

如何用 jq 解析 JSON

首先,您需要安装 jq,它已经被大多数 GNU/Linux 发行版所采用,使用它们各自的包安装程序命令安装它。

在 Arch Linux 上:

$ sudo pacman -S jq

在 Debian、Ubuntu、Linux Mint 上:

$ sudo apt-get install jq

在 Fedora:

$ sudo dnf install jq

在 openSUSE 上:

$ sudo zypper install jq

对于其他操作系统或平台,请参阅官方安装说明。

jq的基本过滤器和标识符

jq 可以从以下位置读取 JSON 数据 标准输入 或一个 文件. 您必须根据情况使用两者。

的单一符号 . 是最基本的过滤器。 这些过滤器也称为 对象标识符索引. 使用单个 . 与 jq 一起基本上可以漂亮地打印输入 JSON 文件。

单引号 – 您不必总是使用单引号。 但是,如果您将多个过滤器组合在一行中,则必须使用它们。

双引号 – 你必须附上任何特殊字符,如 @, #, $ 在两个双引号内,例如这个例子, jq .foo.”@bar”

原始数据打印 – 出于任何原因,如果您只需要最终解析的数据,而不是用双引号括起来,请在 jq 命令中使用 -r 标志,如下所示。 -jq -r .foo.bar.

解析特定数据

要过滤掉 JSON 的特定部分,您必须查看漂亮打印的 JSON 文件的数据层次结构。

来自 Wikipedia 的 JSON 数据示例:

{    "firstName": "John",    "lastName": "Smith",    "age": 25,    "address": {      "streetAddress": "21 2nd Street",      "city": "New York",      "state": "NY",      "postalCode": "10021"  },    "phoneNumber": [  {    "type": "home",    "number": "212 555-1234"  },  {    "type": "fax",    "number": "646 555-4567"  }  ],    "gender": {    "type": "male"    }  }

我将在本教程中使用此 JSON 数据作为示例,将其保存为 示例.json.

假设我想从 sample.json 文件中过滤掉地址。 所以命令应该是这样的:

$ jq .address sample.json

样本输出:

{    "streetAddress": "21 2nd Street",    "city": "New York",    "state": "NY",    "postalCode": "10021"  }

再次假设我想要邮政编码,然后我必须添加另一个 对象标识符索引,即另一个过滤器。

$ cat sample.json | jq .address.postalCode

另请注意, 过滤器区分大小写 并且您必须使用完全相同的字符串来获得有意义的输出而不是 null。

从 JSON 数组中解析元素

JSON 数组的元素用方括号括起来,无疑用途广泛。

要解析数组中的元素,您必须使用 []标识符 连同其他对象标识符索引。

在这个示例 JSON 数据中,电话号码存储在一个数组中,要从这个数组中获取所有内容,您只需要使用括号,就像这个例子一样。

$ jq .phoneNumber[] sample.json

假设您只想要数组的第一个元素,然后使用从 0 开始的数组对象编号,对于第一项,使用 [0],对于下一个项目,它应该每一步增加一个。

$ jq .phoneNumber[0] sample.json

脚本示例

假设我只想要 home 的数字,而不是整个 JSON 数组数据。 这是 jq 命令中的脚本派上用场的时候。

$ cat sample.json | jq -r '.phoneNumber[] | select(.type == "home") | .number'

这里首先我将一个过滤器的结果传送到另一个过滤器,然后使用 select 属性选择特定类型的数据,再次将结果传送到另一个过滤器。

解释每种类型的 jq 过滤器和脚本超出了本教程的范围和目的。 强烈建议阅读 JQ 手册以便更好地理解下面给出的内容。

资源:

  • https://stedolan.github.io/jq/manual/
  • https://www.compciv.org/recipes/cli/jq-for-parsing-json/
  • https://lzone.de/cheat-sheet/jq

相关阅读:

  • YAML 教程 | YAML 入门

关于作者:

阿纳布萨蒂帕斯 是一个狂热的 Linux 和开源爱好者。 他还喜欢摆弄技术和电子产品,并在网上分享他的经验。

CLI命令行JavaScript Object NotationjqJSONJSON 解析器LinuxLinux 命令Linux 技巧开源解析漂亮打印编程