资料分享 大数据学习路线指南 Java 是大数据领域的主要语言，百分之90的大数据生态组件都是基于Java开发的，学好 Java 有助于在优化性能、排查问题方面得心应手，对Java的要求没有上限，越熟悉越好。Scala 是最强大的计算引擎 Spark、最强的消息队列Kafka的开发语言，如果我们要写 Spark yuziyue 19 Jul 2023 · 6 min read
资料分享 程序员经典书籍推荐 github star 104k 本书介绍了 Python 应用在各个领域中的一些使用技巧和方法，其主题涵盖了数据结构和算法，字符串和文本，数字、日期和时间，迭代器和生成器，文件和IO，数据编码与处理，函数，类与对象，元编程，模块和包，网络和 Web 编程 yuziyue 18 Jul 2023 · 18 min read
资料分享 数据湖hudi原理与实战资料 Apache Hudi 代表 Hadoop Upserts and Incrementals，管理大型分析数据集在HDFS 上的存储。Hudi 的主要目的是高效减少摄取过程中的数据延迟。由 Uber 开发并开源。最初是用于解决数仓中 Lambda 架构中数据一致性的问题，将增量处理模型替代流式处理模型 yuziyue 18 Jul 2023 · 14 min read
操作系统 linux最常用命令awk模式匹配 模式匹配：正则表达式、数值比较、字符串、模式组合等，逻辑运算符包括&&, ||, 和 !, 分别表示 AND, OR, 和 NOT 模式匹配表示，在处理某一行的时候，满足的这个模式，则进行后面的逻辑处理。 模式匹配示例 yuziyue 17 Jul 2023 · 1 min read
操作系统 linux最常用命令awk流程控制 在 linux awk 的 while、do-while 和 for 语句中允许使用 break, continue 语句来控制流程走向，也允许使用 exit 这样的语句来退出。break 中断当前正在执行的循环并跳到循环外执行下一条语句。if 是流程选择用法。awk 中，流程控制语句，语法结构，与 c 语言类似。 yuziyue 17 Jul 2023 · 2 min read
操作系统 linux最常用命令awk变量传递 1.2 作为awk参数传递 另一种传递外部变量方法：变量之间用空格分隔作为 awk 的命令行参数跟随在BEGIN、{} 和 END 语句块之后。1.3 全局变量传递 将shell全局变量传递给awk yuziyue 17 Jul 2023 · 1 min read
操作系统 linux最常用命令awk内置函数 awk内置函数，主要分以下3种类似：算数函数、字符串函数、时间函数、其它一般函数。sprintf 函数，格式化字符串。如果你不想打印，而是想格式化一个字符串，然后把它保存到一个变量中，该怎么办呢？试一试 sprintf 函数吧。 yuziyue 17 Jul 2023 · 8 min read
操作系统 linux最常用awk数组总结 数组是 awk 的灵魂，处理文本中最不能少的就是它的数组处理。因为数组索引（下标）可以是数字和字符串，在 awk 中数组叫做关联数组 (associative arrays)。awk 中的数组不必提前声明，也不必声明大小。数组元素用 0 或空字符串来初始化，这是根据上下文而确定的。 yuziyue 17 Jul 2023 · 4 min read
操作系统 linux最常用命令awk详解 awk 是一种编程语言，用于在 linux/unix 下对文本和数据进行处理。数据可以来自标准输入 (stdin)、一个或多个文件，或其它命令的输出。它支持用户自定义函数和动态正则表达式等先进功能，是 linux/unix 下的一个强大编程工具。它在命令行中使用，但更多是作为脚本来使用。awk 有很多内建的功能，比如数组 yuziyue 17 Jul 2023 · 7 min read
操作系统 局域网内nginx配置https访问 letsencrypt 的使用场景通常是有外网的时候，如果安装的 nginx 不能访问外网，同时也不能被外网访问，只能在内网发布，这时候 letsencrypt 就无法安装了，此时使用 openssl 手动生成证书可以解决此问题。 yuziyue 17 Jul 2023 · 2 min read
操作系统 linux最常用命令sed详解 一. 命令概述 sed是一种流编辑器。它一次处理一行内容，处理时，把当前处理的行存储在临时缓冲区中，也称为模式空间，接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾，文件内容并不会改变。 二. 命令格式 sed [option] 'command' inputFile 三. 常用选项 * -n 使用安静模式。在一般sed的用法中，所有的内容一般都会被列出到屏幕上。-n参数使得只有经过sed特殊处理的那一行才会被列出来。 * -e 进行多项编辑，即对输入行按照sed命令出现顺序依次应用。 yuziyue 17 Jul 2023 · 3 min read
操作系统 CentOS8部署KVM虚拟机 创建一个桥接网络，并桥接到1.1小结配置的网卡。网络创建以后，实际的物理网卡上的IP地址就好转移到刚刚创建的桥接虚拟网卡上，以后所有的流量都通过这个虚拟网桥管理。 进入cockpit页面 ==》网络 ==》添加网桥 ==》填写名称bridge0、选择物理网卡eno4 ==》应用。 yuziyue 17 Jul 2023 · 3 min read
操作系统 KVM组件原理梳理 kvm(kernel-based virtual machine)是Linux的一个内核驱动模块，它只模拟CPU和内存。KVM模块的职责就是打开并初始化VMX（Virtual Machine Extension）功能，提供相应的接口以支持虚拟机的运行。对于KVM来说，其匹配的用户空间工具并不仅仅只有QEMU，还有其他的， yuziyue 17 Jul 2023 · 3 min read
操作系统 Windows上优秀且实用的小工具分享 XMeters 在任务栏实时显示磁盘读写速率、内存占用量、网络上传下载速率、CPU负载的情况。类似于 linux 下 i3status 、py3status 的替代品。Rainmeter 在桌面实时显示系统状态，比如磁盘、网络、时间等。类似于linux下conky的替代品。 yuziyue 17 Jul 2023 · 2 min read
操作系统 AutoHotkey 快捷键使用心得分享 充分地利用 Alt 键 在 Windows 下的默认配置中，Alt 键的作用并不是那么大，在使用 AutoHotkey 之前，我用 Alt 键的地方主要有：Ctrl + Alt + Delete 调出任务管理器。 Alt + F4 关闭窗口，也不是很好用，因为 F4 键太远了。 Alt + Tab 最近的两个窗口来回切换，这个可能是用的最多的了。 yuziyue 17 Jul 2023 · 5 min read
操作系统 linux json 格式化工具 jq 详解 jq 是一个轻量级的命令行 json 处理工具，它非常灵活，对应简单的 json 处理不用写脚本使用 jq 就可以处理了，jq 在各大 linux 发行版、mac上的官方仓库都有，直接使用命令行安装即可，如果无法通过网络安装，直接在官网下载可执行文件放到系统环境变量即可使用。 yuziyue 17 Jul 2023 · 3 min read
操作系统 Linux下压缩和解压缩命令实用总结 压缩： zip file.zip filename 压缩文件为 file.zip。 zip –r file.zip filedir 递归压缩，包括这个目录和目录内的所有东西，如果不加 -r 不会递归处理。 解压缩： unzip file.zip 解压到当前目录。 unzip file.zip -d /root/ 解压到指定目录。 yuziyue 17 Jul 2023 · 2 min read
操作系统 Ubuntu系统时间设置 运行 ntpdate 命令同步时间，以下任一时间服务器都可使用，任选一个即可。现在如果系统默认是同步了网络时间的，假如你不想同步互联网时间，可通过下面命令取消、开启。修改为字符串提供的时间字符串。 yuziyue 17 Jul 2023 · 1 min read
