大数据开发 Hive 快速入门 Hive的存储结构包括数据库、表、视图、分区。数据库、表、分区都对应 HDFS 上的目录,而数据对应 HDFS 对应目录下的文件。Hive 中所有的数据都存储在 HDFS 中,没有专门的数据存储格式,Hive 是读模式的数据库,可支持 TextFile,SequenceFile,RCFile 或者自定义格式等。 yuziyue 27 Jul 2023 · 7 min read
编程语言 Java 面向对象知识点梳理 一个 .java 文件只能包含一个public类,但可以包含多个非public类。如果有public类,文件名必须和public类的名字相同。 如果不确定是否需要public,就不声明为public,即尽可能少地暴露对外的字段和方法。 创建新对象时,优先选用静态工厂方法而不是new操作符。 定义为public的class、interface,可以被当前包,其他包的任何类访问。 yuziyue 27 Jul 2023 · 20 min read
编程语言 python与bash用法比较 字符串startswith和endswith,字符串contains包含,按行读取文件内容,字符串split拆分,数组追加元素,${#arr[@]}表示当前数组的长度 arr=() arr[${#arr[@]}]=element1 arr[${#arr[@]}]=element2 arr[${#arr[@]}]=element3 yuziyue 27 Jul 2023 · 1 min read
编程语言 linux shell 脚本 set 命令辅助 set -o errexit 同set -e,如果脚本遇到任何错误,脚本将立即退出执行。没有使用时,脚本即使遇到错误也可以继续执行下去。set -o pipefail 需配合set -o errexit使用,表示脚本中的多管道命令运行时,如果有一个命令出现错误,脚本将会立即退出执行。 yuziyue 27 Jul 2023 · 3 min read
编程语言 linux shell 编程超详细总结 shell 脚本,也就是将想要执行的命令按顺序保存到一个文本文件中,根据需要给予一定的执行流程控制,然后给出解释器路径和可执行权限,这就是一个完整的 shell脚本了。使用当前 shell 执行,不需要执行权限,在该脚本中的变量会保存在当前 shell 中,用echo $variablename可以查看,与source和.的效果相同。 yuziyue 27 Jul 2023 · 14 min read
编程语言 Python字典的所有用法整理 OrderedDict 内部维护着一个根据键插入顺序排序的双向链表。每次当一个新的元素插入进来的时候, 它会被放到链表的尾部。可以很方便的使用 collections 模块中的 defaultdict 来构造这样的字典。 defaultdict 的一个特征是它会自动初始化每个key 刚开始对应的值。 yuziyue 26 Jul 2023 · 5 min read
操作系统 linux 命令 curl 使用详解 curl 是 Linux 下非常强大的 HTTP 工具,可用于各种网络协议的 HTTP 请求包括GET、POST、DELETE 及 PUT 等,查看帮助文档:比如想要下载文件,但是不知道文件的类型以及大小,我们就可以使用 HEAD 请求,它只返回response header 信息,比如。 yuziyue 26 Jul 2023 · 4 min read
操作系统 linux 命令 wget 使用详解 下载网页或文件 使用 wget 命令下载网页或者文件,我们只用来下载文件,使用挺简单的。--tries=10 总共尝试次数 --waitretry=1 每次尝试之前等待时间,单位为妙 --timeout=5 每次请求超时时间,超时后,不管尝试次数是否 完成,都停止请求 yuziyue 26 Jul 2023 · 1 min read
操作系统 linux服务与进程systemd自定义 父进程(PPID)与子进程(PID) 父进程复制自己的地址空间来创建一个新的进程结构,叫做子进程,父进程终止后子进程会自然终止。如果父进程终止,而子进程未终止,该子进程叫做孤儿进程。如果子进程终止后,父进程未终止,则该父进程成为僵死进程。 yuziyue 25 Jul 2023 · 10 min read
操作系统 linux权限sudoers完整总结 sudoers 的作用:在/etc/sudoers文件里面可以配置某个普通用户以其他用户的身份来执行某些命令,比如sudo command、sudo -u username command。别名的定义支持4类,注意:别名的名字必须是全英文大写字母的组合。普通用户加入sudo且免密执行 yuziyue 25 Jul 2023 · 7 min read
编程语言 Python 实现经典排序算法 将顺序存储的 n 个待排序记录划分为两个区间:一个有序区间,一个无序区间;初始时有序区间为 [R1],无序区间为 [R2...Rn],令 i 指向无序区中第一个元素,初始值 i=1。 当 i<=n 时重复指向: 将当前无序区中的第一个记录Ri插入到有序区的适当位置,使得有序区变为一个新的有序区。 yuziyue 22 Jul 2023 · 15 min read
操作系统 linux命令行管道总结 标准错误也能进管道 默认情况下,标准错误是不会进入管道的,看下面例子,wc -l 的统计结果为 2 编写读取管道数据的脚本 如果想让你的脚步读取管道数据,其实就是程序能冲标准输入读取数据这里是read -r line yuziyue 22 Jul 2023 · 1 min read
编程语言 一文彻底搞懂 Python 字符编码 ascii、gb2312、gbk、unicode、utf-8 这些编码都分别表示什么含义呢 ?ascii编码规定,一个英文字符需要一个字节(8bit位)大小,汉字的编码超出了ascii 的范围,至少需要两个字节来表示一个中文字符,某些复杂的汉字需要3到6个字节来表示。 yuziyue 22 Jul 2023 · 8 min read
操作系统 linux权限管理完整总结 按照顺序从左到右依次表示:文件类型、所属者权限、所属组权限、其他用户权限、(对于普通文件表示链接数|对于目录表示第一级子目录数)、所属者、所属组、文件字节数、最后修改时间、文件名总共10项。 yuziyue 21 Jul 2023 · 7 min read
操作系统 SecureCRT最佳保护眼睛配色方案 SecureCRT好的配色方案一定要看着舒适,不伤眼睛,不要过暗,也不要过亮,同时还要高级,看预览效果:Options >> Edit Default Sessions >> Terminal >> Advanced 选中 Igonre window title change requests,这样窗口的标题不会跟随工作目录的改变而改变。 yuziyue 20 Jul 2023 · 2 min read
操作系统 简说BIOS UEFI MBR GPT等概念 在安装或重装操作系统(Windows、Linux)的时候,会频繁地接触到BIOS、UEFI、MBR、GPT、GRUB等诸多概念,本文尽量通过容易理解的表达进行。BIOS和UEFI是不同的计算机启动固件(Fireware),其中UEFI是比较新的方式,它们是跟随着主板而存在的 yuziyue 20 Jul 2023 · 15 min read
编程语言 bash并行执行多个命令 使用场景 在脚本中需要并发执行多个命令,比如,需要同时登录到 10 台机器,并在 10 台机器是分别格式化磁盘。格式化磁盘是一个耗时的操作,如果顺序执行的话,会非常耗时。所以可以使用后台执行,使用 wait 命令等待所有的后台命令返回。 yuziyue 19 Jul 2023 · 1 min read
操作系统 linux命令netcat nc命令总结 Netcat稳定版1.10由Hobbit在1996年3月发布(开源软件),之后作者没有再对其进行维护,但该工具十多年来依然在被广泛地使用,而且基于Netcat的各种衍生工具也层出不穷,他们在很多方面增强或扩展了Netcat的功能。 yuziyue 19 Jul 2023 · 3 min read