2021总结

...

HDFS分布式文件系统小结

HDFS概念 HDFS定义 HDFS是Hadoop的一个分布式文件系统,全称叫Hadoop Distributed File System。 HDFS特点 高容错性 HDFS 可以稳定运行在商用硬件集群上,有冗余副本,心跳机制,安全模式等功能支持元数据快照,将失效的集群回滚到之前一个正常的时间点上。 大数据集存储 一个磁盘无法放下的 GB 或 TB 的文件,HDFS将它分成小块(block)......

2020总结 -- 稳中求进

前言 这个总结会迟到但不会缺席。放个音乐会更配哦~ 2020年已很快过去,今年过的格外稳 外部环境有一部分原因,疫情/公司/生活让我感受到一丝压抑; 内部因素也导致有些懒懒的,内心毫无波澜、保持最低期望。 但稳也能学到很多,积累很多,等待质变。 以下主题不分先后轻重。 工作 今年还是在大搜车的一年,年初在家工作了一个月才来到公司, 当时还信心满满,虽然一些团队的资深大佬都纷纷跳槽。 然后就经......

Web Robot使用教程(终极版)

前言 本文为Web Robot插件使用教程终极版 融合所有前面版本迭代的功能,包括有用的没用的 当前文档教程的Web Robot版本 V2.2.0 教程 下载与安装 因为一些权限因素,本插件目前没有上到chrome商店,需通过源码安装 下载 首先到github的仓库 https://github.com/webgjc/web_robot 将仓库克隆到本地 git clone https:......

原博客迁移与复原(2017-2018)

前言 找回了2017-2018年写的所有东西。快速跳转 是之前学生时代写的项目与代码,回想很多经历,也感慨万千。 SQL源文件 到 JSON 最近在离职阶段,在整理文件时突然发现了原来博客的源文件(一直以为找不到了) 之前博客是使用的wordpress,使用了一个服务器,搭了php环境,数据则存储在mysql。 这次找回的是sql导出文件。 然后本地起了一个docker的mysql服务, 分......

MYSQL中关于统计某列最新不同值的方法

前言 这边来看一个sql中统计某列最新不同值的方法。 直接说上面这个比较难以理解,具体场景举例如: 用户访问记录表,统计最近访问的不同的n个用户 操作记录表,统计最近不同的n个操作 看似简单实际上只通过简单的一层sql无法实现。 这边用实操演示,三种可用的实现方式。 实操 这边来实际操作下,为了方便这边用MYSQL为例 准备数据 这个表表示用户资源访问记录表,其中有主键id,用户id,资......

HttpClient的Cookie策略引发的隐藏bug定位与修复

概述 本文记录一次大概历时半年也没排查出来,时有时无的隐藏bug。 大致现象是:一个用户能访问到别人权限的资源(用户串/权限串)。 中间考虑过线程不安全,包的问题,Threadlocal没清除并线程复用导致等, 最终还是排查到是Httpclient的连接池的Cookie策略。 这个点在开发时特别容易被人忽略。 场景还原 背景说明 首先大致说下这问题和中间涉及的系统 如下有一个业务系统, 他依......

关于网页可视化圈选的一些实现思路

前言 可视化圈选是一个较为特别的场景,一般在定义页面事件与埋点的时候用的比较多, 这边来讨论下网页中可视化圈选的实现思路。 体验的话可以到插件WEB-ROBOT 效果: 概览 完成可视化圈选大致分为以下几个步骤 捕获鼠标移动事件 给出当前元素的可视化反馈 点击选中元素 转换当前元素的唯一选择器 这边实现大致不同点为,选择器是当前元素和所有父节点元素。 最后还需另外选择一下想要的元素。 ......