连接同一个局域网下的HomeLab 背景因为之前搬家,搭建好的HomeLab使用的是静态IP,所以当搬家完之后,就需要重新配置过。 局域网内ping测试之前远程连接用的是Windows自带的,相关配置不需要修改,只需要修改下IP即可。但是想要使用HomeLab里面的各种服务,比如说虚拟机搭建的K8S集群,或者说访问Web服务,这里还不够。 当我把HomeLab防火墙关闭掉的时候,就可以ping通: 很明显这样做风险太大,可以通过 2024-01-06 #homeLab
异常检测论文-FRAUDAR 背景解决的问题算法应用场景伪装 随机伪装 有偏伪装 劫持账户 抗伪装异常指标定义 点异常 边异常 公理算法流程思考 最开始的时候,如何定义或者判断是异常值? 2024-01-03 #AIOPS
异常检测(一)-导论 异常检测异常异常分类 点异常 连续性异常 上下文异常(监控场景) 异常检测应用场景模型类型(Model Type) 有监督-DNN 半监督-oneClass-SVM 无监督-AutoEncoder Hybrid 2024-01-03 #AIOPS
Machines论文笔记 The Design of a Practical System for Fault-Tolerant Virtual MachinesFAQ 2023-12-18 #distributed system
分布式文件系统相关概念导读 思考 存储系统如何保存应用状态? 如何为存储系统来设计它的高可用性与容错性? 如何控制失败次数?如何设计一个存储系统的SLA? 分布式存储系统如何在性能问题和一致性问题之间平衡? 分布式存储系统如何在容错性和一致性之间保持平衡? CAP理论在分布式存储系统中起到什么样子的作用? 如何为K8S设计一个分布式存储系统? S3存储系统是如何保证一致性,容错性等问题? 面对并发或者并行请求操作,分布式系统 2023-12-11 #distributed system
GoogleFileSystem论文笔记 背景GFS(Google File System)是为了解决Google 数据处理需求快速增长的需求而发明的。它是一个大型数据密集型应用分布式文件系统,运行在廉价的商业硬件上。GFS 与以前的分布式文件系统有许多相同的目标,例如性能、可扩展性、可靠性和可用性。不同之处在于它提供了容错能力。 GFS特点组件容错性首先组成GFS系统成本不高,都是运行在廉价的商业硬件上,并且是上百数千台。所以有部分机器 2023-12-11 #distributed system
k8s日志收集方案调研 背景之前每次查看日志的时候都是使用logs -f对应容器这样去查看,这样的好处是简单,但是每次都这样去弄太麻烦了,而且日志一多起来查找起来也非常麻烦,所以正好借此机会做一次日志收集平台展示调研方案。 需求因为我是个人集群,所以在集群配置上不会很高,节点也不会有很多,是一个标准三节点,同时上面还跑着其他中间件等等。所以对资源消耗大的日志收集方案就不考虑,再一个是我的日志不需要保留很长时间,1-3天日 2023-12-09 #Observability
从零实现一个exporter(一)-redis-exporter实现 Redis Exporter实现根据之前的知识,这里以redis举例来实现一个exporter并且最终通过grafana来展示。 Redis Metrics编写代码之前,先选好一些Metrics指标,首先需要明确一点的是指标不是越多越好,因为在关键时刻,像排错等场景。看到那么多指标会无法下手,所以要根据具体场景来挑选,可以先选出一些通用的指标,以及redis在场景中扮演什么样的角色进行挑选。并不是 2023-11-25 #Observability
监控方法论(一): Google黄金指标与RED方法和USE方法 背景在做服务监控的时候,通常会根据不同层次来使用不同的方法论,或者综合使用。这些方法论可以帮助我们来挑选合适的指标,可以直观的表达出服务状态。 黄金指标Google黄金指标一般用于服务监控,它一共有四个: 延迟 流量 错误 饱和度 延迟(latency)延迟表示这个服务所消耗的时间,比如说用户获取商品列表这个接口一共花了30毫秒;用户启动虚拟机,消耗20毫秒等等;但是这个指标需要区分成功和失败 2023-11-25 #Observability
从零实现一个exporter(零)-exporter基本概念 Exporter简介云原生模式下的主流监控已经变成Prometheus为主的一套监控技术栈,下图是Prometheus架构: 而Exporter类似于Agent,它负责收集指定指标,它可以独立出来单独运行,也可以和程序集合在一起。打个比方,之前的中间件,比如Redis,Kafka,ES这些都没有集成Exporter,而在云原生中,就需要通过operator去集成。而一些比较新的中间件,比如pul 2023-11-25 #Observability