Vaultwarden 简介

Vaultwarden Wiki
Vaultwarden是一个非官方的Bitwarden服务器实现，用Rust编写。它与官方Bitwarden客户端兼容，是不希望运行官方资源密集型服务的自托管部署的理想选择。
《Vaultwarden》面向个人、家庭和小型组织。主要对大型组织有用的功能(例如单点登录、目录同步等)的开发不是优先考虑的，尽管实现这些功能的高质量pr将受到欢迎。

Vaultwarden 与 Bitwarden 区别

• Vaultwarden 社区版、个人版，免费，功能没有商业的全
• Bitwarden，商业版，收费，功能更全

多端使用支持

支持下列终端，具体可见Bitwarden官网

• web端
• chrome插件
• windows
• linux
• Mac
• android
• IOS

搭建 Vaultwarden

本文中用docker-compose方式搭建

docker-compose.yaml

---
version: '3'
services:
  vaultwarden:
    image: vaultwarden/server:latest
    container_name: vaultwarden
    restart: always
    ports:
      - 5151:80
      - 5152:33481
    environment:
      ADMIN_TOKEN: 9fd9fcad71af9f8b738fc431b868cf58
      SIGNUPS_ALLOWED: 'true'
      INVITATIONS_ALLOWED: 'true'
      SMTP_DEBUG: 'true'
      LOG_FILE: /data/vaultwarden.log
    volu

verdaccio是什么?

官网地址
A lightweight private npm proxy registry

一个轻量级的npm中心代理仓库!采用node实现的
简单点说,就是npm私有部署仓库,类似npm官方付费的私有仓.

搞的动机

为什么会搞这个?
是想把我们公司的npm私有仓从nexus迁移出来.
我们目前和后端共用nexus,因为nexus也能管理maven这些!
npm私有仓库独立出来,后续好推向整个公司!!
我们这里采用docker自己部署(用的是v4.6.x),方便后续滚动更新.
配置文件及模块缓存目录是从外部映射进去,维护比较弹性
外网访问是通过nginx代理,内网集群是通过安全组策略授权.
注意: 非采用官方docker镜像.

docker安装

官方各版本 docker-example

docker-compose.yaml

version: '3.4'
services:
  verdaccio:
    image: verdaccio/verdaccio
    restart: always
    container_name: "verdaccio"
    environment:
      - VERDACCIO_PORT=4873
      - NODE_DEBUG=request verdaccio
      - DEBUG=verdaccio* verdaccio
    ports:
      - "4873:4873"
    volumes:
      - "./data/storage:/verdaccio/storage"
      - "./data/config:/verdaccio/conf"
      - "./data/plugins:/verdaccio/plugins"

verdacc

背景

单机es，健康状态一直为黄色，原因是存在未分配的分片。
副本分片的配置默认为1，并且相同的分片不能在同一个节点上，只有一个节点的情况下，副本分片没无法分配了。

按以下操作后，节点健康状态变为绿色。

修改 index.blocks.read_only_allow_delete 为 null

curl -XPUT -H "Content-Type: application/json" http://xxx.xxx.xxx:9200/_all/_settings -d '{"index.blocks.read_only_allow_delete": null}'

index.blocks.read_only_allow_delete

• 参数意思：当属性为true的时候,es索引只可以读和删，不可以增和改

• 变成true的原因：ES集群为了保护数据,会自动把索引分片index置为只读read-only

• 类似参数： read_only与read_only_allow_delete的差别:与index.blocks.read_only相同，但允许删除索引以释放资源。

• 触发read_only_allow_delete的条件: 磁盘使用率超过95%

• 当磁盘使用率超过一定范围之后会触发的问题总结
  

修改 number_of_replicas 为0

单机es设置为0，如果是集群可按此步骤再将此配置还原为1

curl -XPUT "http://xxx.xxx.xxx:9200/_settings" -H 'Content-Type: application/json' -d'{"number_of_replicas": 0}'

curl -XPUT "http://xxx.xxx.xxx:9200/_template/log" -H 'Content-Type: app

PrometheusAlert

》https://github.com/feiyu563/PrometheusAlert

Kafka Exporter

https://github.com/danielqsj/kafka_exporter

K8S集群监控————grafana模板

K8S集群监控看板，算是很全面的了
https://github.com/dotdc/grafana-dashboards-kubernetes

1.重置winsock，需重启

# 用管理员权限进入CMD，执行下列命令后重启
netsh winsock reset

2.查占用相应端口的服务进程，并杀掉此进程

以下仅为模拟，实际解决问题用的方1

查端口

netstat -ano | findstr 10809
  TCP    0.0.0.0:10809          0.0.0.0:0              LISTENING       1384

找服务

tasklist | findstr 1384
v2ray_privoxy.exe             1384 Console                    1      9,404 K

杀服务

taskkill /f /t /im v2ray_privoxy.exe
成功: 已终止 PID 1384 (属于 PID 12640 子进程)的进程。

taskkill /t /pid 1384 
成功: 已终止 PID 1384 (属于 PID 12640 子进程)的进程。

crontab配置

#每天凌晨一点删除前30天一条指定的索引
0 1 * * * /home/es/scripts/es_clean_index.sh

es_clean_index.sh

#!/bin/bash
ES_HOSTS='http://es.xxx.xxx:9200'
#获取上个月的月份
LAST_Month=`date -d "last month" +%Y-%m`
#获取30天前的日期
Thirty_days_ago=`date -d "30 days ago" +%Y.%m.%d`
#获取30天前的日期（分割符号为"-"）
Thirty_days_ago_1=`date -d "30 days ago" +%Y.%m.%d | sed 's/\./-/g'`
#删除上个月的所有索引
#curl -XDELETE "${ES_HOSTS}/filebeat-6.0.0-${LAST_Month}-*"
#删除30天前的索引
curl -XDELETE "${ES_HOSTS}/filebeat-6.0.0-${Thirty_days_ago}"
curl -XDELETE "${ES_HOSTS}/jaeger-span-${Thirty_days_ago_1}"
curl -XDELETE "${ES_HOSTS}/jaeger-service-${Thirty_days_ago_1}"
#删除30天前的索引（带x-pack鉴权）
# curl -XDELETE -u"elastic:12345678" "${ES_HOSTS}/filebeat-6.0.0-${Thirty_days_ago}"

jenkins集群简介

Jenkins采用Master/Slave架构。Master/Slave相当于Server和agent的概念，Master提供web接口让用户来管理Job和Slave，Job可以运行在Master本机或者被分配到Slave上运行。一个Master可以关联多个Slave用来为不同的Job或相同的Job的不同配置来服务。

Jenkins的Master/Slave机制除了可以并发的执行构建任务，加速构建以外。还可以用于分布式自动化测试，当自动化测试代码非常多或者是需要在多个浏览器上并行的时候，可以把测试代码划分到不同节点上运行，从而加速自动化测试的执行。

Master：Jenkins服务器。主要是处理调度构建作业，把构建分发到Slave节点实际执行，监视Slave节点的状态。当然，也并不是说Master节点不能跑任务。构建结果和构建产物最后还是传回到Master节点，比如说在jenkins工作目录下面的workspace内的内容，在Master节点照样是有一份的。

Slave：从机。执行Master分配的任务，并返回任务的进度和结果。

Master和Slave通信方式

常用的Master和Slave节点连接的方式是ssh或JNLP。

（1）ssh：对于Slave Node是linux系统，最方便的就是通过ssh启动jenkins节点，但这个的前提是Master和Slave之前能进行ssh连接。

（2）jnlp：jnlp连接有个好处就是不需Master和Slave之间能够ssh连接，只需能ping即可。Slave Node是windows的话，这个方式十分实用，因为有时候一些权限或者防火墙的原因，导致Master和Slave不能够ssh连接；还有一些未知的原因导致无法ssh到Slave Node。

也可以安装Jenkins Plugins，支持更广泛的Slave Agent类型和连接。

安装

使用docker-compose的方式进行安装。
由于定制化导致镜像越来越臃肿，维护难度加大，对于master和agen

背景需求

由于资源优化，将对一些大数据RDS实例进行优化，需要将其数据进行长期留存，OSS归档存储价格低廉，十分合适。

OSS各类存储说明
OSS各类存储价格

根据文件的修改时间进行存储类型的转换，后续将转换为价格最低的冷归档存储类型。

ECS配置

本次ECS的配置选的是2c4g500g。
ECS选型磁盘空间要大于解压前的RDS磁盘使用空间。
本次大数据的RDS磁盘使用空间是340G左右，加上xb包的88G，你的磁盘空间应该要购买500G左右的才行。

从RDS下载xb备份文件

本次操作用的是内网地址（从内网下载流量免费），从阿里云ECS发起GET请求：

以下是xxx的备份内网地址，为避免泄露将屏蔽一部分内容，具体可在上图中找到具体连接。

wget -c -t 0 "https://rdsbak-hz-v3.oss-cn-hangzhou-internal.aliyuncs.com/xxx_qp.xb?Expires=xxx&OSSAccessKeyId=xxx%3D&Region=cn-hangzhou&security-token=xxxx" -O ./xxx_qp.xb

上传xb文件到oss

上传文件也将在内网进行，速度比公网要快很多

ossutil64下载及说明文档

Linux系统下载ossutil64

wget https://gosspublic.alicdn.com/ossutil/1.7.11/ossutil64

ossconfig

运行ossutil64 config会出现交互式的界面，完成填写后就会在当前用户的家目录中生成此配置文件。
注意endpoint用内网的，已在下列配置中体现。