0%

Ubuntu常用软件适配

服务器安装Ubuntu-server 方式:

要求:服务器提供商提供公共仓库

目录

[TOC]

# 一、主要内容 Linux部署基础操作

Ubuntu 版本 22.04.1

二、Linux使用

所有要求的安装,无网络、无私有仓库的服务器,统一到 https://pkgs.org/ 下载。

1、服务器申请要求

  1. 配置确认
  2. 磁盘要求:要求home在独立磁盘分区下

2、基础操作

2.1. 使用 ssh

2.2. 查询本机IP:

1
2
3
ip addr
apt install net-tools
ifconfig

2.5. 用户管理

1
2
3
4
5
6
7
# 推荐 adduser,按照提示走
adduser seed
# 删除用 deluser seed 、 deluser --remove-all-files seed

useradd -d "/home/seed1" -m -s "/bin/bash" seed2
passwd seed2
# 删除用户 userdel seed2 、 userdel -r seed2

3、服务器初始化

3.1. 关闭安全管理

ubuntu 默认没有安全管理

1
2
3
4
5
6
# 关闭selinux
setenforce 0
# 永久
sed -i 's/enforcing/disabled/' /etc/selinux/config
# 如果没有这个文件,则直接写入
SELINUX=disabled

3.2. 防火墙

1
2
3
4
5
# 检查防火墙是否开启及开机自启,root 权限下
systemctl status ufw
#
sudo ufw status
sudo ufw app list
  1. inactive是关闭,active是开启
  2. inactive是关闭,active是开启
  3. sudo ufw disable 关闭防火墙
  4. sudo ufw enable 开启防火墙
  5. sudo ufw reload 重启防火墙
  6. sudo ufw allow 端口号 开放指定端口号
  7. sudo ufw delete allow 端口号 关闭指定端口
  8. sudo ufw deny 端口号 不允许访问指定端口号

3.4. 软件仓库优化

1
sed -i 's/http:\/\/archive.ubuntu.com/http:\/\/mirrors.aliyun.com/g' /etc/apt/sources.list

不可以联网的服务器也需要咨询提供商,获取局域网仓库。

请参考 alibaba

3.5. 软件升级

除初始化服务器外,除非有特殊需要,否则不要更新。

如必须更新,则更新前做备份。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
# 更新源
sudo apt update
# 查看可更新软件
sudo apt list --upgradable
# 更新已经安装的软件
sudo apt upgrade
# 安装软件
sudo apt install net-tools wget
# 移除软件
sudo apt remove firefox
# 删除并清除配置文件
sudo apt --purge remove firefox
# 清理安装包
sudo apt autoclean
# 清理所有安装包
sudo apt clean
# 搜索软件
apt search firefox
# 列出已安装的
apt list --installed
# 卸载多余依赖
sudo apt autoremove
# 修复安装的依赖,可能会删除
apt --fix-broken install

3.6. 安装JDK(可选)

非联网服务器安装

可选下载地址 openlogic

可选下载地址 jdk.java

1
2
3
tar -zxf openlogic-openjdk-8u352-b08-linux-x64.tar.gz -C ~/
mv ~/openlogic-openjdk-8u352-b08-linux-x64 ~/jdk8
# 使用时,指定 JAVA_HOME=~/jdk8 即可

4、操作系统基础优化

4.1. 文件句柄

服务器如果用作 文件服务、数据库服务,则需要配置文件句柄。

修改

1
sudo vim /etc/security/limits.conf

添加

1
2
3
4
* soft nofile 65536
* hard nofile 65536
* soft nproc 65536
* hard nproc 65536

执行

1
sudo source /etc/security/limits.conf

5、应用部署

CentOS

6、服务器资源监控

CentOS

7、备份

CentOS

8、中间件部署

8.1. 数据库安装

8.2. nginx

1
2
3
4
5
6
7
8
9
10
11
apt-get install -y libpcre3-dev zlib1g-dev libssl-dev
adduser nginx
mkdir ~/tools && cd ~/tools
wget http://nginx.org/download/nginx-1.22.1.tar.gz
tar -zxf nginx-1.22.1.tar.gz -C ../
cd ../
cd nginx-1.22.1
./configure --prefix=/home/nginx --with-http_ssl_module
make && make install
# 启动
/home/nginx/sbin/nginx -c /home/nginx/conf/nginx.conf

8.3. redis

1
2
3
4
5
6
7
8
9
10
adduser redis
su redis
mkdir ~/tools && cd ~/tools
wget https://download.redis.io/redis-stable.tar.gz
tar -zxf redis-stable.tar.gz -C ~/
cd ~/redis-stable
make
cd ~/redis-stable/src
# 启动
./redis-server ~/redis-stable/redis.conf

8.4. nacos

推荐:官网文档安装

nacos安装:http://wiki.skytech.io/bin/view/研发技术/中间件/nacos/#

8.5. rabbitmq

Ubuntu20:opt-22 + RabbitMQ-3.8.2

1
2
3
4
5
6
7
8
9
10
sudo apt-get update -y
## Install Erlang packages
sudo apt-get install -y erlang-base \
erlang-asn1 erlang-crypto erlang-eldap erlang-ftp erlang-inets \
erlang-mnesia erlang-os-mon erlang-parsetools erlang-public-key \
erlang-runtime-tools erlang-snmp erlang-ssl \
erlang-syntax-tools erlang-tftp erlang-tools erlang-xmerl

## Install rabbitmq-server and its dependencies
sudo apt-get install rabbitmq-server -y --fix-missing

8.6. Skywalking

Skywalking安装:http://wiki.skytech.io/bin/view/研发技术/中间件/Skywalking/#

8.7. ELK

ELK实施:http://wiki.skytech.io/bin/view/研发技术/中间件/ELK实施

8.8. 夜莺监控

基于夜莺的监控预警系统实施方案:http://wiki.skytech.io/bin/view/研发技术/基础设施/基于夜莺的监控预警系统实施方案/

本文地址: https://github.com/maxzhao-it/blog/post/fc7c319f/

  • -b 进入后台执行,日志在 wget-log 目录下
  • -c 断点续传
  • -x 强制创建子目录
  • -l 5 远程目录的深度
  • -r 在本地创建服务端目录
  • -np 不获取上级目录
  • -i xx.txt 下载文件中出现的url

爬取网站

1
2
3
4
5
6
7
8
9
wget  -m -A jar,pom,html -np -e robots=off      http://nexus.skytech.io/service/rest/repository/browse/maven-public/ant/ant/
wget -r -np -e robots=off http://nexus.skytech.io/service/rest/repository/browse/maven-public/ant/ant/
wget -r -p -np -e robots=off -A jar,pom,html -d -U mozilla http://nexus.skytech.io/service/rest/repository/browse/maven-public/ant/ant/
wget -r -p -np -e robots=off -A jar,pom -d -U mozilla http://nexus.skytech.io/service/rest/repository/browse/maven-public/ant/ant/
wget -r -p -e robots=off -A jar,pom -d -U mozilla http://nexus.skytech.io/service/rest/repository/browse/maven-public/ant/ant/
wget -r -p -np -e robots=off -A jar,pom -d -U mozilla http://nexus.skytech.io/service/rest/repository/browse/maven-public/ant/ant/
wget -m -r -e robots=off -A jar,pom,html -d -U mozilla http://32.1.0.59:8081/service/rest/repository/browse/sky-egov-snapshot/
# 添加模拟浏览器
wget -r -np -e robots=off -U "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6"

全部内容

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
用法: wget [选项]... [URL]...

长选项所必须的参数在使用短选项时也是必须的。

启动:
-V, --version 显示 Wget 的版本信息并退出。
-h, --help 打印此帮助。
-b, --background 启动后转入后台。
-e, --execute=COMMAND 运行一个“.wgetrc”风格的命令。

日志和输入文件:
-o, --output-file=FILE 将日志信息写入 FILE。
-a, --append-output=FILE 将信息添加至 FILE。
-d, --debug 打印大量调试信息。
-q, --quiet 安静模式 (无信息输出)。
-v, --verbose 详尽的输出 (此为默认值)。
-nv, --no-verbose 关闭详尽输出,但不进入安静模式。
--report-speed=TYPE Output bandwidth as TYPE. TYPE can be bits.
-i, --input-file=FILE 下载本地或外部 FILE 中的 URLs。
-F, --force-html 把输入文件当成 HTML 文件。
-B, --base=URL 解析与 URL 相关的
HTML 输入文件 (由 -i -F 选项指定)。
--config=FILE Specify config file to use.

下载:
-t, --tries=NUMBER 设置重试次数为 NUMBER (0 代表无限制)。
--retry-connrefused 即使拒绝连接也是重试。
-O, --output-document=FILE 将文档写入 FILE。
-nc, --no-clobber skip downloads that would download to
existing files (overwriting them).
-c, --continue 断点续传下载文件。
--progress=TYPE 选择进度条类型。
-N, --timestamping 只获取比本地文件新的文件。
--no-use-server-timestamps 不用服务器上的时间戳来设置本地文件。
-S, --server-response 打印服务器响应。
--spider 不下载任何文件。
-T, --timeout=SECONDS 将所有超时设为 SECONDS 秒。
--dns-timeout=SECS 设置 DNS 查寻超时为 SECS 秒。
--connect-timeout=SECS 设置连接超时为 SECS 秒。
--read-timeout=SECS 设置读取超时为 SECS 秒。
-w, --wait=SECONDS 等待间隔为 SECONDS 秒。
--waitretry=SECONDS 在获取文件的重试期间等待 1..SECONDS 秒。
--random-wait 获取多个文件时,每次随机等待间隔
0.5*WAIT...1.5*WAIT 秒。
--no-proxy 禁止使用代理。
-Q, --quota=NUMBER 设置获取配额为 NUMBER 字节。
--bind-address=ADDRESS 绑定至本地主机上的 ADDRESS (主机名或是 IP)。
--limit-rate=RATE 限制下载速率为 RATE。
--no-dns-cache 关闭 DNS 查寻缓存。
--restrict-file-names=OS 限定文件名中的字符为 OS 允许的字符。
--ignore-case 匹配文件/目录时忽略大小写。
-4, --inet4-only 仅连接至 IPv4 地址。
-6, --inet6-only 仅连接至 IPv6 地址。
--prefer-family=FAMILY 首先连接至指定协议的地址
FAMILY 为 IPv6,IPv4 或是 none。
--user=USER 将 ftp 和 http 的用户名均设置为 USER。
--password=PASS 将 ftp 和 http 的密码均设置为 PASS。
--ask-password 提示输入密码。
--no-iri 关闭 IRI 支持。
--local-encoding=ENC IRI (国际化资源标识符) 使用 ENC 作为本地编码。
--remote-encoding=ENC 使用 ENC 作为默认远程编码。
--unlink remove file before clobber.

目录:
-nd, --no-directories 不创建目录。
-x, --force-directories 强制创建目录。
-nH, --no-host-directories 不要创建主目录。
--protocol-directories 在目录中使用协议名称。
-P, --directory-prefix=PREFIX 以 PREFIX/... 保存文件
--cut-dirs=NUMBER 忽略远程目录中 NUMBER 个目录层。

HTTP 选项:
--http-user=USER 设置 http 用户名为 USER。
--http-password=PASS 设置 http 密码为 PASS。
--no-cache 不在服务器上缓存数据。
--default-page=NAME 改变默认页
(默认页通常是“index.html”)。
-E, --adjust-extension 以合适的扩展名保存 HTML/CSS 文档。
--ignore-length 忽略头部的‘Content-Length’区域。
--header=STRING 在头部插入 STRING。
--max-redirect 每页所允许的最大重定向。
--proxy-user=USER 使用 USER 作为代理用户名。
--proxy-password=PASS 使用 PASS 作为代理密码。
--referer=URL 在 HTTP 请求头包含‘Referer: URL’。
--save-headers 将 HTTP 头保存至文件。
-U, --user-agent=AGENT 标识为 AGENT 而不是 Wget/VERSION。
--no-http-keep-alive 禁用 HTTP keep-alive (永久连接)。
--no-cookies 不使用 cookies。
--load-cookies=FILE 会话开始前从 FILE 中载入 cookies。
--save-cookies=FILE 会话结束后保存 cookies 至 FILE。
--keep-session-cookies 载入并保存会话 (非永久) cookies。
--post-data=STRING 使用 POST 方式;把 STRING 作为数据发送。
--post-file=FILE 使用 POST 方式;发送 FILE 内容。
--content-disposition 当选中本地文件名时
允许 Content-Disposition 头部 (尚在实验)。
--content-on-error output the received content on server errors.
--auth-no-challenge 发送不含服务器询问的首次等待
的基本 HTTP 验证信息。

HTTPS (SSL/TLS) 选项:
--secure-protocol=PR choose secure protocol, one of auto, SSLv2,
SSLv3, TLSv1, TLSv1_1 and TLSv1_2.
--no-check-certificate 不要验证服务器的证书。
--certificate=FILE 客户端证书文件。
--certificate-type=TYPE 客户端证书类型,PEM 或 DER。
--private-key=FILE 私钥文件。
--private-key-type=TYPE 私钥文件类型,PEM 或 DER。
--ca-certificate=FILE 带有一组 CA 认证的文件。
--ca-directory=DIR 保存 CA 认证的哈希列表的目录。
--random-file=FILE 带有生成 SSL PRNG 的随机数据的文件。
--egd-file=FILE 用于命名带有随机数据的 EGD 套接字的文件。

FTP 选项:
--ftp-user=USER 设置 ftp 用户名为 USER。
--ftp-password=PASS 设置 ftp 密码为 PASS。
--no-remove-listing 不要删除‘.listing’文件。
--no-glob 不在 FTP 文件名中使用通配符展开。
--no-passive-ftp 禁用“passive”传输模式。
--preserve-permissions 保留远程文件的权限。
--retr-symlinks 递归目录时,获取链接的文件 (而非目录)。

WARC options:
--warc-file=FILENAME save request/response data to a .warc.gz file.
--warc-header=STRING insert STRING into the warcinfo record.
--warc-max-size=NUMBER set maximum size of WARC files to NUMBER.
--warc-cdx write CDX index files.
--warc-dedup=FILENAME do not store records listed in this CDX file.
--no-warc-compression do not compress WARC files with GZIP.
--no-warc-digests do not calculate SHA1 digests.
--no-warc-keep-log do not store the log file in a WARC record.
--warc-tempdir=DIRECTORY location for temporary files created by the
WARC writer.

递归下载:
-r, --recursive 指定递归下载。
-l, --level=NUMBER 最大递归深度 (inf 或 0 代表无限制,即全部下载)。
--delete-after 下载完成后删除本地文件。
-k, --convert-links 让下载得到的 HTML 或 CSS 中的链接指向本地文件。
--backups=N before writing file X, rotate up to N backup files.
-K, --backup-converted 在转换文件 X 前先将它备份为 X.orig。
-m, --mirror -N -r -l inf --no-remove-listing 的缩写形式。
-p, --page-requisites 下载所有用于显示 HTML 页面的图片之类的元素。
--strict-comments 用严格方式 (SGML) 处理 HTML 注释。

递归接受/拒绝:
-A, --accept=LIST 逗号分隔的可接受的扩展名列表。
-R, --reject=LIST 逗号分隔的要拒绝的扩展名列表。
--accept-regex=REGEX regex matching accepted URLs.
--reject-regex=REGEX regex matching rejected URLs.
--regex-type=TYPE regex type (posix|pcre).
-D, --domains=LIST 逗号分隔的可接受的域列表。
--exclude-domains=LIST 逗号分隔的要拒绝的域列表。
--follow-ftp 跟踪 HTML 文档中的 FTP 链接。
--follow-tags=LIST 逗号分隔的跟踪的 HTML 标识列表。
--ignore-tags=LIST 逗号分隔的忽略的 HTML 标识列表。
-H, --span-hosts 递归时转向外部主机。
-L, --relative 只跟踪有关系的链接。
-I, --include-directories=LIST 允许目录的列表。
--trust-server-names use the name specified by the redirection
url last component.
-X, --exclude-directories=LIST 排除目录的列表。
-np, --no-parent 不追溯至父目录。

本文地址: https://github.com/maxzhao-it/blog/post/de158d18/

直接 apt 安装

1
2
3
4
5
6
7
8
9
10
sudo apt-get update -y
## Install Erlang packages
sudo apt-get install -y erlang-base \
erlang-asn1 erlang-crypto erlang-eldap erlang-ftp erlang-inets \
erlang-mnesia erlang-os-mon erlang-parsetools erlang-public-key \
erlang-runtime-tools erlang-snmp erlang-ssl \
erlang-syntax-tools erlang-tftp erlang-tools erlang-xmerl

## Install rabbitmq-server and its dependencies
sudo apt-get install rabbitmq-server -y --fix-missing

安装 erlang

deb安装

下载地址

1
2
3
4
5
mkdir ~/tools && cd ~/tools
wget https://packages.erlang-solutions.com/erlang/debian/pool/esl-erlang_22.2-1~ubuntu~xenial_amd64.deb
apt install -y libncurses5 libwxbase3.0-0v5 libwxgtk3.0-gtk3-0v5 libsctp1 libssl-dev openssl
apt install -y libwxgtk3.0-gtk3-0v5
sudo dpkg -i esl-erlang_22.2-1_ubuntu_xenial_amd64.deb

RabbitMQ安装

deb安装

1
2
3
4
5
6
7
mkdir 
adduser rabbitmq
su rabbitmq
mkdir ~/tools && cd ~/tools
apt -y install socat logrotate init-system-helpers adduser wget
wget https://github.com/rabbitmq/rabbitmq-server/releases/download/v3.8.2/rabbitmq-server_3.8.2-1_all.deb
sudo dpkg -i rabbitmq-server_3.8.2-1_all.deb

启动

1
2
3
4
5
6
# 直接停用多路径服务
systemctl stop multipathd.socket
systemctl disabled multipathd.socket
sudo systemctl start rabbitmq-server
sudo systemctl status rabbitmq-server
sudo systemctl enable rabbitmq-server

本文地址: https://github.com/maxzhao-it/blog/post/48237f93/

1
2
3
4
5
6
7
yum install -y wget
useradd zk
su zk
mkdir ~/tools && cd ~/tools
wget https://dlcdn.apache.org/zookeeper/zookeeper-3.8.0/apache-zookeeper-3.8.0-bin.tar.gz
tar -zxf apache-zookeeper-3.8.0-bin.tar.gz -C ../
mv apache-zookeeper-3.7.1-bin zookeeper

单节点

1
2
3
4
5
6
7
8
9
10
11
12
13
cat > ~/zookeeper/conf/zoo.cfg << EOF
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/home/zk/zookeeper-data
clientPort=22181
#maxClientCnxns=60
#autopurge.snapRetainCount=3
#autopurge.purgeInterval=1
#metricsProvider.className=org.apache.zookeeper.metrics.prometheus.PrometheusMetricsProvider
#metricsProvider.httpPort=7000
#metricsProvider.exportJvmInfo=true
EOF

启动

1
~/zookeeper/bin/zkServer.sh start

本文地址: https://github.com/maxzhao-it/blog/post/b829b66a/

Sentinel: 流量路由、流量控制、流量整形、熔断降级、系统自适应过载保护、热点流量防护等多个维度来帮助开发者保障微服务的稳定性。

控制台

创建用户

1
2
3
4
sudo yum install -y wget
groupadd maxzhao
useradd -g maxzhao sentinel
passwd sentinel

下载最新

1
2
3
su sentinel
mkdir ~/tools && cd tools
wget https://github.com/alibaba/Sentinel/releases/download/1.8.6/sentinel-dashboard-1.8.6.jar

登录

192.168.222.190:8080

账号密码:sentinel/sentinel

本文地址: https://github.com/maxzhao-it/blog/post/3ac5f475/

场景

1、正常接收服务,测试服务不存在

没有问题、没有输出日志

2、正常接收服务,测试服务掉线再上线

没有问题、没有日志输出

3、正常接收服务,测试服务上下文改变

无法发送到测试服务

命令

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
#捕获5673端口的请求和响应输出到stdout(用于调试)
#--input-raw-track-response用于捕获response,不加这个参数只捕获请求
#--input-raw-override-snaplen将捕获的snaplen覆盖为64k,避免抓取的流量被截断
./gor --input-raw :5673 --output-stdout --input-raw-track-response --input-raw-override-snaplen
# 捕获5673端口的请求和响应并转发到x.x.x.x:5673服务上,output-http可以跟多个,会将相同的流量转发到多个端点
./gor --input-raw :5673 --output-http http://x.x.x.x:5673 --input-raw-track-response --input-raw-override-snaplen
# 捕获5673端口的请求和响应输出到文件request.gor
./gor --input-raw :5673 --output-file request.gor --input-raw-track-response --input-raw-override-snaplen
# 捕获5673端口的请求和响应输出到文件文件格式以当前日期命名
./gor --input-raw :5673 --output-file requests-%Y-%m-%d.log --input-raw-override-snaplen
#捕获5673端口的请求和响应输出到屏幕,并在请求header中添加‘Real-IP:真实ip’的字段,如果有则覆盖原有值
./gor --input-raw :5673 --output-stdout --input-raw-track-response --input-raw-override-snaplen --input-raw-realip-header "Real-IP"
# --output-file-append gor默认以块的形式写入文件,默认256块(可以理解为256次请求),使用此参数可以将所有的块写入一个文件,文件大小限制默认32mb
./gor --input-raw :5673 --output-file request.gor --input-raw-track-response --input-raw-override-snaplen --output-file-append
#--output-file-size-limit和--output-file-queue-limit选项设置块限制,默认值分别为32mb、256,文件大小可以使用kb、mb、gb限制,只想要大小限制,你可以设置--output-file-queue-limit为0,反之亦然
#设置录制的文件大小为40kb,不限制块大小
./gor --input-raw :5673 --output-file request.gor --input-raw-override-snaplen --output-file-size-limit 40kb --output-file-queue-limit 0
1
2
3
4
5
6
7
8
9
10
11
# 从request_0.gor文件中回放请求到x.x.x.x:5673服务上
./gor --input-file request_0.gor --output-http http://x.x.x.x:5673
# --input-file-loop从request_0.gor文件中回放请求到x.x.x.x:5673服务上,循环回放
./gor --input-file request_0.gor --output-http http://x.x.x.x:5673 --input-file-loop
# 以2倍的速度从requests-2022-01-18_0.log文件中回放请求到x.x.x.x:5673服务上
./gor --input-file 'requests-2022-01-18_0.log|200%' --output-http http://x.x.x.x:5673
#模拟从文件requests-2022-01-18_0.log回放查看需要回放需要执行多长时间
#--input-file-dry-run模拟从数据源读取并不真正的回放,可以获得回放的时间、回放的请求数等等
./gor --input-file ./gortest/requests-2022-01-18_0.log --output-http http://x.x.x.x:5673 --input-file-dry-run
#这里使用了通配符*,gor会自动读取匹配的所有文件并按照时间自动排序
./gor --input-file './gortest/requests-2022-01-18_*' --output-http http://x.x.x.x:5673 --input-file-dry-run
  • 回放模拟--input-file-dry-run
1
2
3
4
5
6
7
8
Records found: 17 # 请求总数据量
Malformed records: <nil> # 不符合标准的请求数量,nil表示没有
Files processed: 1
Bytes processed: 7564 # 大小
Max wait: 6.024768111s # 请求间最大等待时间
Min wait: 4.197µs # 请求间最小等待时间
First wait: 118.78604ms # 第一次请求的间隔
It will take `18.078520319s` to replay at current speed.
  • 回放状态

    1
    --stats --output-http-stats

转发其它地址

--http-rewrite-url expects value in “:” format: “:” is a dilimiter. In `` section you may use captured regexp group values. This works similar to replace method in Javascript or gsub in Ruby.

1
2
# Rewrites all `/v1/user/<user_id>/ping` requests to `/v2/user/<user_id>/ping`
gor --input-raw :8080 --output-http staging.com --http-rewrite-url /v1/user/([^\\/]+)/ping:/v2/user/$1/ping

过滤URL

Allow url regexp

1
2
# only forward requests being sent to the /api endpoint
gor --input-raw :8080 --output-http staging.com --http-allow-url /api

Disallow url regexp

1
2
# only forward requests NOT being sent to the /api... endpoint
gor --input-raw :8080 --output-http staging.com --http-disallow-url /api

Filter based on regexp of header

1
2
3
4
5
# only forward requests with an api version of 1.0x
gor --input-raw :8080 --output-http staging.com --http-allow-header api-version:^1\.0\d

# only forward requests NOT containing User-Agent header value "Replayed by Gor"
gor --input-raw :8080 --output-http staging.com --http-disallow-header "User-Agent: Replayed by Gor"

Filter based on HTTP method

Requests not matching a specified whitelist can be filtered out. For example to strip non-nullipotent requests:

1
2
3
gor --input-raw :80 --output-http "http://staging.server" \
--http-allow-method GET \
--http-allow-method OPTIONS

下载

1
2
3
4
mkdir goreplay && cd goreplay

wget https://github.com/buger/goreplay/releases/download/1.3.3/gor_1.3.3_x64.tar.gz
tar -zxf gor_1.3.3_x64.tar.gz

本文地址: https://github.com/maxzhao-it/blog/post/823fd600/

一个对Java友好的微服务链路监控工具。

下载

apache-skywalking-apm-9.2.0.tar.gz

1
2
3
4
5
6
mkdir ~/tools 
cd ~/tools
wget https://dlcdn.apache.org/skywalking/9.2.0/apache-skywalking-apm-9.2.0.tar.gz --no-check-certificate
tar -zxf apache-skywalking-apm-9.2.0.tar.gz -C ../
cd ../
mv apache-skywalking-apm-bin skywalking

安装

直接参考官方文档

配置

数据库

服务配置

1
vim ~/skywalking/config/application.yml
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
core:
selector: ${SW_CORE:default}
default:
# Mixed: Receive agent data, Level 1 aggregate, Level 2 aggregate
# Receiver: Receive agent data, Level 1 aggregate
# Aggregator: Level 2 aggregate
role: ${SW_CORE_ROLE:Mixed} # Mixed/Receiver/Aggregator
restHost: ${SW_CORE_REST_HOST:0.0.0.0}
# 修改非标端口
restPort: ${SW_CORE_REST_PORT:52800}
restContextPath: ${SW_CORE_REST_CONTEXT_PATH:/}
restMaxThreads: ${SW_CORE_REST_MAX_THREADS:200}
restIdleTimeOut: ${SW_CORE_REST_IDLE_TIMEOUT:30000}
restAcceptQueueSize: ${SW_CORE_REST_QUEUE_SIZE:0}
httpMaxRequestHeaderSize: ${SW_CORE_HTTP_MAX_REQUEST_HEADER_SIZE:8192}
gRPCHost: ${SW_CORE_GRPC_HOST:0.0.0.0}
gRPCPort: ${SW_CORE_GRPC_PORT:51800}
#**************
storage:
selector: ${SW_STORAGE:mysql}
mysql:
# 下面改为自己的数据库配置
properties:

注意:

需要自己添加lib依赖到 ~/skywalking/oap-libs/ 目录下。

比如:

  1. MySQLmysql-connector-java-8.0.30.jar
  2. EStransport-7.17.6.jar

web服务配置

1
vim ~/skywalking/webapp/webapp.yml
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
server:
#修改非标端口
port: 52801
spring:
cloud:
gateway:
routes:
- id: oap-route
uri: lb://oap-service
predicates:
- Path=/graphql/**
discovery:
client:
simple:
instances:
oap-service:
#修改非标端口
- uri: http://127.0.0.1:52800

日志

默认 30 天清理,一个文件 100MB,无需更改

1
~/skywalking/config/log4j2.yml

启动

全部启动服务与web

1
~/skywalking/bin/startup.sh

分开启动

1
2
~/skywalking/bin/webappService.sh
~/skywalking/bin/oapService.sh

启动日志

1
2
3
4
# ~/skywalking/logs/oap.log
# ~/skywalking/logs/skywalking-oap-server.log
# ~/skywalking/logs/webapp-console.log
tail -f ~/skywalking/logs/*.log

Java-agent

官网文档

下载

apache-skywalking-java-agent-8.12.0.tgz

1
2
3
4
mkdir ~/tools && cd ~/tools
wget https://dlcdn.apache.org/skywalking/java-agent/8.12.0/apache-skywalking-java-agent-8.12.0.tgz --no-check-certificate
tar -xf apache-skywalking-java-agent-8.12.0.tgz -C ../
cd ../

配置

1
vim ~/skywalking-agent/config/agent.config

修改

1
2
3
4
5
6
7
8
# The group name is optional only.
agent.service_name=${SW_AGENT_NAME:maxzhao_group::auth}
# The agent namespace
agent.namespace=${SW_AGENT_NAMESPACE:maxzhao}
# The agent cluster
agent.cluster=${SW_AGENT_CLUSTER:maxzhao_cluster}
# 真实的skywalking 地址
collector.backend_service=127.0.0.1:51800

启动

1
java -javaagent:~/skywalking-agent/skywalking-agent.jar -jar yourApp.jar

其它参考

监控指标说明:

  • Service Apdex:Apdex是衡量一个服务在网格中的健康程度的指标。Apdex规范推荐了以下Apdex质量评级,将Apdex得分分为优秀(0.94 - 1.00)、良好(0.85 - 0.93)、一般(0.70 - 0.84)、差(0.50 - 0.69)和不可接受(0.00 - 0.49)。
  • Success Rate:服务响应成功比率
  • Service Load (calls / min):每分钟并发数
  • Service Avg Response Time (ms):应用平均响应时间
  • Service Response Time Percentile (ms):应用在特定毫秒内的响应请求的百分比。
  • Message Queue Consuming Count:消息队列消费数量
  • Message Queue Avg Consuming Latency (ms):消息队列平均消费数量每毫秒
  • Service Instances Load (calls / min):每个应用实例分流的每分钟并发数
  • Slow Service Instance (ms):慢响应实例排行
  • Service Instance Success Rate (%):应用实例的成功百分比
  • Endpoint Load in Current Service (calls / min):当前应用端点(接口)每分钟请求次数
  • Slow Endpoints in Current Service (ms):当前应用端点(接口)慢响应的排行
  • Success Rate in Current Service (%):当前应用端点(接口)响应的成功率

监控大项:

  • Trace:可以跟踪至JDBC层,可以查看具体的sql执行语句以及耗时,还有应用内抛出的应用信息。
  • Topology:拓扑图,可以看到应用间的调用和联系以及繁忙情况
  • Instance:各个应用实例的响应情况
  • Endpoint:端点接口的响应情况

本文地址: https://github.com/maxzhao-it/blog/post/b66e8509/