maxzhao

不要害怕Exception和Error

0%

Edited on In

删除 30天前的备份

编辑 vim 

1
2
3
4

echo '#!/bin/bash' > /opt/mysql8/dump_limit.sh
echo 'find /opt/mysql8/dump/ -type f ! -newermt "30 days ago" -delete' >> /opt/mysql8/dump_limit.sh
chmod u+x /opt/mysql8/dump_limit.sh

同样的

1
crontab -e

输入

1
0 0,12 * * * /opt/mysql8/dump_limit.sh

本文地址： https://github.com/maxzhao-it/blog/post/3ed7094534213/

Edited on In ,

配置插件

pom.xml 中配置 maven-dependency-plugin

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
<build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-dependency-plugin</artifactId>
                <executions>
                    <execution>
                        <id>copy-dependencies</id>
                        <phase>package</phase>
                        <goals>
                            <goal>copy-dependencies</goal>
                        </goals>
                        <configuration>
                           <!--指定地址--> <outputDirectory>../../plugins/${project.name}</outputDirectory>
                            <overWriteReleases>true</overWriteReleases>
                            <overWriteSnapshots>true</overWriteSnapshots>
                            <overWriteIfNewer>true</overWriteIfNewer>
                            <!--指定驱动-->
                            <includeArtifactIds>bcprov-jdk15on</includeArtifactIds>
                        </configuration>
                    </execution>
                </executions>
            </plugin>
        </plugins>
</build>

本文地址： https://github.com/maxzhao-it/blog/post/450e8a25/

Edited on In ,

ElasticSearch

快速了解

索引(Index)

类似于关系型数据库的库，是相同文档的集合。

文档(document)

文档相当于关系型数据的列，是可以建立索引的基本单元。

ElasticSearch RDBMS
索引（index） 数据库（database）
类型（type） 表（table）
文档（document） 行（row）
字段（field） 列（column）
映射（mapping） 表结构（schema）
全文索引 索引
查询DSL SQL
GET select
PUT/POST update
DELETE delete

Maven 依赖

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86

<project>
    <!--......................-->
    <properties>
        <elasticsearch-rest-client.version>7.13.2</elasticsearch-rest-client.version>
        <elasticsearch-rest-high-level-client.version>7.13.2</elasticsearch-rest-high-level-client.version>
    </properties>
    <dependencies>
        <!--        <dependency>-->
        <!--            <groupId>org.elasticsearch.client</groupId>-->
        <!--            <artifactId>elasticsearch-rest-client</artifactId>-->
        <!--            <version>${elasticsearch-rest-client.version}</version>-->
        <!--        </dependency>-->
        <dependency>
            <groupId>org.elasticsearch.client</groupId>
            <artifactId>elasticsearch-rest-high-level-client</artifactId>
            <version>${elasticsearch-rest-high-level-client.version}</version>
        </dependency>
        <!--......................-->
    </dependencies>
    <build>
        <plugins>
            <plugin>
                <!--shade 把下面的报打包在一个 jar 里-->
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-shade-plugin</artifactId>
                <version>3.2.0</version>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>shade</goal>
                        </goals>
                        <configuration>
                            <relocations>
                                <relocation>
                                    <pattern>org.apache.http</pattern>
                                    <shadedPattern>hidden.org.apache.http</shadedPattern>
                                </relocation>
                                <relocation>
                                    <pattern>org.apache.logging</pattern>
                                    <shadedPattern>hidden.org.apache.logging</shadedPattern>
                                </relocation>
                                <relocation>
                                    <pattern>org.apache.commons.codec</pattern>
                                    <shadedPattern>hidden.org.apache.commons.codec</shadedPattern>
                                </relocation>
                                <relocation>
                                    <pattern>org.apache.commons.logging</pattern>
                                    <shadedPattern>hidden.org.apache.commons.logging</shadedPattern>
                                </relocation>
                            </relocations>
                        </configuration>
                    </execution>
                </executions>
            </plugin>
        </plugins>
        <!--......................-->
    </build>
    <repositories>
        <!-- add the elasticsearch repo -->
        <repository>
            <id>elasticsearch-releases</id>
            <url>https://artifacts.elastic.co/maven</url>
            <releases>
                <enabled>true</enabled>
            </releases>
            <snapshots>
                <enabled>false</enabled>
            </snapshots>
        </repository>
    </repositories>
    <pluginRepositories>
        <pluginRepository>
            <id>alimaven</id>
            <name>aliyun maven</name>
            <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
            <releases>
                <enabled>true</enabled>
            </releases>
            <snapshots>
                <enabled>false</enabled>
            </snapshots>
        </pluginRepository>
    </pluginRepositories>
</project>

第一步建立文档索引(IndexRequest)

索引文档

创建带分词的索引

ES 7.13.2

kibana
1
2
3
4
PUT posts2/
{
参考 EsIndexConfig.json
}

Dev Tools

参数:

  • posts 全局索引名称
  • _doc 类型
  • id_1 文档主键,如果包含主键，则为 PUT请求
1
2
3
4
POST /posts/_doc/id_1?refresh=wait_for&version=-4&timeout=10s
{
"tag2":"不"
}

注意：opType=index 结果为：[http://127.0.0.1:9200/posts/_doc?timeout=1m] and method [POST]]]
注意：opType=create 结果为：[http://127.0.0.1:9200/posts/_create?version=-4&timeout=1m] and method [POST]]]
但是 /posts/_create后面必须要跟文档ID/posts/_create/ID_xxx
正常 &op_type=create参数是作为 url 参数出现的。

简单的逻辑

  • CREATE - 不指定文档id create
  • CREATE - 指定文档id - 不指定版本号 - 判断文档是否存在 - 不存在-create
  • CREATE - 指定文档id - 不指定版本号 - 判断文档是否存在 - 存在-报错
  • CREATE - 指定文档id - 指定版本号 - 报错，指定版本号请用INDEX
  • INDEX - 不指定文档id - create
  • INDEX - 指定文档id - 不指定版本号 - 判断文档id是否存在 - 存在 - update
  • INDEX - 指定文档id - 不指定版本号 - 判断文档id是否存在 - 不存在 - create
  • INDEX - 指定文档id - 指定版本号 - 判断文档id是否存在 - 存在 - 校验外部指定
  • INDEX - 指定文档id - 指定版本号 - 判断文档id是否存在 - 不存在 - create
  • UPDATE - 整体更新
  • UPDATE - 部分更新

Java

常用属性
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
public class demo {
    void demo() {
        /*全局索引名称*/
        String indexName = "posts";
        IndexRequest indexRequest = new IndexRequest(indexName);
        /*载入资源*/
        String jsonString = "{\"user\":\"maxzhao\",\"addtime\":\"2013-01-30\",\"message\":\"add data Elasticsearch\"}";
        indexRequest.source(jsonString, XContentType.JSON);
        /**/
        indexRequest.routing("routing");
        /*超时时间*/
        indexRequest.timeout(TimeValue.timeValueSeconds(60));
        /*超时时间*/
        indexRequest.timeout("1m");
        /*刷新策略*/
        indexRequest.setRefreshPolicy(WriteRequest.RefreshPolicy.WAIT_UNTIL);
        /*刷新策略：wait_for、true、false*/
        indexRequest.setRefreshPolicy("wait_for");
        /*文档主键*/
        indexRequest.id();
        /*版本号*/
        indexRequest.version(2);
        /*校验类型*/
        indexRequest.versionType(VersionType.EXTERNAL);
        /*操作类型，这里使用 create 必须要设置文档ID*/
        indexRequest.opType(DocWriteRequest.OpType.CREATE);
        /*操作类型：create or index (default)*/
        indexRequest.opType("create");
        /*索引文档之前执行的管道名称*/
        indexRequest.setPipeline("pipeline");
        /*即将废除：indexRequest.type("_doc");*/
        /*获取响应结果*/
        IndexResponse indexResponse = restHighLevelClient.index(indexRequest, RequestOptions.DEFAULT);
    }
}
资源载入的四种方式

建议使用方式一、方式二

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
public class demo {
    /**
     * 建立索引
     */
    public void IndexRequest() {
        /*方式一：*/
        String indexName = "posts";
        IndexRequest indexRequest = new IndexRequest(indexName);
        String jsonString = "{" +
                "\"user\":\"maxzhao\"," +
                "\"message\":\"add data Elasticsearch\"" +
                "}";
        indexRequest.source(jsonString, XContentType.JSON);
        /*方式二：*/
        Map<String, Object> jsonMap = new HashMap<>();
        jsonMap.put("user", "maxzhao");
        jsonMap.put("addtime", new Date());
        jsonMap.put("message", "add data Elasticsearch");
        indexRequest = new IndexRequest(indexName)
                .source(jsonMap);
        /*方式三：*/
        XContentBuilder builder = null;
        try {
            builder = XContentFactory.jsonBuilder();
            builder.startObject();
            {
                builder.field("user", "maxzhao");
                builder.timeField("addtime", new Date());
                builder.field("message", "add data Elasticsearch");
            }
            builder.endObject();
            indexRequest = new IndexRequest(indexName)
                    .source(builder);
        } catch (IOException e) {

        }
        /*方式四：*/
        indexRequest = new IndexRequest(indexName)
                .source("user", "maxzhao",
                        "addtime", new Date(),
                        "message", "add data Elasticsearch");
    }
}
发起请求
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
public class demo {
    void demo() {
        /*同步*/
        IndexResponse indexResponse = null;
        try {
            indexResponse = restHighLevelClient.index(indexRequest, RequestOptions.DEFAULT);
            this.HandleIndexResponse(indexResponse);
        } catch (ElasticsearchException e) {
            log.warn(e.toString());
            /*版本冲突所抛出的异常*/
            /*同样会发生,以防opType将创建和相同的索引文档id已经存在:*/
            if (e.status() == RestStatus.CONFLICT) {
            }
        } catch (IOException e) {
            log.warn(e.toString());
        }
        /*异步*/
        Cancellable cancellable = restHighLevelClient.indexAsync(indexRequest, RequestOptions.DEFAULT, new ActionListener<IndexResponse>() {
            @Override
            public void onResponse(IndexResponse indexResponse) {
                HandleIndexResponse(indexResponse);
            }

            @Override
            public void onFailure(Exception e) {
                log.warn(e.toString());
            }
        });
    }
}

修改(UpdateRequest)

删除(DeleteRequest)

合并请求(BulkRequest)

复制索引(ReindexRequest)

可用于将文档从一个或多个索引复制到目标索引。

查询(GetRequest、GetSourceRequest)

合并多个查询(MultiGetRequest)

检索(SearchRequest)

  1. 结构化检索
  2. 全文检索

详细了解

索引近义词

创建索引时

创建索引时，进行配置

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_hanlp_analyzer": {
          "type": "custom",
          "char_filter": [
            "html_strip"
          ],
          "filter": [
            "my_synonym"
          ]
        }
      },
      "filter": {
        "my_synonym": {
          "type": "synonym_graph",
          "synonyms_path": "analysis/synonym/synonym.txt",
          "updateable": true
        }
      }
    }
  }
}

配置文件

路径 ${ES_HOME}/analysis/synonym/synonym.txt

近义词配置方式

  • 中文,汉语,汉字
    • 这种写法在分词的时候，有中文的地方，都会解析成中文,汉语,汉字，把中文,汉语,汉字存入索引中
  • 毛衣,毛裤 => 线服
    • 这种写法在分词的时候，毛衣,毛裤都会解析成为线服，然后把线服存入索引中

分词

请查看 HanLP 文档。

分词过滤器/不区分大小写

创建索引时，进行配置

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
{
  "settings": {
    "number_of_shards": 1,
    "number_of_replicas": 1,
    "analysis": {
      "analyzer": {
        "my_hanlp_analyzer": {
          "type": "custom",
          "tokenizer": "my_hanlp",
          "char_filter": [
            "html_strip"
          ],
          "filter": [
            "my_lowercase"
          ]
        },
        "default": {
          "type": "hanlp"
        }
      },
      "tokenizer": {
        "my_hanlp": {
          "type": "hanlp",
          "enable_stop_dictionary": false,
          "enable_custom_config": false
        }
      },
      "filter": {
        "my_lowercase": {
          "type": "lowercase",
          "language": "greek"
        }
      }
    }
  }
}

附录

本文地址： https://github.com/maxzhao-it/blog/post/34329dsafadsfasdfgh/

Edited on In ,

执行

安装

1
npm install archiver

脚本

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
const fs = require('fs');
const projectNames = ['main-app'];
// console.log('current path ', process.cwd())
// 读取打包后的JavaScript文件
const args = process.argv.slice(2);
if(args.length==0){
    console.warn('请输入参数',projectNames)
    return;
}
let projectName = args[0];
if(!projectName.endsWith('-app')){
    console.log("项目名称转换:",projectName,' -> ',projectName+'-app')
    projectName+='-app'
}

if(projectNames.indexOf(projectName)==-1){
    console.warn('参数错误',projectName)
    console.warn('请输入正确参数',projectNames)
    return;
}

const filePath = '../dist/'+projectName+'/config.js'; // 替换为你实际的文件路径
const fileData = fs.readFileSync(filePath, 'utf8');

// 在文件中查找需要替换的域名，并进行替换
const oldAddress = '\'(?:https?:\\/\\/)?((([0-9]{0,3}\\.){3}[0-9]{0,3}:[0-9]{1,})|([\\w.-]+(?:\\.[\\w.-]+)+))'; // 替换为需要修改的旧地址
const newAddress = '\''; // 替换为新地址
const oldPassword = 'password: \'(.*)\''; // 替换为需要修改的旧地址
const newPassword = 'password: \'\''; // 替换为新地址
const modifiedData = fileData.replace(new RegExp(oldAddress, 'g'), newAddress);
const modifiedData = modifiedData.replace(new RegExp(oldPassword, 'g'), newPassword);

// 将修改后的内容写回文件
fs.writeFileSync(filePath, modifiedData, 'utf8');

console.log('文件修改完成！');
console.log('文件打包开始！');
const archiver = require('../'+projectName+'/node_modules/archiver');
// 创建一个输出流，用于将文件写入 zip 包中
const output = fs.createWriteStream(__dirname + '/../dist/'+projectName+'.zip');
const archive = archiver('zip', {
  zlib: { level: 9 } // 设置压缩级别（可选）
});
// 将输出流与 archiver 绑定
archive.pipe(output);
// 向 zip 包中添加构建好的前端代码，路径根据实际情况进行调整
archive.directory(__dirname + '/../dist/'+projectName, false);
// 完成 zip 打包
archive.finalize();
console.log('文件打包完成！', output.path);

运行

1
node ../devops/modifyScript.js main-app

本文地址： https://github.com/maxzhao-it/blog/post/21566213545/

Edited on In ,

Opengauss

生成表结构

1
liquibase --driver=org.opengauss.Driver --classpath=opengauss-jdbc-6.0.0-RC1-og.jar --changeLogFile=./opengauss-dbchangelog-schema.xml --url="jdbc:opengauss://32.1.0.100:15232/empower?charSet=utf8&currentSchema=empower_config" --username=empower --password="SkyEmp12#$" generateChangeLog

生成表数据

1
liquibase --driver=org.opengauss.Driver --classpath=opengauss-jdbc-6.0.0-RC1-og.jar --changeLogFile=./opengauss-dbchangelog-data.xml --url="jdbc:opengauss://32.1.0.100:15232/empower?charSet=utf8&currentSchema=empower_config" --username=empower --password="SkyEmp12#$" --diffTypes=data generateChangeLog

本文地址： https://github.com/maxzhao-it/blog/post/cf860b21123/

Edited on In

1. 编写Nginx的systemd服务文件

首先，在/etc/systemd/system/目录下创建一个新的服务文件，比如nginx.service。你可以使用vi、nano或其他文本编辑器来创建和编辑这个文件。

1
sudo vi /etc/systemd/system/nginx.service

然后，将以下内容复制到该文件中：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
[Unit]
Description=nginx - high performance web server
After=network.target

[Service]
Type=forking
User=root
Group=root
ExecStart=/opt/nginx/nginx/sbin/nginx -c /opt/nginx/nginx/conf/nginx.conf 
ExecReload=/opt/nginx/nginx/sbin/nginx -s reload
ExecStop=/opt/nginx/nginx/sbin/nginx -s quit

[Install]
WantedBy=multi-user.target

注意：User和Group字段应根据你的Nginx配置进行更改。同时，ExecStart字段中的Nginx路径也可能需要根据你的实际安装位置进行调整。

这里安装的路径是 ./configure --prefix=/opt/nginx/nginx

2. 重新加载systemd配置

保存并关闭文件后，你需要重新加载systemd的配置，以便它识别新的Nginx服务文件。

1
sudo systemctl daemon-reload

3. 启用并启动Nginx服务

现在，你可以使用systemctl命令来启用Nginx服务，以便它在系统启动时自动运行。

1
sudo systemctl enable nginx

然后，你可以手动启动Nginx服务来检查它是否按预期工作。

1
sudo systemctl start nginx

4. 检查Nginx服务状态

你可以使用以下命令来检查Nginx服务的状态：

1
sudo systemctl status nginx

如果Nginx正在运行并且没有错误，那么你应该会看到“active (running)”的状态信息。

现在，Nginx已经被配置为在系统启动时自动运行了。如果你需要停止或重启Nginx服务，可以使用以下命令：

1
2
sudo systemctl stop nginx
sudo systemctl restart nginx

本文地址： https://github.com/maxzhao-it/blog/post/ec5ec98b123324/