sql自动化检查和分析工具之soar和soar-web安装和使用体验

本篇文章小编给大家分享一下sql自动化检查和分析工具之soar和soar-web安装和使用体验，小编觉得挺不错的，现在分享给大家供大家参考，有需要的小伙伴们可以来看看。

初步的实验结果，总结如下：

1. 安装相对来说较为麻烦，特别是soar-web的依赖包安装，涉及到python pip相关组件的下载安装。

2. 启动soar-web会遇到一些奇怪问题，提示 “ImportError: No module named xxx“ 没有安装，但是通过python -m pip list检查是有安装成功的。

3. soar-web的启动脚本run.sh，不能正常启动；但是使用python./soar-web.py install却可以正常启动。

4. 数据库类型，只支持MySQL一种

后续：

最后，综合感觉，soar-web的功能，距离自动化SQL检查和优化，还有很大空间。接下来，将继续调研和对比剩下两个工具：see 和 Yearning

1.see 工具

https://gi*thu*b.*com/myide/see

2. Yearning 工具

https://gi*thu*b.co*m/cookieY/Yearning

一 、soar主要步骤，如下：

step 1: 下载安装包

# prepare dir and install
mkdir -p /opt/soft/soar && mkdir -p /opt/install/soar/{log,conf}
wget -O /opt/soft/soar/soar -c https://gi**thub.c*om/XiaoMi/soar/releases/download/0.11.0/soar.linux-amd64

step 2: 复制和安装文件

# install server
mv /opt/soft/soar/soar /opt/install/soar
 
# 目录介绍：
# 配置文件为yaml格式。一般情况下只需要配置online-dsn, test-dsn, log-output等少数几个参数。即使不创建配置文件SOAR仍然会给出基本的启发式建议。
# 默认文件会按照/etc/soar.yaml, ./etc/soar.yaml, ./soar.yaml顺序加载，
# 找到第一个后不再继续加载后面的配置文件。如需指定其他配置文件可以通过-config参数指定。
# 关于数据库权限online-dsn需要相应库表的SELECT权限，test-dsn需要root最高权限。
 
# 修改默认配置参数，如下
# 参考
# # 1. 修改soar.conf的基本参数
root >> cat > /opt/install/soar/conf/soar.yaml > EOF
 step 3: 准备环境变量

# env parameter and path
echo '' >> /etc/profile && 
echo 'SOAR_HOME=/opt/install/soar' >> /etc/profile && 
echo 'SOAR_CONF_DIR=$SOAR_HOME/conf' >> /etc/profile && 
echo 'SOAR_LOG_DIR=$SOAR_HOME/log' >> /etc/profile && 
echo 'PATH=$PATH:$SOAR_HOME' >> /etc/profile && 
source /etc/profile
 step 4: 文件赋予权限

chmod -R 777 $SOAR_HOME/soar
 step 5: 检查soar全局配置生效

# 查看版本
soar -version
 
# 打印所有的启发式规则
soar -list-heuristic-rules
 
# 打印支持的报告格式
soar -list-report-types

二 、soar-web主要步骤，如下：

step 1: 安装soar-web的依赖包

# 1.1 安装python3 和 python3-pip 和 gcc (gcc在源代码安装pycryptodome等python组件时候需要)
yum install -y python36 python36-pip gcc
 
# 检查python3安装结果
python -V
# 检查pip已经安装的python组件
python3 -m pip list
# 卸载pip组件
# python3 -m pip uninstall "packagename"
 
# 1.2 flask (必须先安装python3)
# 安装教程：https://www.cnb*l**ogs.com/wobeinianqing/p/7650498.html
# yum install -y flask
python3 -m pip install flask
 
 
# 1.3 安装 pymysql (必须先安装python3)
# 安装教程：https://blog.*c*s*dn.net/qq_37788558/article/details/73716002
# 安装教程：https://*githu*b*.com/PyMySQL/PyMySQL
python3 -m pip install PyMySQL
 
 
# 1.4 安装 pycryptodome (必须先安装python3)
python3 -m pip install pycryptodome
# 如果pip下载速度慢，可以用如下命令
#### 或 安装方式2，如下
python3 -m pip install /opt/soft/soar/pycryptodome-3.9.6.tar.gz
#### 或 安装方式3，如下
# 格式 = python3 -m pip install https://pypi.t*un*a.tsinghua.e*du.cn/simple/simple/{包名}
# 格式 = python3 -m pip install https://pypi.d*ou**banio.com/simple/{包名}
python3 -m pip install https://pypi.*tuna.tsi*nghua.ed*u.cn/simple/pycryptodome-3.9.6.tar.gz

step 2: 安装soar-web

# 2.1 下载soar-web的源代码
wget -O /opt/soft/soar/soar-web-master.zip -c https://codeload.g*i**thub.com/xiyangxixian/soar-web/zip/master
yum install -y unzip
unzip /opt/soft/soar/soar-web-master.zip -d /opt/soft/soar/
 
# 2.2 安装soar-web
mkdir -p /opt/install/soar-web && 
mv /opt/soft/soar/soar-web-master/* /opt/install/soar-web
# 运行soar-web
chmod -R 777 /opt/install/soar-web/run.sh
bash /opt/install/soar-web/run.sh
 
# 2.3 或者如下方法启动soar-web
cd /opt/install/soar-web/
python3 ./soar-web.py install

step 3:检查端口，如下

netstat -nltp | grep 5077

step 4:客户端，访问URL，如下：

地址 = http://*{serv*er-ip*}:5077

step 5: 配置数据库源

线上环境参数 = 数据库账号:数据库密码@数据库hostname:数据库hostport/数据库实例名称

step 6:测试和使用SQL检查

首先，选择配置参数“mysql-CNT7XMYSQLD01”，然后输入要检查的SQL，如下图：得到检查SQL的结果