稚子的成长博客

如何安装php7的event扩展

发表于2016 年 12 月 14 日由稚子

最近api系统遇到了高并发的瓶颈，想通过workerman重构。在看workerman文档时发现这么一句话：

Event扩展不是必须的，当业务需要支撑上万并发连接时，推荐安装Event，能够支持巨大的并发连接。如果业务并发连接比较低，例如1000并发连接，则可以不用安装。

如果无法安装Event扩展，可以用libevent扩展代替，注意目前libevent扩展不支持php7，php7用户只能使用Event扩展。

业务的服务器是php7以上，所以不能考虑libevent了，只能安装event扩展了。

以下是我的安装步骤：

1、安装libevent库，并非libevent扩展。

到 http://libevent.org/ 官网上下载最新稳定版，也可以在命令行执行

$ wget https://github.com/libevent/libevent/releases/download/release-2.0.22-stable/libevent-2.0.22-stable.tar.gz

1	$ wget https://github.com/libevent/libevent/releases/download/release-2.0.22-stable/libevent-2.0.22-stable.tar.gz

拿到包以后解压安装即可

$ tar zxvf libevent-2.0.22-stable.tar.gz
$ cd libevent-2.0.22-stable
$ ./configure --prefix=/usr
$ make && make install

$ tar zxvf libevent-2.0.22-stable.tar.gz

$ cd libevent-2.0.22-stable

$ ./configure --prefix=/usr

$ make && make install

测试是否安装成功

$ ls -al /usr/lib | grep libevent

1	$ ls -al /usr/lib \| grep libevent

提示如下则表示安装成功

1、安装event扩展。

到php官方下载event扩展的最新稳定包 https://pecl.php.net/package/event，也可以在命令行执行

$ wget https://pecl.php.net/get/event-2.2.1.tgz

1	$ wget https://pecl.php.net/get/event-2.2.1.tgz

拿到包手解压安装即可

$ tar zxvf event-2.2.1.tgz 
$ cd cd event-2.2.1
$ phpize    // 生成configure文件
$ ./configure --with-php-config=/usr/local/php/bin/php-config // 指定php-config
$ make && make install

$ tar zxvf event-2.2.1.tgz

$ cd cd event-2.2.1

$ phpize // 生成configure文件

$ ./configure --with-php-config=/usr/local/php/bin/php-config // 指定php-config

$ make && make install

最后提示下图则表示安装成功

最后在php.ini中加入

extension=event.so

1	extension=event.so

重启php-fpm即可

注意：

我在重启php-fpm的时候提示

[14-Dec-2016 10:51:25] NOTICE: PHP message: PHP Warning: PHP Startup: Unable to load dynamic library ‘/usr/local/php/lib/php/extensions/no-debug-non-zts-20151012/event.so’ – libevent_openssl-2.0.so.5: cannot open shared object file: No such file or directory in Unknown on line 0
 
Warning: PHP Startup: Unable to load dynamic library ‘/usr/local/php/lib/php/extensions/no-debug-non-zts-20151012/event.so’ – libevent_openssl-2.0.so.5: cannot open shared object file: No such file or directory in Unknown on line 0 
[14-Dec-2016 10:51:26] NOTICE: configuration file /usr/local/php/etc/php-fpm.conf test is successful

表示系统未找到 libevent_openssl-2.0.so.5，这时需要将 /usr/lib加入到ld.so.conf中

$ echo '/usr/lib'>>/etc/ld.so.conf && ldconfig

1	$ echo '/usr/lib'>>/etc/ld.so.conf && ldconfig

再次重启php-fpm即可

如果重启 fpm 还是报错，例如：

[14-Jul-2018 08:43:13] NOTICE: PHP message: PHP Warning:  PHP Startup: Unable to load dynamic library '/usr/local/php/lib/php/extensions/no-debug-non-zts-20151012/event.so' - /usr/lib/libevent_openssl-2.0.so.5: undefined symbol: _evthread_lock_fns in Unknown on line 0

1	[14-Jul-2018 08:43:13] NOTICE: PHP message: PHP Warning: PHP Startup: Unable to load dynamic library '/usr/local/php/lib/php/extensions/no-debug-non-zts-20151012/event.so' - /usr/lib/libevent_openssl-2.0.so.5: undefined symbol: _evthread_lock_fns in Unknown on line 0

说明你系统中的 lib64可能存在 libevent 模块，造成冲突了，可以通过命令

ls /usr/lib64/ -la|grep libevent

1	ls /usr/lib64/ -la\|grep libevent

来检查 lib64目录是否有 libevent 文件

如果存在文件则删除后重新编译 event 扩展即可

大功告成~

发表在操作系统相关 | 标签为 event, libevent | 一条评论

php获取url的301/302后url

发表于2016 年 11 月 23 日由稚子

方法一：

在php获取http头部信息上，php有个自带的函数get_headers()，我以前也是用这个的，听说效率在win上不咋地，再加上最近研究百度url无果，写了cURL获取重定向url的php代码来折腾。
以前我是用get_headers来获取跳转后的url

//curl的百度百科
$url = 'http://www.baidu.com/link?url=77I2GJqjJ4zBBpC8yDF8xDhiqDSn1JZjFWsHhEoSNd85PkV8Xil-rckpQ8_kjGKNNq';
$header = get_headers($url,1);
if (strpos($header[0],'301') || strpos($header[0],'302')) {
	if(is_array($header['Location'])) {
		$info = $header['Location'][count($header['Location'])-1];
	}else{
		$info = $header['Location'];
	}
}
echo $info;

//curl的百度百科

$url = 'http://www.baidu.com/link?url=77I2GJqjJ4zBBpC8yDF8xDhiqDSn1JZjFWsHhEoSNd85PkV8Xil-rckpQ8_kjGKNNq';

$header = get_headers($url,1);

if (strpos($header[0],'301') || strpos($header[0],'302')) {

if(is_array($header['Location'])) {

$info = $header['Location'][count($header['Location'])-1];

}else{

$info = $header['Location'];

}

echo $info;

方法二：

CURL是需要设置curl_setopt 和curl_getinfo才可以获取 Location:重定向

//curl的百度百科
$url = 'http://www.baidu.com/link?url=77I2GJqjJ4zBBpC8yDF8xDhiqDSn1JZjFWsHhEoSNd85PkV8Xil-rckpQ8_kjGKNNq';

1 2	//curl的百度百科 $url = 'http://www.baidu.com/link?url=77I2GJqjJ4zBBpC8yDF8xDhiqDSn1JZjFWsHhEoSNd85PkV8Xil-rckpQ8_kjGKNNq';

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_HEADER, true);
curl_setopt($ch, CURLOPT_NOBODY, true);
curl_setopt($ch, CURLOPT_USERAGENT, $_SERVER['HTTP_USER_AGENT']);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_REFERER, '');
$header = curl_exec($ch);
$http_code = curl_getinfo($ch, CURLINFO_HTTP_CODE);
$url = curl_getinfo($ch, CURLINFO_EFFECTIVE_URL);
curl_close($ch);
if ($http_code == 301 || $http_code == 302) {
    preg_match('/Location:(.*?)\n/', $header, $matches);
    $url = (is_array($matches) &amp;&amp; isset($matches[1])) ? trim($matches[1]) : $url;
}

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, $url);

curl_setopt($ch, CURLOPT_HEADER, true);

curl_setopt($ch, CURLOPT_NOBODY, true);

curl_setopt($ch, CURLOPT_USERAGENT, $_SERVER['HTTP_USER_AGENT']);

curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);

curl_setopt($ch, CURLOPT_REFERER, '');

$header = curl_exec($ch);

$http_code = curl_getinfo($ch, CURLINFO_HTTP_CODE);

$url = curl_getinfo($ch, CURLINFO_EFFECTIVE_URL);

curl_close($ch);

if ($http_code == 301 || $http_code == 302) {

preg_match('/Location:(.*?)\n/', $header, $matches);

$url = (is_array($matches) && isset($matches[1])) ? trim($matches[1]) : $url;

}

echo '真实url为：'.$url;

1	echo '真实url为：'.$url;

发表在 BS架构后台语言 | 标签为 301, 302, cur, get_headers | 留下评论

Web性能压力测试工具之ApacheBench（ab）详解

发表于2016 年 10 月 25 日由稚子

网站性能压力测试是性能调优过程中必不可少的一环。只有让服务器处在高压情况下才能真正体现出各种设置所暴露的问题。Apache中有个自带的，名为ab的程序，可以对Apache或其它类型的服务器进行网站访问压力测试。

ApacheBench命令原理：

ab命令会创建很多的并发访问线程，模拟多个访问者同时对某一URL地址进行访问。它的测试目标是基于URL的，因此，既可以用来测试Apache的负载压力，也可以测试nginx、lighthttp、tomcat、IIS等其它Web服务器的压力。

ab命令对发出负载的计算机要求很低，既不会占用很高CPU，也不会占用很多内存，但却会给目标服务器造成巨大的负载，其原理类似CC攻击。自己测试使用也须注意，否则一次上太多的负载，可能造成目标服务器因资源耗完，严重时甚至导致死机。

ApacheBench参数说明

格式：ab [options] [http://]hostname[:port]/path
参数说明：
-n requests Number of requests to perform
//在测试会话中所执行的请求个数（本次测试总共要访问页面的次数）。默认时，仅执行一个请求。
-c concurrency Number of multiple requests to make
//一次产生的请求个数（并发数）。默认是一次一个。
-t timelimit Seconds to max. wait for responses
//测试所进行的最大秒数。其内部隐含值是-n 50000。它可以使对服务器的测试限制在一个固定的总时间以内。默认时，没有时间限制。
-p postfile File containing data to POST
//包含了需要POST的数据的文件，文件格式如“p1=1&p2=2”.使用方法是 -p 111.txt 。 （配合-T）
-T content-type Content-type header for POSTing
//POST数据所使用的Content-type头信息，如 -T “application/x-www-form-urlencoded” 。 （配合-p）
-v verbosity How much troubleshooting info to print
//设置显示信息的详细程度 – 4或更大值会显示头信息， 3或更大值可以显示响应代码(404, 200等), 2或更大值可以显示警告和其他信息。 -V 显示版本号并退出。
-w Print out results in HTML tables
//以HTML表的格式输出结果。默认时，它是白色背景的两列宽度的一张表。
-i Use HEAD instead of GET
// 执行HEAD请求，而不是GET。
-x attributes String to insert as table attributes
-y attributes String to insert as tr attributes
-z attributes String to insert as td or th attributes
-C attribute Add cookie, eg. -C “c1=1234,c2=2,c3=3” (repeatable)
//-C cookie-name=value 对请求附加一个Cookie:行。 其典型形式是name=value的一个参数对。此参数可以重复，用逗号分割。
提示：可以借助session实现原理传递 JSESSIONID参数， 实现保持会话的功能，如
-C ” c1=1234,c2=2,c3=3, JSESSIONID=FF056CD16DA9D71CB131C1D56F0319F8″ 。
-H attribute Add Arbitrary header line, eg. ‘Accept-Encoding: gzip’ Inserted after all normal header lines. (repeatable)
-A attribute Add Basic WWW Authentication, the attributes
are a colon separated username and password.
-P attribute Add Basic Proxy Authentication, the attributes
are a colon separated username and password.
//-P proxy-auth-username:password 对一个中转代理提供BASIC认证信任。用户名和密码由一个:隔开，并以base64编码形式发送。无论服务器是否需要(即, 是否发送了401认证需求代码)，此字符串都会被发送。
-X proxy:port Proxyserver and port number to use
-V Print version number and exit
-k Use HTTP KeepAlive feature
-d Do not show percentiles served table.
-S Do not show confidence estimators and warnings.
-g filename Output collected data to gnuplot format file.
-e filename Output CSV file with percentages served
-h Display usage information (this message)
//-attributes 设置属性的字符串. 缺陷程序中有各种静态声明的固定长度的缓冲区。另外，对命令行参数、服务器的响应头和其他外部输入的解析也很简单，这可能会有不良后果。它没有完整地实现 HTTP/1.x; 仅接受某些’预想’的响应格式。 strstr(3)的频繁使用可能会带来性能问题，即你可能是在测试ab而不是服务器的性能。

参数很多，一般我们用 -c 和 -n 参数就可以了。例如:

# ab -c 5000 -n 600 http://127.0.0.1/index.php

格式：ab [options] [http://]hostname[:port]/path

参数说明：

-n requests Number of requests to perform

//在测试会话中所执行的请求个数（本次测试总共要访问页面的次数）。默认时，仅执行一个请求。

-c concurrency Number of multiple requests to make

//一次产生的请求个数（并发数）。默认是一次一个。

-t timelimit Seconds to max. wait for responses

//测试所进行的最大秒数。其内部隐含值是-n 50000。它可以使对服务器的测试限制在一个固定的总时间以内。默认时，没有时间限制。

-p postfile File containing data to POST

//包含了需要POST的数据的文件，文件格式如“p1=1&p2=2”.使用方法是 -p 111.txt 。（配合-T）

-T content-type Content-type header for POSTing

//POST数据所使用的Content-type头信息，如 -T “application/x-www-form-urlencoded” 。（配合-p）

-v verbosity How much troubleshooting info to print

//设置显示信息的详细程度 – 4或更大值会显示头信息， 3或更大值可以显示响应代码(404, 200等), 2或更大值可以显示警告和其他信息。 -V 显示版本号并退出。

-w Print out results in HTML tables

//以HTML表的格式输出结果。默认时，它是白色背景的两列宽度的一张表。

-i Use HEAD instead of GET

// 执行HEAD请求，而不是GET。

-x attributes String to insert as table attributes

-y attributes String to insert as tr attributes

-z attributes String to insert as td or th attributes

-C attribute Add cookie, eg. -C “c1=1234,c2=2,c3=3” (repeatable)

//-C cookie-name=value 对请求附加一个Cookie:行。其典型形式是name=value的一个参数对。此参数可以重复，用逗号分割。

提示：可以借助session实现原理传递 JSESSIONID参数，实现保持会话的功能，如

-C ” c1=1234,c2=2,c3=3, JSESSIONID=FF056CD16DA9D71CB131C1D56F0319F8″ 。

-H attribute Add Arbitrary header line, eg. ‘Accept-Encoding: gzip’ Inserted after all normal header lines. (repeatable)

-A attribute Add Basic WWW Authentication, the attributes

are a colon separated username and password.

-P attribute Add Basic Proxy Authentication, the attributes

are a colon separated username and password.

//-P proxy-auth-username:password 对一个中转代理提供BASIC认证信任。用户名和密码由一个:隔开，并以base64编码形式发送。无论服务器是否需要(即, 是否发送了401认证需求代码)，此字符串都会被发送。

-X proxy:port Proxyserver and port number to use

-V Print version number and exit

-k Use HTTP KeepAlive feature

-d Do not show percentiles served table.

-S Do not show confidence estimators and warnings.

-g filename Output collected data to gnuplot format file.

-e filename Output CSV file with percentages served

-h Display usage information (this message)

//-attributes 设置属性的字符串. 缺陷程序中有各种静态声明的固定长度的缓冲区。另外，对命令行参数、服务器的响应头和其他外部输入的解析也很简单，这可能会有不良后果。它没有完整地实现 HTTP/1.x; 仅接受某些’预想’的响应格式。 strstr(3)的频繁使用可能会带来性能问题，即你可能是在测试ab而不是服务器的性能。

参数很多，一般我们用 -c 和 -n 参数就可以了。例如:

# ab -c 5000 -n 600 http://127.0.0.1/index.php

ApacheBench用法详解：

在Linux系统，一般安装好Apache后可以直接执行；

# ab -n 4000 -c 1000 http://www.ha97.com/

1	# ab -n 4000 -c 1000 http://www.ha97.com/

如果是Win系统下，打开cmd命令行窗口，cd到apache安装目录的bin目录下；

-n后面的4000代表总共发出4000个请求；-c后面的1000表示采用1000个并发（模拟1000个人同时访问），后面的网址表示测试的目标URL。

稍等一会得到类似如下显示结果：

结果分析：

This is ApacheBench, Version 2.3
Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/
Licensed to The Apache Software Foundation, http://www.apache.org/

Benchmarking 192.168.80.157 (be patient)
Completed 400 requests
Completed 800 requests
Completed 1200 requests
Completed 1600 requests
Completed 2000 requests
Completed 2400 requests
Completed 2800 requests
Completed 3200 requests
Completed 3600 requests
Completed 4000 requests
Finished 4000 requests

Server Software: Apache/2.2.15
Server Hostname: 192.168.80.157
Server Port: 80

Document Path: /phpinfo.php
#测试的页面
Document Length: 50797 bytes
#页面大小

Concurrency Level: 1000
#测试的并发数
Time taken for tests: 11.846 seconds
#整个测试持续的时间
Complete requests: 4000
#完成的请求数量
Failed requests: 0
#失败的请求数量
Write errors: 0
Total transferred: 204586997 bytes
#整个过程中的网络传输量
HTML transferred: 203479961 bytes
#整个过程中的HTML内容传输量
Requests per second: 337.67 [#/sec] (mean)
#最重要的指标之一，相当于LR中的每秒事务数，后面括号中的mean表示这是一个平均值
Time per request: 2961.449 [ms] (mean)
#最重要的指标之二，相当于LR中的平均事务响应时间，后面括号中的mean表示这是一个平均值
Time per request: 2.961 [ms] (mean, across all concurrent requests)
#每个连接请求实际运行时间的平均值
Transfer rate: 16866.07 [Kbytes/sec] received
#平均每秒网络上的流量，可以帮助排除是否存在网络流量过大导致响应时间延长的问题
Connection Times (ms)
min mean[+/-sd] median max
Connect: 0 483 1773.5 11 9052
Processing: 2 556 1459.1 255 11763
Waiting: 1 515 1459.8 220 11756
Total: 139 1039 2296.6 275 11843
#网络上消耗的时间的分解，各项数据的具体算法还不是很清楚

Percentage of the requests served within a certain time (ms)
50% 275
66% 298
75% 328
80% 373
90% 3260
95% 9075
98% 9267
99% 11713
100% 11843 (longest request)
#整个场景中所有请求的响应情况。在场景中每个请求都有一个响应时间，其中50％的用户响应时间小于275毫秒，66％的用户响应时间小于298毫秒，最大的响应时间小于11843毫秒。对于并发请求，cpu实际上并不是同时处理的，而是按照每个请求获得的时间片逐个轮转处理的，所以基本上第一个Time per request时间约等于第二个Time per request时间乘以并发请求数。

This is ApacheBench, Version 2.3

Licensed to The Apache Software Foundation, http://www.apache.org/

Benchmarking 192.168.80.157 (be patient)

Completed 400 requests

Completed 800 requests

Completed 1200 requests

Completed 1600 requests

Completed 2000 requests

Completed 2400 requests

Completed 2800 requests

Completed 3200 requests

Completed 3600 requests

Completed 4000 requests

Finished 4000 requests

Server Software: Apache/2.2.15

Server Hostname: 192.168.80.157

Server Port: 80

Document Path: /phpinfo.php

#测试的页面

Document Length: 50797 bytes

#页面大小

Concurrency Level: 1000

#测试的并发数

Time taken for tests: 11.846 seconds

#整个测试持续的时间

Complete requests: 4000

#完成的请求数量

Failed requests: 0

#失败的请求数量

Write errors: 0

Total transferred: 204586997 bytes

#整个过程中的网络传输量

HTML transferred: 203479961 bytes

#整个过程中的HTML内容传输量

Requests per second: 337.67 [#/sec] (mean)

#最重要的指标之一，相当于LR中的每秒事务数，后面括号中的mean表示这是一个平均值

Time per request: 2961.449 [ms] (mean)

#最重要的指标之二，相当于LR中的平均事务响应时间，后面括号中的mean表示这是一个平均值

Time per request: 2.961 [ms] (mean, across all concurrent requests)

#每个连接请求实际运行时间的平均值

Transfer rate: 16866.07 [Kbytes/sec] received

#平均每秒网络上的流量，可以帮助排除是否存在网络流量过大导致响应时间延长的问题

Connection Times (ms)

min mean[+/-sd] median max

Connect: 0 483 1773.5 11 9052

Processing: 2 556 1459.1 255 11763

Waiting: 1 515 1459.8 220 11756

Total: 139 1039 2296.6 275 11843

#网络上消耗的时间的分解，各项数据的具体算法还不是很清楚

Percentage of the requests served within a certain time (ms)

50% 275

66% 298

75% 328

80% 373

90% 3260

95% 9075

98% 9267

99% 11713

100% 11843 (longest request)

#整个场景中所有请求的响应情况。在场景中每个请求都有一个响应时间，其中50％的用户响应时间小于275毫秒，66％的用户响应时间小于298毫秒，最大的响应时间小于11843毫秒。对于并发请求，cpu实际上并不是同时处理的，而是按照每个请求获得的时间片逐个轮转处理的，所以基本上第一个Time per request时间约等于第二个Time per request时间乘以并发请求数。

总结：在远程对web服务器进行压力测试，往往效果不理想（因为网络延时过大），建议使用内网的另一台或者多台服务器通过内网进行测试，这样得出的数据，准确度会高很多。如果只有单独的一台服务器，可以直接本地测试，比远程测试效果要准确。

发表在应用工具软件, 操作系统相关 | 标签为 ab, 详解 | 留下评论

ab批量压测脚本

发表于2016 年 10 月 25 日由稚子

[前言]：

ab(Apache benchmark)是一款常用的压力测试工具。简单易用。然而与hp load runner比起来就不那么顺手了。ab的命令行一次只能支持一次测试。相要批量执行不同的测试方式，并自动对指标进行分析，那么单靠手工运行ab，一定会累到像狗一样趴下。好了，问题来了，批量模式怎么实现，那就要靠我们强大的shell了。

测试的同学，让我来解放你的双手。全新的ab压力测试工具ab-test-tools.sh闪亮登场!! ^_^

[脚本说明]：
本脚本支持ab大多常用参数，如果你需要更多参数，可以通过修改本脚本，加入你想要的即可。本脚本的特色：

批量测试。注意，并不是简单的批量测试，你可以定测测试轮数，间隔时间。
阶梯并发增长定制测试，如并发从１００到１０００，每轮测５次等。
支持ab的post file模式，你只要在参数-P | –postfile中带上你的数据文件即可。
即时指标分析显示，本shell可以将ab中常用的指示即时分析出来，测试完成后即进告知你结果。

脚本说明：

命令格式：

ab-test-tools.sh

[脚本代码]：

#!/bin/bash
echo '*==========================================================*'
echo '|  本脚本工具基于ab(Apache benchmark)，请先安装好ab, awk   |'
echo '|  注意：                                                  |'    
echo '|     shell默认最大客户端数为1024                          |'
echo '|     如超出此限制，请使用管理员执行以下命令：             |'
echo '|         ulimit -n 655350                                 |'
echo '*==========================================================*'

function usage() {
    echo '  命令格式：'
    echo '  ab-test-tools.sh'
    echo '      -N|--count 总请求数，缺省 : 5w'
    echo '      -C|--clients 并发数, 缺省 : 100'
    echo '      -R|--rounds 测试次数, 缺省 : 10 次'
    echo '      -S|-sleeptime 间隔时间, 缺省 : 10 秒'
    echo '      -I|--min 最小并发数,　缺省: 0'
    echo '      -X|--max 最大并发数，缺省: 0'
    echo '      -J|--step 次递增并发数'
    echo '      -R|--runtime 总体运行时间,设置此项时最大请求数为5w' 
    echo '      -P|--postfile post数据文件路径'
    echo '      -U|--url 测试地址'
    echo ''
    echo '  测试输出结果*.out文件'

    exit;
}


# 定义默认参数量
# 总请求数
count=50000
# 并发数
clients=100O
# 测试轮数
rounds=10
# 间隔时间
sleeptime=10
# 最小并发数
min=0
# 最大数发数
max=0
# 并发递增数
step=0
# 测试地址
url=''
# 测试限制时间
runtime=0
# 传输数据
postfile=''


ARGS=`getopt -a -o N:C:R:S:I:X:J:U:T:P:h -l count:,client:,round:,sleeptime:,min:,max:,step:,runtime:,postfile:,help -- "$@"`
[ $? -ne 0 ] && usage
eval set -- "${ARGS}" 

while true 
do
    case "$1" in
    -N|--count)
        count="$2"
        shift
        ;;
        
    -C|--client)
        clients="$2"
        shift
        ;;

    -R|--round)
        rounds="$2"
        shift
        ;;

    -S|--sleeptime)
        sleeptime="$2"
        shift
        ;;

    -I|--min)
        min="$2"
        shift
        ;;

    -X|--max)
        max="$2"
        shift
        ;;

    -J|--step)
        step="$2"
        shift
        ;;

    -U|--url)
        url="$2"
        shift
        ;;

    -T|--runtime)
        runtime="$2"
        shift
        ;;

    -P|--postfile)
        postfile="$2"
        shift
        ;;

    -h|--help)
        usage
        ;;

    --)
        shift
        break
        ;;
    esac
shift
done

# 参数检查
if [ x$url = x ]
then
    echo '请输入测试url，非文件/以为结束'
    exit
fi

flag=0
if [ $min != 0 -a $max != 0 ]
then 
    if [ $max -le $min ] 
    then
        echo '最大并发数不能小于最小并发数'
        exit
    fi

    if [ $step -le 0 ]
    then
        echo '并发递增步长不能<=0'
        exit
    fi

    if [ $min -lt $max ]
    then
        flag=1
    fi
fi


# 生成ab命令串
cmd="ab -k -r"

#　数据文件
if [ x$postf != x ]
then
    cmd="$cmd -p $postf"
fi

if [ x$tl != x -a $tl != 0 ]
then 
    max=50000;
    cmd="$cmd -t$tl"
fi
cmd="$cmd -n$count"

echo '-----------------------------';
echo '测试参数';
echo "  总请求数：$count";
echo "  并发数：$clients";
echo "  重复次数：$rounds 次";
echo "  间隔时间：$sleeptime 秒";
echo "  测试地址：$url";

if [ $min != 0 ];then
echo "  最小并发数：$min";
fi

if [ $max != 0 ];then
echo "  最大并发数：$max";
fi

if [ $step != 0 ];then
echo " 每轮并发递增：$step" 
fi


# 指定输出文件名
datestr=`date +%Y%m%d%H%I%S`
outfile="$datestr.out";

# runtest $cmd $outfile $rounds $sleeptime
function runtest() {
    # 输出命令
    echo "";
    echo '  当前执行命令：'
    echo "  $cmd"
    echo '------------------------------'

    # 开始执行测试
    cnt=1
    while [ $cnt -le $rounds ];
    do
        echo "第 $cnt 轮 开始"
        $cmd >> $outfile 
        echo "\n\n" >> $outfile
        echo "第 $cnt 轮 结束"
        echo '----------------------------'

        cnt=$(($cnt+1))

        if [ $cnt -le $rounds ]; then
            echo "等待 $sleeptime 秒"
            sleep $sleeptime
        fi 
    done
}


temp=$cmd;
if [ $flag != 0 ]; then
    cur=$min
    over=0
    while [ $cur -le $max ]
    do
        cmd="$temp -c$cur $url"
        runtest $cmd $outfile $rounds $sleeptime 

        cur=$(($cur+$step))
        if [ $cur -ge $max -a $over != 1 ]; then
           cur=$max 
           over=1
        fi
    done
else 
    cmd="$cmd -c$clients $url"
    runtest $cmd $outfile $rounds $sleeptime 
fi


# 分析结果
if [ -f $outfile ]; then
echo '本次测试结果如下：'
echo '+------+----------+----------+---------------+---------------+---------------+--------------------+--------------------+'
echo '| 序号 | 总请求数 |  并发数  |   失败请求数  |   每秒事务数  |  平均事务(ms) | 并发平均事务数(ms) |　  总体传输字节数  |'
echo '+------+----------+----------+---------------+---------------+---------------+--------------------+--------------------+'

comp=(`awk '/Complete requests/{print $NF}' $outfile`) 
concur=(`awk '/Concurrency Level:/{print $NF}' $outfile`)
fail=(`awk '/Failed requests/{print $NF}' $outfile`)
qps=(`awk '/Requests per second/{print $4F}' $outfile`)
tpr=(`awk '/^Time per request:(.*)\(mean\)$/{print $4F}' $outfile`)
tpr_c=(`awk '/Time per request(.*)(mean, across all concurrent requests)/{print $4F}' $outfile`)
trate=(`awk '/Transfer rate/{print $3F}' $outfile`)

for ((i=0; i<${#comp[@]}; i++))
do
    echo -n "|"
    printf '%6s' $(($i+1)) 
    printf "|"

    printf '%10s' ${comp[i]}
    printf '|'
    
    printf '%10s' ${concur[i]}
    printf '|'

    printf '%15s' ${fail[i]}
    printf '|'

    printf '%15s' ${qps[i]}
    printf '|'

    printf '%15s' ${tpr[i]}
    printf '|'

    printf '%20s' ${tpr_c[i]}
    printf '|'

    printf '%20s' ${trate[i]}
    printf '|'

    echo '';
    echo '+-----+----------+----------+---------------+---------------+---------------+--------------------+--------------------+'
done
echo ''
fi

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

148

149

150

151

152

153

154

155

156

157

158

159

160

161

162

163

164

165

166

167

168

169

170

171

172

173

174

175

176

177

178

179

180

181

182

183

184

185

186

187

188

189

190

191

192

193

194

195

196

197

198

199

200

201

202

203

204

205

206

207

208

209

210

211

212

213

214

215

216

217

218

219

220

221

222

223

224

225

226

227

228

229

230

231

232

233

234

235

236

237

238

239

240

241

242

243

244

245

246

247

248

249

250

251

252

253

254

255

256

257

258

259

260

261

262

263

264

265

266

267

268

269

270

271

272

273

274

275

276

277

278

279

280

281

282

283

284

285

286

287

#!/bin/bash

echo '*==========================================================*'

echo '| 本脚本工具基于ab(Apache benchmark)，请先安装好ab, awk |'

echo '| 注意： |'

echo '| shell默认最大客户端数为1024 |'

echo '| 如超出此限制，请使用管理员执行以下命令： |'

echo '| ulimit -n 655350 |'

echo '*==========================================================*'

function usage() {

echo ' 命令格式：'

echo ' ab-test-tools.sh'

echo ' -N|--count 总请求数，缺省 : 5w'

echo ' -C|--clients 并发数, 缺省 : 100'

echo ' -R|--rounds 测试次数, 缺省 : 10 次'

echo ' -S|-sleeptime 间隔时间, 缺省 : 10 秒'

echo ' -I|--min 最小并发数,　缺省: 0'

echo ' -X|--max 最大并发数，缺省: 0'

echo ' -J|--step 次递增并发数'

echo ' -R|--runtime 总体运行时间,设置此项时最大请求数为5w'

echo ' -P|--postfile post数据文件路径'

echo ' -U|--url 测试地址'

echo ''

echo ' 测试输出结果*.out文件'

exit;

}

# 定义默认参数量

# 总请求数

count=50000

# 并发数

clients=100O

# 测试轮数

rounds=10

# 间隔时间

sleeptime=10

# 最小并发数

min=0

# 最大数发数

max=0

# 并发递增数

step=0

# 测试地址

url=''

# 测试限制时间

runtime=0

# 传输数据

postfile=''

ARGS=`getopt -a -o N:C:R:S:I:X:J:U:T:P:h -l count:,client:,round:,sleeptime:,min:,max:,step:,runtime:,postfile:,help -- "$@"`

[ $? -ne 0 ] && usage

eval set -- "${ARGS}"

while true

case "$1" in

-N|--count)

count="$2"

shift

;;

-C|--client)

clients="$2"

shift

;;

-R|--round)

rounds="$2"

shift

;;

-S|--sleeptime)

sleeptime="$2"

shift

;;

-I|--min)

min="$2"

shift

;;

-X|--max)

max="$2"

shift

;;

-J|--step)

step="$2"

shift

;;

-U|--url)

url="$2"

shift

;;

-T|--runtime)

runtime="$2"

shift

;;

-P|--postfile)

postfile="$2"

shift

;;

-h|--help)

usage

;;

--)

shift

break

;;

esac

shift

done

# 参数检查

if [ x$url = x ]

then

echo '请输入测试url，非文件/以为结束'

exit

flag=0

if [ $min != 0 -a $max != 0 ]

then

if [ $max -le $min ]

then

echo '最大并发数不能小于最小并发数'

exit

if [ $step -le 0 ]

then

echo '并发递增步长不能<=0'

exit

if [ $min -lt $max ]

then

flag=1

# 生成ab命令串

cmd="ab -k -r"

#　数据文件

if [ x$postf != x ]

then

cmd="$cmd -p $postf"

if [ x$tl != x -a $tl != 0 ]

then

max=50000;

cmd="$cmd -t$tl"

cmd="$cmd -n$count"

echo '-----------------------------';

echo '测试参数';

echo " 总请求数：$count";

echo " 并发数：$clients";

echo " 重复次数：$rounds 次";

echo " 间隔时间：$sleeptime 秒";

echo " 测试地址：$url";

if [ $min != 0 ];then

echo " 最小并发数：$min";

if [ $max != 0 ];then

echo " 最大并发数：$max";

if [ $step != 0 ];then

echo " 每轮并发递增：$step"

# 指定输出文件名

datestr=`date +%Y%m%d%H%I%S`

outfile="$datestr.out";

# runtest $cmd $outfile $rounds $sleeptime

function runtest() {

# 输出命令

echo "";

echo ' 当前执行命令：'

echo " $cmd"

echo '------------------------------'

# 开始执行测试

cnt=1

while [ $cnt -le $rounds ];

echo "第 $cnt 轮开始"

$cmd >> $outfile

echo "\n\n" >> $outfile

echo "第 $cnt 轮结束"

echo '----------------------------'

cnt=$(($cnt+1))

if [ $cnt -le $rounds ]; then

echo "等待 $sleeptime 秒"

sleep $sleeptime

done

}

temp=$cmd;

if [ $flag != 0 ]; then

cur=$min

over=0

while [ $cur -le $max ]

cmd="$temp -c$cur $url"

runtest $cmd $outfile $rounds $sleeptime

cur=$(($cur+$step))

if [ $cur -ge $max -a $over != 1 ]; then

cur=$max

over=1

done

else

cmd="$cmd -c$clients $url"

runtest $cmd $outfile $rounds $sleeptime

# 分析结果

if [ -f $outfile ]; then

echo '本次测试结果如下：'

echo '+------+----------+----------+---------------+---------------+---------------+--------------------+--------------------+'

echo '+------+----------+----------+---------------+---------------+---------------+--------------------+--------------------+'

comp=(`awk '/Complete requests/{print $NF}' $outfile`)

concur=(`awk '/Concurrency Level:/{print $NF}' $outfile`)

fail=(`awk '/Failed requests/{print $NF}' $outfile`)

qps=(`awk '/Requests per second/{print $4F}' $outfile`)

tpr=(`awk '/^Time per request:(.*)$mean$$/{print $4F}' $outfile`)

tpr_c=(`awk '/Time per request(.*)(mean, across all concurrent requests)/{print $4F}' $outfile`)

trate=(`awk '/Transfer rate/{print $3F}' $outfile`)

for ((i=0; i<${#comp[@]}; i++))

echo -n "|"

printf '%6s' $(($i+1))

printf "|"

printf '%10s' ${comp[i]}

printf '|'

printf '%10s' ${concur[i]}

printf '|'

printf '%15s' ${fail[i]}

printf '|'

printf '%15s' ${qps[i]}

printf '|'

printf '%15s' ${tpr[i]}

printf '|'

printf '%20s' ${tpr_c[i]}

printf '|'

printf '%20s' ${trate[i]}

printf '|'

echo '';

echo '+-----+----------+----------+---------------+---------------+---------------+--------------------+--------------------+'

done

echo ''

[测试示例]：

./ab_test_tool.sh -N2000 -R 2 -I 100 -X 1000 -J 100 -S 5 -U http://www.zzstudio.net/

[注意事项]：

每次测试结果以“yymmddhhiiss.out”存放在脚本所在目录，因此请保持脚本目录可写。
ab的所有输出结果均可在.out中查到。测试结果只是展示部份指标，需要详细的可以在.out文件中查看
查看使用帮助可使用-h/–help。
linux终端默认1024限制，如需大于此数，请使用管理员执行：”ulimit -n 655350″
本脚本未经时间检验，如有ＢＵＧ，请及进反馈。

发表在应用工具软件, 操作系统相关 | 标签为 ab, 测试 | 留下评论

CentOS下安装Composer

发表于2016 年 10 月 25 日由稚子

1、将composer.phar下载到项目中

使用curl -sS https://getcomposer.org/installer | php下载Composer 的二进制文件，是一个 PHAR 包（PHP 的归档）

curl -sS https://getcomposer.org/installer | php

1	curl -sS https://getcomposer.org/installer \| php

2、可以通过 –install-dir 选项指定 Composer 的安装目录（它可以是一个绝对或相对路径）：

curl -sS https://getcomposer.org/installer | php -- --install-dir=lumen

1	curl -sS https://getcomposer.org/installer \| php -- --install-dir=lumen

3、如果把composer.phar放在系统的 PATH 目录中，就能在全局访问composer.phar。在类Unix系统中，你甚至可以在使用时不加 php 前缀。可以执行这些命令让 composer 在你的系统中进行全局调用：

mv composer.phar /usr/local/bin/composer

1	mv composer.phar /usr/local/bin/composer

或添加别名

alias composer='/usr/local/bin/composer.phar'

1	alias composer='/usr/local/bin/composer.phar'

现在只需要运行 composer 命令就可以使用 Composer 而不需要输入 php composer.phar。

4、检查 Composer 是否正常工作，只需要通过 php 来执行 PHAR：php composer.phar这将返回给你一个可执行的命令列表。

php composer.phar

1	php composer.phar

1477386721-4699-2834acc6b5e55eb5c9ea14cebff8

1477386721-2486-d42abf698245063b5bb5c8eab8f8

1477386721-9879-ad6eca6aeb0484cb39dbb7fd3c48

发表在应用工具软件 | 标签为 composer | 留下评论

Linux系统下安装rz/sz命令及使用说明

发表于2016 年 10 月 25 日由稚子

对于经常使用Linux系统的人员来说，少不了将本地的文件上传到服务器或者从服务器上下载文件到本地，rz / sz命令很方便的帮我们实现了这个功能，但是很多Linux系统初始并没有这两个命令。今天，我们就简单的讲解一下如何安装和使用rz、sz命令。

1.软件安装

（1）编译安装

root 账号登陆后，依次执行以下命令：

cd /tmp
wget http://www.ohse.de/uwe/releases/lrzsz-0.12.20.tar.gz
tar zxvf lrzsz-0.12.20.tar.gz && cd lrzsz-0.12.20
./configure && make && make install

cd /tmp

wget http://www.ohse.de/uwe/releases/lrzsz-0.12.20.tar.gz

tar zxvf lrzsz-0.12.20.tar.gz && cd lrzsz-0.12.20

./configure && make && make install

上面安装过程默认把lsz和lrz安装到了/usr/local/bin/目录下，现在我们并不能直接使用，下面创建软链接，并命名为rz/sz：

cd /usr/bin
ln -s /usr/local/bin/lrz rz
ln -s /usr/local/bin/lsz sz

cd /usr/bin

ln -s /usr/local/bin/lrz rz

ln -s /usr/local/bin/lsz sz

（2）yum安装

root 账号登陆后执行以下命令：

yum install -y lrzsz

1	yum install -y lrzsz

2.使用说明

sz命令发送文件到本地：

sz filename

1	sz filename

rz命令本地上传文件到服务器：

rz

执行该命令后，在弹出框中选择要上传的文件即可。

说明：打开SecureCRT软件 -> Options -> session options -> X/Y/Zmodem 下可以设置上传和下载的目录。

发表在操作系统相关 | 标签为 linux, rzsz | 留下评论

压力测试工具siege的用法

发表于2016 年 10 月 25 日由稚子

Siege是Linux下的一个web系统的压力测试工具，支持多链接，支持get和post请求，可以对web系统进行多并发下持续请求的压力测试。

安装 Siege

#wget

http://www.joedog.org/pub/siege/siege-latest.tar.gz 

#tar
 -xzvf siege-latest.tar.gz

#./configure;
 make

#make
 install

#wget

http://www.joedog.org/pub/siege/siege-latest.tar.gz

#tar

-xzvf siege-latest.tar.gz

#./configure;

make

#make

install

Siege命令常用参数

-c 200 指定并发数200
-r 5 指定测试的次数5
-f urls.txt 制定url的文件
-i internet系统，随机发送url
-b 请求无需等待 delay=0
-t 5 持续测试5分钟
# -r和-t一般不同时使用

常用的siege命令举例

# 200个并发对http://www.google.com发送请求100次

siege -c 200 -r 100 http://www.google.com

1	siege -c 200 -r 100 http://www.google.com

# 在urls.txt中列出所有的网址

siege -c 200 -r 100 -f urls.txt

1	siege -c 200 -r 100 -f urls.txt

# 随机选取urls.txt中列出所有的网址

siege -c 200 -r 100 -f urls.txt -i

1	siege -c 200 -r 100 -f urls.txt -i

# delay=0，更准确的压力测试，而不是功能测试

siege -c 200 -r 100 -f urls.txt -i -b

1	siege -c 200 -r 100 -f urls.txt -i -b

# 指定http请求头文档类型

siege -H "Content-Type:application/json" -c 200 -r 100 -f urls.txt -i -b

1	siege -H "Content-Type:application/json" -c 200 -r 100 -f urls.txt -i -b

Siege输出结果说明

Transactions: 总共测试次数
Availability: 成功次数百分比
Elapsed time: 总共耗时多少秒
Data transferred: 总共数据传输
Response time: 等到响应耗时
Transaction rate: 平均每秒处理请求数
Throughput: 吞吐率
Concurrency: 最高并发
Successful transactions: 成功的请求数
Failed transactions: 失败的请求数

Siege使用的一些总结

1，发送post请求时，url格式为：http://www.xxxx.com/ POST p1=v1&p2=v2
2，如果url中含有空格和中文，要先进行url编码，否则siege发送的请求url不准确

添加

siege -C 可以查看相关的配置参数,可以自行修改,比如是否显示log,超时时间

发表在应用工具软件, 操作系统相关 | 标签为 siege, 压力测试 | 留下评论

Nginx泛解析的匹配域名绑定到子目录配置

发表于2016 年 10 月 25 日由稚子

网站的目录结构为：

# tree /home/wwwroot/zzstudio.net
/home/wwwroot/zzstudio.net
├── bbs
│   └── index.html
└── www
    └── index.html
2 directories, 2 files

# tree /home/wwwroot/zzstudio.net

/home/wwwroot/zzstudio.net

├── bbs

│ └── index.html

└── www

└── index.html

2 directories, 2 files

/home/wwwroot/zzstudio.net为nginx的安装目录下默认的存放源代码的路径。

bbs为论坛程序源代码路径；www为主页程序源代码路径；把相应程序放入上面的路径通过；http://www.zzstudio.net 访问的就是主页http://bbs.zzstudio.net 访问的就是论坛，其它二级域名类推。

有2种方法，推荐方法一

方法一：

server {
listen 80;
server_name ~^(?<subdomain>.+).zzstudio.net$;
access_log /data/wwwlogs/zzstudio.net_nginx.log combined;
index index.html index.htm index.php;
root /home/wwwroot/zzstudio/$subdomain/;
location ~ .php$ {
    fastcgi_pass unix:/dev/shm/php-cgi.sock;
    fastcgi_index index.php;
    fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
    include fastcgi_params;
    }
location ~ .*\.(gif|jpg|jpeg|png|bmp|swf|flv|ico)$ {
    expires 30d;
    }
location ~ .*\.(js|css)?$ {
    expires 7d;
    }
}

server {

listen 80;

server_name ~^(?<subdomain>.+).zzstudio.net$;

access_log /data/wwwlogs/zzstudio.net_nginx.log combined;

index index.html index.htm index.php;

root /home/wwwroot/zzstudio/$subdomain/;

location ~ .php$ {

fastcgi_pass unix:/dev/shm/php-cgi.sock;

fastcgi_index index.php;

fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;

include fastcgi_params;

}

location ~ .*\.(gif|jpg|jpeg|png|bmp|swf|flv|ico)$ {

expires 30d;

}

location ~ .*\.(js|css)?$ {

expires 7d;

}

方法二：

server {
listen 80;
server_name *.zzstudio.net;
access_log /home/wwwlogs/zzstudio.net_nginx.log combined;
index index.html index.htm index.php;
if ($host ~* ^([^\.]+)\.([^\.]+\.[^\.]+)$) {
    set $subdomain $1;
    set $domain $2;
}
location / {
    root /home/wwwroot/zzstudio.net/$subdomain/;
    index index.php index.html index.htm;
}
location ~ .php$ {
    fastcgi_pass unix:/dev/shm/php-cgi.sock;
    fastcgi_index index.php;
    fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
    include fastcgi_params;
    }
location ~ .*\.(gif|jpg|jpeg|png|bmp|swf|flv|ico)$ {
    expires 30d;
    }
location ~ .*\.(js|css)?$ {
    expires 7d;
    }
}

server {

listen 80;

server_name *.zzstudio.net;

access_log /home/wwwlogs/zzstudio.net_nginx.log combined;

index index.html index.htm index.php;

if ($host ~* ^([^\.]+)\.([^\.]+\.[^\.]+)$) {

set $subdomain $1;

set $domain $2;

}

location / {

root /home/wwwroot/zzstudio.net/$subdomain/;

index index.php index.html index.htm;

}

location ~ .php$ {

fastcgi_pass unix:/dev/shm/php-cgi.sock;

fastcgi_index index.php;

fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;

include fastcgi_params;

}

location ~ .*\.(gif|jpg|jpeg|png|bmp|swf|flv|ico)$ {

expires 30d;

}

location ~ .*\.(js|css)?$ {

expires 7d;

}

发表在应用工具软件 | 标签为 Nginx, 泛解析 | 留下评论

CentOS下MySQL 5.7编译安装

发表于2016 年 10 月 25 日由稚子

MySQL 5.7 GA版本的发布，也就是说从现在开始5.7已经可以在生产环境中使用，有任何问题官方都将立刻修复。

MySQL 5.7主要特性：

更好的性能：对于多核CPU、固态硬盘、锁有着更好的优化，每秒100W QPS已不再是MySQL的追求，下个版本能否上200W QPS才是吾等用户更关心的
更好的InnoDB存储引擎
更为健壮的复制功能：复制带来了数据完全不丢失的方案，传统金融客户也可以选择使用MySQL数据库。此外，GTID在线平滑升级也变得可能
更好的优化器：优化器代码重构的意义将在这个版本及以后的版本中带来巨大的改进，Oracle官方正在解决MySQL之前最大的难题
原生JSON类型的支持
更好的地理信息服务支持：InnoDB原生支持地理位置类型，支持GeoJSON，GeoHash特性
新增sys库：以后这会是DBA访问最频繁的库

安装依赖包

yum -y install gcc gcc-c++ ncurses ncurses-devel cmake

1	yum -y install gcc gcc-c++ ncurses ncurses-devel cmake

下载相应源码包

cd /root/oneinstack/src
wget http://downloads.sourceforge.net/project/boost/boost/1.59.0/boost_1_59_0.tar.gz
wget http://cdn.mysql.com/Downloads/MySQL-5.7/mysql-5.7.11.tar.gz

cd /root/oneinstack/src

wget http://downloads.sourceforge.net/project/boost/boost/1.59.0/boost_1_59_0.tar.gz

wget http://cdn.mysql.com/Downloads/MySQL-5.7/mysql-5.7.11.tar.gz

添加mysql用户

useradd -M -s /sbin/nologin mysql

1	useradd -M -s /sbin/nologin mysql

预编译

tar xzf boost_1_59_0.tar.gz
tar xzf mysql-5.7.11.tar.gz
mkdir -p /data/mysql
cd mysql-5.7.11
cmake . -DCMAKE_INSTALL_PREFIX=/usr/local/mysql \
-DMYSQL_DATADIR=/data/mysql \
-DDOWNLOAD_BOOST=1 \   #从MySQL 5.7.5开始Boost库是必需的
-DWITH_BOOST=../boost_1_59_0 \
-DSYSCONFDIR=/etc \
-DWITH_INNOBASE_STORAGE_ENGINE=1 \
-DWITH_PARTITION_STORAGE_ENGINE=1 \
-DWITH_FEDERATED_STORAGE_ENGINE=1 \
-DWITH_BLACKHOLE_STORAGE_ENGINE=1 \
-DWITH_MYISAM_STORAGE_ENGINE=1 \
-DENABLED_LOCAL_INFILE=1 \
-DENABLE_DTRACE=0 \
-DDEFAULT_CHARSET=utf8mb4 \
-DDEFAULT_COLLATION=utf8mb4_general_ci \
-DWITH_EMBEDDED_SERVER=1

tar xzf boost_1_59_0.tar.gz

tar xzf mysql-5.7.11.tar.gz

mkdir -p /data/mysql

cd mysql-5.7.11

cmake . -DCMAKE_INSTALL_PREFIX=/usr/local/mysql \

-DMYSQL_DATADIR=/data/mysql \

-DDOWNLOAD_BOOST=1 \ #从MySQL 5.7.5开始Boost库是必需的

-DWITH_BOOST=../boost_1_59_0 \

-DSYSCONFDIR=/etc \

-DWITH_INNOBASE_STORAGE_ENGINE=1 \

-DWITH_PARTITION_STORAGE_ENGINE=1 \

-DWITH_FEDERATED_STORAGE_ENGINE=1 \

-DWITH_BLACKHOLE_STORAGE_ENGINE=1 \

-DWITH_MYISAM_STORAGE_ENGINE=1 \

-DENABLED_LOCAL_INFILE=1 \

-DENABLE_DTRACE=0 \

-DDEFAULT_CHARSET=utf8mb4 \

-DDEFAULT_COLLATION=utf8mb4_general_ci \

-DWITH_EMBEDDED_SERVER=1

编译安装

make -j `grep processor /proc/cpuinfo | wc -l`  #编译很消耗系统资源，小内存可能编译通不过
make install

1 2	make -j `grep processor /proc/cpuinfo \| wc -l` #编译很消耗系统资源，小内存可能编译通不过 make install

启动脚本，设置开机自启动

/bin/cp /usr/local/mysql/support-files/mysql.server /etc/init.d/mysqld
chmod +x /etc/init.d/mysqld
chkconfig --add mysqld
chkconfig mysqld on

/bin/cp /usr/local/mysql/support-files/mysql.server /etc/init.d/mysqld

chmod +x /etc/init.d/mysqld

chkconfig --add mysqld

chkconfig mysqld on

/etc/my.cnf，仅供参考

cat > /etc/my.cnf << EOF
[client]
port = 3306
socket = /tmp/mysql.sock
default-character-set = utf8mb4
[mysqld]
port = 3306
socket = /tmp/mysql.sock
basedir = /usr/local/mysql
datadir = /data/mysql
pid-file = /data/mysql/mysql.pid
user = mysql
bind-address = 0.0.0.0
server-id = 1
init-connect = 'SET NAMES utf8mb4'
character-set-server = utf8mb4
#skip-name-resolve
#skip-networking
back_log = 300
max_connections = 1000
max_connect_errors = 6000
open_files_limit = 65535
table_open_cache = 128
max_allowed_packet = 4M
binlog_cache_size = 1M
max_heap_table_size = 8M
tmp_table_size = 16M
read_buffer_size = 2M
read_rnd_buffer_size = 8M
sort_buffer_size = 8M
join_buffer_size = 8M
key_buffer_size = 4M
thread_cache_size = 8
query_cache_type = 1
query_cache_size = 8M
query_cache_limit = 2M
ft_min_word_len = 4
log_bin = mysql-bin
binlog_format = mixed
expire_logs_days = 30
log_error = /data/mysql/mysql-error.log
slow_query_log = 1
long_query_time = 1
slow_query_log_file = /data/mysql/mysql-slow.log
performance_schema = 0
explicit_defaults_for_timestamp
#lower_case_table_names = 1
skip-external-locking
default_storage_engine = InnoDB
#default-storage-engine = MyISAM
innodb_file_per_table = 1
innodb_open_files = 500
innodb_buffer_pool_size = 64M
innodb_write_io_threads = 4
innodb_read_io_threads = 4
innodb_thread_concurrency = 0
innodb_purge_threads = 1
innodb_flush_log_at_trx_commit = 2
innodb_log_buffer_size = 2M
innodb_log_file_size = 32M
innodb_log_files_in_group = 3
innodb_max_dirty_pages_pct = 90
innodb_lock_wait_timeout = 120
bulk_insert_buffer_size = 8M
myisam_sort_buffer_size = 8M
myisam_max_sort_file_size = 10G
myisam_repair_threads = 1
interactive_timeout = 28800
wait_timeout = 28800
[mysqldump]
quick
max_allowed_packet = 16M
[myisamchk]
key_buffer_size = 8M
sort_buffer_size = 8M
read_buffer = 4M
write_buffer = 4M
EOF

cat > /etc/my.cnf << EOF

[client]

port = 3306

socket = /tmp/mysql.sock

default-character-set = utf8mb4

[mysqld]

port = 3306

socket = /tmp/mysql.sock

basedir = /usr/local/mysql

datadir = /data/mysql

pid-file = /data/mysql/mysql.pid

user = mysql

bind-address = 0.0.0.0

server-id = 1

init-connect = 'SET NAMES utf8mb4'

character-set-server = utf8mb4

#skip-name-resolve

#skip-networking

back_log = 300

max_connections = 1000

max_connect_errors = 6000

open_files_limit = 65535

table_open_cache = 128

max_allowed_packet = 4M

binlog_cache_size = 1M

max_heap_table_size = 8M

tmp_table_size = 16M

read_buffer_size = 2M

read_rnd_buffer_size = 8M

sort_buffer_size = 8M

join_buffer_size = 8M

key_buffer_size = 4M

thread_cache_size = 8

query_cache_type = 1

query_cache_size = 8M

query_cache_limit = 2M

ft_min_word_len = 4

log_bin = mysql-bin

binlog_format = mixed

expire_logs_days = 30

log_error = /data/mysql/mysql-error.log

slow_query_log = 1

long_query_time = 1

slow_query_log_file = /data/mysql/mysql-slow.log

performance_schema = 0

explicit_defaults_for_timestamp

#lower_case_table_names = 1

skip-external-locking

default_storage_engine = InnoDB

#default-storage-engine = MyISAM

innodb_file_per_table = 1

innodb_open_files = 500

innodb_buffer_pool_size = 64M

innodb_write_io_threads = 4

innodb_read_io_threads = 4

innodb_thread_concurrency = 0

innodb_purge_threads = 1

innodb_flush_log_at_trx_commit = 2

innodb_log_buffer_size = 2M

innodb_log_file_size = 32M

innodb_log_files_in_group = 3

innodb_max_dirty_pages_pct = 90

innodb_lock_wait_timeout = 120

bulk_insert_buffer_size = 8M

myisam_sort_buffer_size = 8M

myisam_max_sort_file_size = 10G

myisam_repair_threads = 1

interactive_timeout = 28800

wait_timeout = 28800

[mysqldump]

quick

max_allowed_packet = 16M

[myisamchk]

key_buffer_size = 8M

sort_buffer_size = 8M

read_buffer = 4M

write_buffer = 4M

EOF

初始化数据库

注：

之前版本mysql_install_db是在mysql_basedir/script下，5.7放在了mysql_install_db/bin目录下,且已被废弃
“–initialize”会生成一个随机密码(~/.mysql_secret)，而”–initialize-insecure”不会生成密码
–datadir目标目录下不能有数据文件

启动数据库

/usr/local/mysql/bin/mysqld --initialize-insecure --user=mysql --basedir=/usr/local/mysql --datadir=/data/mysql

1	/usr/local/mysql/bin/mysqld --initialize-insecure --user=mysql --basedir=/usr/local/mysql --datadir=/data/mysql

设置数据库密码

dbrootpwd=oneinstack  #数据库root密码
/usr/local/mysql/bin/mysql -e "grant all privileges on *.* to root@'127.0.0.1' identified by \"$dbrootpwd\" with grant option;"
/usr/local/mysql/bin/mysql -e "grant all privileges on *.* to root@'localhost' identified by \"$dbrootpwd\" with grant option;"

dbrootpwd=oneinstack #数据库root密码

/usr/local/mysql/bin/mysql -e "grant all privileges on *.* to root@'127.0.0.1' identified by \"$dbrootpwd\" with grant option;"

/usr/local/mysql/bin/mysql -e "grant all privileges on *.* to root@'localhost' identified by \"$dbrootpwd\" with grant option;"

发表在应用工具软件, 操作系统相关 | 标签为 5.7, MySQL | 留下评论

使用socket方式连接Nginx优化php-fpm性能

发表于2016 年 10 月 25 日由稚子

Nginx连接fastcgi的方式有2种：TCP和unix domain socket

什么是Unix domain socket？—— 维基百科
Unix domain socket 或者 IPC socket是一种终端，可以使同一台操作系统上的两个或多个进程进行数据通信。与管道相比，Unix domain sockets 既可以使用字节流和数据队列，而管道通信则只能通过字节流。Unix domain sockets的接口和Internet socket很像，但它不使用网络底层协议来通信。Unix domain socket 的功能是POSIX操作系统里的一种组件。

Unix domain sockets 使用系统文件的地址来作为自己的身份。它可以被系统进程引用。所以两个进程可以同时打开一个Unix domain sockets来进行通信。不过这种通信方式是发生在系统内核里而不会在网络里传播。

TCP和unix domain socket方式对比

TCP是使用TCP端口连接127.0.0.1:9000

Socket是使用unix domain socket连接套接字/dev/shm/php-cgi.sock（很多教程使用路径/tmp，而路径/dev/shm是个tmpfs，速度比磁盘快得多）

测试机是个1核的centos5.4，2用户并发时系统资源消耗50%左右，10用户资源就跑得很满了。

		2users	10users
nginx/1.2.9 + PHP 5.2.5	tcp	1060	1294
nginx/1.2.9 + PHP 5.2.5	socket	997	1487
nginx/1.2.9 + PHP 5.3.10	tcp	906	1082
nginx/1.2.9 + PHP 5.3.10	socket	880	1247

结论是在服务器压力不大的情况下，tcp和socket差别不大，但在压力比较满的时候，用套接字方式，效果确实比较好。

下面是php 5.3以上版本将TCP改成socket方式的配置方法：

修改php-fpm.conf（/usr/local/php/etc/php-fpm.conf）

;listen = 127.0.0.1:9000
listen = /dev/shm/php-cgi.sock

1 2	;listen = 127.0.0.1:9000 listen = /dev/shm/php-cgi.sock

修改listen.owner及listen.group信息为www

listen.owner= www
listen.group =www

1 2	listen.owner= www listen.group =www

修改nginx配置文件server段的配置，将http的方式改为socket方式

location ~ [^/]\.php(/|$) {
    #fastcgi_pass 127.0.0.1:9000;
    fastcgi_pass unix:/dev/shm/php-cgi.sock;
    fastcgi_index index.php;
    include fastcgi.conf;
}

location ~ [^/]\.php(/|$) {

#fastcgi_pass 127.0.0.1:9000;

fastcgi_pass unix:/dev/shm/php-cgi.sock;

fastcgi_index index.php;

include fastcgi.conf;

}

重启php-fpm与nginx

service nginx restart
service php-fpm restart

1 2	service nginx restart service php-fpm restart

ls -al /dev/shm

1	ls -al /dev/shm

可以看到php-cgi.sock文件unix套接字类型

参考：http://zh.wikipedia.org/wiki/Unix_domain_socket

发表在操作系统相关 | 标签为 Nginx, php-fpm, socket | 留下评论