解决注册并发问题并提高QPS

前言

前面在本地的windows通过apache的ab工具测试了600并发下“查询指定手机是否存在再提交数据”的注册功能会出现重复提交的情况,并且在注册完成时还需要对邀请人进行奖励,记录邀请记录,对该新用户自动发布动态信息,发短信或发邮件等其他业务功能。所以这里当并发时,注册功能就变得低效且容易出现问题。

方法

先对重复提交的问题通过redis解决,再把注册储存用户基本信息以后的操作放到队列中进行异步执行,可以很好的优化注册功能,提高QPS。

一、环境要求

PHP版本 >= 5.6.0
PHP框架:Thinkphp5.1.*
消息队列:Think-queue2.0
PHP扩展:Redis

二、下载框架和消息队列中间件

  1. 下载tp5.1。composer create-project topthink/think=5.1.* tp5 --prefer-dist
  2. 安装think-queue。composer require topthink/think-queue 
  3. php安装redis扩展和打开redis服务端和客户端。

三、解决注册重复提交

  1. 配置文件中cache设置为redis驱动,并新建控制器因为cache相关命名空间。

    use think\Exception;
    use think\facade\Cache;
    use think\facade\Env;
    use think\Queue;
  2. 使用无序集合存手机号,通过判断当前手机号是否是在指定键里为成员(如果注册存入数据库失败,通过sRem删除该成员),然后再通过查询数据库判断是否存在。
private $cache;
private $handler;
// 实例化redis
public function __construct() {
 $this->cache = Cache::init();
 $this->handler = $this->cache->handler();
}
// 判断手机号是否在集合中
$is_existe = $this->handler->sIsMember("register:mobile",$mobile);
if(!$is_existe) {
 $this->handler->sAdd("register:mobile",$mobile);
}else {
 //Log::write('---压力测试'.date("Y-m-d h:i:s").'---手机号已存在');
 var_dump('手机号已存在'); // 用户已存在
 die;
}
// 查询手机号码是否已注册
$user = db('user')->field('mobile')->where('mobile', $mobile)->find();
if ($user) {
 //Log::write('---压力测试'.date("Y-m-d h:i:s").'---手机号注册了');
 var_dump('手机号已注册'); // 用户已存在
 die;
} 

四、消息队列分解注册功能

  1. 配置消息队列,后面以redis驱动为例。
<?php
return [
 'connector' => 'Redis', // Redis 驱动
 'expire' => 60, // 任务的过期时间,默认为60秒; 若要禁用,则设置为 null
 'default' => 'default', // 默认的队列名称
 'host' => '127.0.0.1', // redis 主机ip
 'port' => 6379, // redis 端口
 'password' => '', // redis 密码
 'select' => 0, // 使用哪一个 db,默认为 db0
 'timeout' => 0, // redis连接的超时时间
 'persistent' => false, // 是否是长连接
 // 'connector' => 'Database', // 数据库驱动
 // 'expire' => 60, // 任务的过期时间,默认为60秒; 若要禁用,则设置为 null
 // 'default' => 'default', // 默认的队列名称
 // 'table' => 'jobs', // 存储消息的表名,不带前缀
 // 'dsn' => [],
 // 'connector' => 'Topthink', // ThinkPHP内部的队列通知服务平台 ,本文不作介绍
 // 'token' => '',
 // 'project_id' => '',
 // 'protocol' => 'https',
 // 'host' => 'qns.topthink.com',
 // 'port' => 443,
 // 'api_version' => 1,
 // 'max_retries' => 3,
 // 'default' => 'default',
// 'connector' => 'Sync', // Sync 驱动,该驱动的实际作用是取消消息队列,还原为同步执行
];
  1. 完成添加新用户后将指定数据加入消息队列。
<?php
namespace app\index\controller;
use think\Db;
use think\Validate;
use think\Exception;
use think\facade\Cache;
use think\facade\Env;
use think\Queue;
use think\Log;
class Index
{ 
 private $cache;
 private $handler;
 public function __construct() {
 $this->cache = Cache::init();
 $this->handler = $this->cache->handler();
 }
 public function index()
 {
 $data = input('post.');
 unset($data['balance']);
 unset($data['credit']);
 
 // $blacklist = [
 // "18124198164","13401363108","17688552009","15089352898","13602940094","13346643336","13181351655","18301123028","13598020751","13014568187",
 // "13428733909","17337991130","13275342497"
 // ];
 $rule = [
 'mobile' => 'require|number|length:11',
 'password' => 'require|length:6,32',
 ];
 $msg = [
 'mobile.require' => '手机号必须',
 'mobile.length' => '手机号为11位数字',
 'mobile.number' => '手机号为11位数字',
 'password.require' => '密码必须',
 'password.length' => '密码为6-12位之间',
 ];
 //验证数据是否合法
 $mobile = isset($data['mobile']) ? $data['mobile'] : '';
 $validate = new Validate($rule, $msg);
 $result = $validate->check($data);
 if (!$result) {
 var_dump($validate->getError());
 die;
 }
 
 // if(in_array($mobile,$blacklist)) {
 // var_dump('该手机号已注册了'); // 黑名单
 // die;
 // }
 
 // 判断手机号是否在集合中
 $is_existe = $this->handler->sIsMember("register:mobile",$mobile);
 if(!$is_existe) {
 $this->handler->sAdd("register:mobile",$mobile);
 }else {
 //Log::write('---压力测试'.date("Y-m-d h:i:s").'---手机号已存在');
 var_dump('手机号已存在'); // 用户已存在
 die;
 }
 // 查询手机号码是否已注册
 $user = db('user')->field('mobile')->where('mobile', $mobile)->find();
 if ($user) {
 //Log::write('---压力测试'.date("Y-m-d h:i:s").'---手机号注册了');
 var_dump('手机号已注册'); // 用户已存在
 die;
 } 
 // 用户不存在注册
 // $data['id'] = getNewUserid();
 $data['no'] = date("Ymdhis").rand(100, 999);
 $data['avatar'] = 'https://rumcdn-1255484416.cos.ap-chengdu.myqcloud.com/img/d_h.png';
 $data['password'] = md5($data['password']);
 $randomNickname = date("Ymdhis").rand(100, 999); 
 $data['nickname'] = 'rm_' . $randomNickname;
 $data['create_time'] = time();
 $data['type'] = 1;
 
 /***是否存在邀请人的跑步钱进号***/
 if(isset($data['pbqj_no']) && !empty($data['pbqj_no'])) {
 $inviter = db('user')->field('id')->where(["no"=>$data['pbqj_no']])->find();
 if($inviter) {
 $data['inviter_id'] = $inviter['id'];
 }
 }
 /***是否存在邀请人的跑步钱进号***/
 unset($data['pbqj_no']);
 $userid = db('user')->insertGetId($data);
 if ($userid) {
 /******************加入消息队列异步处理后续操作*******************/
 // 1.当前任务将由哪个类来负责处理。 
 // 当轮到该任务时,系统将生成一个该类的实例,并调用其 fire 方法
 $jobHandlerClassName = 'app\index\job\JobUser'; 
 // 2.当前任务归属的队列名称,如果为新队列,会自动创建
 $jobQueueName = "userJobQueue"; 
 // 3.当前任务所需的业务数据 . 不能为 resource 类型,其他类型最终将转化为json形式的字符串
 // ( jobData 为对象时,需要在先在此处手动序列化,否则只存储其public属性的键值对)
 //$jobData = ['ts' => time(), 'bizId' => uniqid() , 'a' => 1];
 $jobData = ['userid'=>$userid,'time'=>time(),'mobile'=>$mobile,'inviterid'=>(isset($data['inviter_id']) ? $data['inviter_id'] : 0)];
 // 4.将该任务推送到消息队列,等待对应的消费者去执行
 $isPushed = Queue::push($jobHandlerClassName , $jobData , $jobQueueName); 
 // database 驱动时,返回值为 1|false ; redis 驱动时,返回值为 随机字符串|false
 if($isPushed !== false) { 
 var_dump('加入队列成功');
 die;
 //Log::write('-----------加入消息队列成功-----------');
 //echo date('Y-m-d H:i:s') . " a new Hello Job is Pushed to the MQ"."<br>";
 }else{
 var_dump('加入消息队列');
 die;
 //Log::write('-----------加入消息队列失败-----------');
 //echo 'Oops, something went wrong.';
 }
 /******************加入消息队列异步处理后续操作*******************/
 $res['id'] = $userid;
 $res['no'] = $data['no'];
 // // token处理类
 // $accessToken = new AccessToken();
 // $accessToken = $accessToken->getToken($userid);
 // if (empty($accessToken)) {
 // //Log::write('---压力测试'.date("Y-m-d h:i:s").'---秘钥生成失败');
 // var_dump('秘钥生成失败');
 // } else {
 // $res['user_token'] = $accessToken;
 // }
 // if (method_exists(\chat\User::class, 'getToken')) {
 // $chat_token = \chat\User::getToken($res['id'], $data['nickname'], $data['avatar']);
 // if (!$chat_token) {
 // //Log::write('---压力测试'.date("Y-m-d h:i:s").'---聊天秘钥生成失败');
 // var_dump('聊天秘钥生成失败');
 // } else {
 // $res['chat_token'] = $chat_token;
 // }
 // } else {
 // $res['chat_token'] = '';
 // }
 
 //Log::write('---压力测试'.date("Y-m-d h:i:s").'---注册成功');
 var_dump($res);
 die;
 } else {
 //Log::write('---压力测试'.date("Y-m-d h:i:s").'---数据库错误');
 $this->handler->sRem("register:mobile",$mobile);
 var_dump('数据库错误');
 die;
 }
 }
 public function hello($name = 'ThinkPHP5')
 {
 return 'hello,' . $name;
 }
}
  1. 创建消费者(job),对执行队列中的任务。
    (1). 在同一模块下新建job文件夹和一个执行类(JobUser), 需要对应生产者中jobHandlerClassName。
    (2). 前面执行完队列加入成功后,可以本地使用redis客户端通过lrange queues:userJobQueue 0 -1 查看队列成员 (queues:userJobQueue中,userJobQueue是自己在加入队列前自己起的队列名称,与queues: 拼接就是redis的list的键名,所以可以直接查看 )。

    (3).队列中的data就是自己传递的数据,后面需要在消费者中通过该数据进行注册功能后的业务操作: 送奖励,存储邀请记录,发动态,发短信,发邮件等等。
<?php
namespace app\index\job;
use think\queue\Job;
use think\Db;
use think\Exception;
use think\facade\Cache;
use think\facade\Env;
class JobUser {
 private $cache;
 private $handler;
 public function __construct()
 {
 $this->cache = Cache::init();
 $this->handler = $this->cache->handler();
 }
 /**
 * fire方法是消息队列默认调用的方法
 * @param Job $job 当前的任务对象
 * @param array|mixed $data 发布任务时自定义的数据
 */
 public function fire(Job $job,$data) {
 $job->delete();
 //print("hahah\n");
 // print("<info>The user already exists "."</info>\n");
 // exit();
 if(empty($data) || empty($data['userid']) || empty($data['mobile'])) {
 $job->delete();
 print("canshu buzu\n");
 return;
 }
 // 如有必要,可以根据业务需求和数据库中的最新数据,判断该任务是否仍有必要执行.
 $isJobStillNeedToBeDone = $this->checkDatabaseToSeeIfJobNeedToBeDone($data);
 if(!$isJobStillNeedToBeDone) {
 print("hahah\n");
 $job->delete();
 return;
 }
 $isJobDone = $this->doHelloJob($data);
 if ($isJobDone) {
 //如果任务执行成功, 记得删除任务
 $job->delete();
 print("<info>Hello Job has been done and deleted"."</info>\n");
 }else{
 if ($job->attempts() > 3) {
 //通过这个方法可以检查这个任务已经重试了几次了
 print("<warn>Hello Job has been retried more than 3 times!"."</warn>\n");
 //$job->delete();
 // 也可以重新发布这个任务
 //print("<info>Hello Job will be availabe again after 2s."."</info>\n");
 //$job->release(2); //$delay为延迟时间,表示该任务延迟2秒后再执行
 }
 }
 }
 /**
 * 有些消息在到达消费者时,可能已经不再需要执行了
 * @param array|mixed $data 发布任务时自定义的数据
 * @return boolean 任务执行的结果
 */
 private function checkDatabaseToSeeIfJobNeedToBeDone($data) {
 // 判断手机缓存集合中是否存在
 // $is_existe = $this->handler->sIsMember("register:mobile",$data['mobile']);
 // if($is_existe) {
 // return false; 
 // } 
 // // 查询当前用户是否在数据库中存在
 // $userinfo = Db::name('user')->field('id')->where('id',$data['userid'])->find();
 // if($userinfo) {
 // return false; 
 // } 
 return true;
 }
 /**
 * 根据消息中的数据进行实际的业务处理
 * @param array|mixed $data 发布任务时自定义的数据
 * @return boolean 任务执行的结果
 */
 private function doHelloJob($data) {
 try{
 if(isset($data['inviterid']) && !empty($data['inviterid'])) {
 // 添加邀请记录
 $res_record = Db::name('user_inviter')
 ->insert([
 'inviterid' => $data['inviterid'],
 'userid' => $data['userid'],
 'code' => $data['inviterid'] . 'T' . $data['userid'],
 'create_time' => $data['time'],
 ]);
 // 给邀请人赠送300步币
 Db::name('user_credit')
 ->insert([
 'userid' => $data['inviterid'],
 'type' => 1,
 'credit' => 300,
 'source' => $res_record,
 'create_time' => $data['time']
 ]);
 // 更新邀请人步币(用户表)
 Db::name('user')->where('id', $data['inviterid'])->setInc('credit', 300); 
 }
 
 { // 注册成功发表动态
 $dynamic_data['userid'] = $data['userid'];
 $dynamic_data['dynamic'] = base64_encode('号外!号外!我加入跑步钱进了,大家一起走路领红包吧!');
 $dynamic_data['images'][] = 'https://rumcdn-1255484416.cos.ap-chengdu.myqcloud.com/img/d_d.png';
 $dynamic_data['images'] = serialize($dynamic_data['images']);
 $dynamic_data['create_time'] = $data['time'];
 $result = Db::name('dynamic')->insert($dynamic_data);
 }
 }catch(\Exception $e) {
 Log::write('---执行消息队列出错---'.$e->getMessage());
 return false;
 }
 return true;
 // 根据消息中的数据进行实际的业务处理...
 //var_dump($data);
// print("<info>Hello Job Started. job Data is: ".var_export($data,true)."</info> \n");
// print("<info>Hello Job is Fired at " . date('Y-m-d H:i:s') ."</info> \n");
// print("<info>Hello Job is Done!"."</info> \n");
 //return true;
 }
 /**
 * 该方法用于接收任务执行失败的通知,你可以发送邮件给相应的负责人员
 * @param $jobData string|array|... //发布任务时传递的 jobData 数据
 */
 public function failed($jobData) {
 //send_mail_to_somebody() ;
 print("Warning: Job failed after max retries. job data is :".var_export($jobData,true)."\n");
 }
}

(4). 设置任务执行失败后的处理,比如记录日志或发邮件给开发者。
a. 在tags.php中配置失败后执行了类。

<?php
// 应用行为扩展定义文件
return [
 // 应用初始化
 'app_init' => [],
 // 应用开始
 'app_begin' => [],
 // 模块初始化
 'module_init' => [],
 // 操作开始执行
 'action_begin' => [],
 // 视图内容过滤
 'view_filter' => [],
 // 日志写入
 'log_write' => [],
 // 应用结束
 'app_end' => [],
 'queue_failed' => [
 // 数组形式,[ 'ClassName' , 'methodName']
 ['application\\behavior\\MyQueueFailedLogger', 'logAllFailedQueues']
 // 字符串(静态方法),'StaicClassName::methodName'
 // 'MyQueueFailedLogger::logAllFailedQueues'
 // 字符串(对象方法),'ClassName',此时需在对应的ClassName类中添加一个名为 queueFailed 的方法
 // 'application\\behavior\\MyQueueFailedLogger'
 // 闭包形式
 /*
 function( &$jobObject , $extra){
 // var_dump($jobObject);
 return true;
 }
 */
 ],
 
];

b. 在application目录下创建任务错误执行后的处理脚本,根据业务需求自定。

<?php
namespace app\behavior;
use think\Db;
class MyQueueFailedLogger
{
 const should_run_hook_callback = true;
 /**
 * @param $jobObject \think\queue\Job //任务对象,保存了该任务的执行情况和业务数据
 * @return bool true //是否需要删除任务并触发其failed() 方法
 */
 public function logAllFailedQueues(&$jobObject) {
 $failedJobLog = [
 'jobHandlerClassName' => $jobObject->getName(), // 'application\index\job\Hello'
 'queueName' => $jobObject->getQueue(), // 'helloJobQueue'
 'jobData' => $jobObject->getRawBody()['data'], // '{'a': 1 }'
 'attempts' => $jobObject->attempts(), // 3
 ];
 var_export(json_encode($failedJobLog,true));
 $data = [
 "content" => json_encode($failedJobLog,true),
 "create_time" => time(),
 ];
 Db::name('ztest')->insertGetId($data);
 // $jobObject->release(); //重发任务
 //$jobObject->delete(); //删除任务
 //$jobObject->failed(); //通知消费者类任务执行失败
 return self::should_run_hook_callback;
 }
}

五、通过命令运行消息队列,以下以windows举栗

  1. cmd进入当前项目, 然后输入 "php think queue:listen --queue userJobQueue"   (userJobQueue是自己的队列名)。
  2. 也可以在项目的根目录创建bat文件,文件写入"php think queue:listen --queue userJobQueue",保存只需双击就可以执行。 

六、测试

结果使用了消息队列后,同样610的并发,使用时间就缩短了

作者:北桥苏原文地址:https://segmentfault.com/a/1190000043825854

%s 个评论

要回复文章请先登录注册