新项目开发完毕,到了项目部署,没得选也是我来弄了!
最主要的问题:并发数!
这个所有客户数量较大的服务器都会遇到的问题。
虽然现在还没有解决,哈哈哈哈哈哈哈哈哈哈哈哈哈,但是记录下我现在所做的工作吧!
一、数据库
1,数据库:
数据库选择的是MySql 5.1,正常安装,未做优化,只是调整了最大连接数“max_connections=1000;”#此参数决定了Mysql对外提供的最大连接数;后来发现连接池控制的数据库连接,好多都是出于sleep状态,可能是回收不及时,所以又修改了 “wait_timeout=1” “interactive_timeout=1” 让数据库回收1S内无动作的所以连接。
相关设置:
show variables like '%%'; #查找MySql内部变量
show global variables like '%%'; #查看全局变量
show processlist; #查看当前连接数,具体信息状态
set global wait_timeout=12; #设置全局变量参数 此种设置方法,重启数据库后失效;
若想永久有效,需在my.ini内 添加:
[mysqld]
interactive_timeout=1
wait_timeout=1
附带binlog开启方式:在my.ini下 配置binlog路径即可
log_bin="F:\Mysql-binlog\filename" #如有父文件夹,一定要确保父级目录存在,否则数据库无法启动!binlog基础
2,连接池:
现在使用的数据库连接池为c3p0(较为古老了,当时还有一个备选方案BoneCP,但是未能下载到组件),spring框架自带这个jar包(版本号为0.9.1)此版本有性能劣势建议更换为0.9.5版本(http://sourceforge.net/projects/c3p0/),配置时,替换applicationContext.xml 内的 datesource(我的配置) 如下:
<bean > <property name="driverClass" value="com.mysql.jdbc.Driver" /> <property name="jdbcUrl" alue="jdbc:mysql://localhost:3306/*%¥#¥@"/> <property name="user" value="&%#¥" /> <property name="password" value="@&¥……" /> <property name="minPoolSize" value="3" /> <property name="maxPoolSize" value="50"/> <property name="initialPoolSize" value="3"/> <property name="maxIdleTime" value="2"/> <property name="acquireIncrement" value="5"/> <property name="acquireRetryAttempts" value="3"/> <property name="acquireRetryDelay" value="60"/> <property name="checkoutTimeout" value="300"/> <!-- spring --> </bean>
将下载的组件jar包复制到WEB-INF/lib文件夹下,并删除原c3p0 jar包"com.springsource.com.mchange.v2.c3p0-0.9.1.2.jar"否则启动tomcat时会报错!
具体配置参数详情:
<c3p0-config> <default-config> <!--当连接池中的连接耗尽的时候c3p0一次同时获取的连接数。Default: 3 --> <property name="acquireIncrement">3</property> <!--定义在从数据库获取新连接失败后重复尝试的次数。Default: 30 --> <property name="acquireRetryAttempts">30</property> <!--两次连接中间隔时间,单位毫秒。Default: 1000 --> <property name="acquireRetryDelay">1000</property> <!--连接关闭时默认将所有未提交的操作回滚。Default: false --> <property name="autoCommitOnClose">false</property> <!--c3p0将建一张名为Test的空表,并使用其自带的查询语句进行测试。如果定义了这个参数那么 属性preferredTestQuery将被忽略。你不能在这张Test表上进行任何操作,它将只供c3p0测试 使用。Default: null--> <property name="automaticTestTable">Test</property> <!--获取连接失败将会引起所有等待连接池来获取连接的线程抛出异常。但是数据源仍有效 保留,并在下次调用getConnection()的时候继续尝试获取连接。如果设为true,那么在尝试 获取连接失败后该数据源将申明已断开并永久关闭。Default: false--> <property name="breakAfterAcquireFailure">false</property> <!--当连接池用完时客户端调用getConnection()后等待获取新连接的时间,超时后将抛出 SQLException,如设为0则无限期等待。单位毫秒。Default: 0 --> <property name="checkoutTimeout">100</property> <!--通过实现ConnectionTester或QueryConnectionTester的类来测试连接。类名需制定全路径。 Default: com.mchange.v2.c3p0.impl.DefaultConnectionTester--> <property name="connectionTesterClassName"></property> <!--指定c3p0 libraries的路径,如果(通常都是这样)在本地即可获得那么无需设置,默认null即可 Default: null--> <property name="factoryClassLocation">null</property> <!--Strongly disrecommended. Setting this to true may lead to subtle and bizarre bugs. (文档原文)作者强烈建议不使用的一个属性--> <property name="forceIgnoreUnresolvedTransactions">false</property> <!--每60秒检查所有连接池中的空闲连接。Default: 0 --> <property name="idleConnectionTestPeriod">60</property> <!--初始化时获取三个连接,取值应在minPoolSize与maxPoolSize之间。Default: 3 --> <property name="initialPoolSize">3</property> <!--最大空闲时间,60秒内未使用则连接被丢弃。若为0则永不丢弃。Default: 0 --> <property name="maxIdleTime">60</property> <!--连接池中保留的最大连接数。Default: 15 --> <property name="maxPoolSize">15</property> <!--JDBC的标准参数,用以控制数据源内加载的PreparedStatements数量。但由于预缓存的statements 属于单个connection而不是整个连接池。所以设置这个参数需要考虑到多方面的因素。 如果maxStatements与maxStatementsPerConnection均为0,则缓存被关闭。Default: 0--> <property name="maxStatements">100</property> <!--maxStatementsPerConnection定义了连接池内单个连接所拥有的最大缓存statements数。Default: 0 --> <property name="maxStatementsPerConnection"></property> <!--c3p0是异步操作的,缓慢的JDBC操作通过帮助进程完成。扩展这些操作可以有效的提升性能 通过多线程实现多个操作同时被执行。Default: 3--> <property name="numHelperThreads">3</property> <!--当用户调用getConnection()时使root用户成为去获取连接的用户。主要用于连接池连接非c3p0 的数据源时。Default: null--> <property name="overrideDefaultUser">root</property> <!--与overrideDefaultUser参数对应使用的一个参数。Default: null--> <property name="overrideDefaultPassword">password</property> <!--密码。Default: null--> <property name="password"></property> <!--定义所有连接测试都执行的测试语句。在使用连接测试的情况下这个一显著提高测试速度。注意: 测试的表必须在初始数据源的时候就存在。Default: null--> <property name="preferredTestQuery">select id from test where id=1</property> <!--用户修改系统配置参数执行前最多等待300秒。Default: 300 --> <property name="propertyCycle">300</property> <!--因性能消耗大请只在需要的时候使用它。如果设为true那么在每个connection提交的 时候都将校验其有效性。建议使用idleConnectionTestPeriod或automaticTestTable 等方法来提升连接测试的性能。Default: false --> <property name="testConnectionOnCheckout">false</property> <!--如果设为true那么在取得连接的同时将校验连接的有效性。Default: false --> <property name="testConnectionOnCheckin">true</property> <!--用户名。Default: null--> <property name="user">root</property> 在Hibernate(spring管理)中的配置: <bean > <property name="driverClass"><value>oracle.jdbc.driver.OracleDriver</value></property> <property name="jdbcUrl"><value>jdbc:oracle:thin:@localhost:1521:Test</value></property> <property name="user"><value>Kay</value></property> <property name="password"><value>root</value></property> <!--连接池中保留的最小连接数。--> <property name="minPoolSize" value="10" /> <!--连接池中保留的最大连接数。Default: 15 --> <property name="maxPoolSize" value="100" /> <!--最大空闲时间,1800秒内未使用则连接被丢弃。若为0则永不丢弃。Default: 0 --> <property name="maxIdleTime" value="1800" /> <!--当连接池中的连接耗尽的时候c3p0一次同时获取的连接数。Default: 3 --> <property name="acquireIncrement" value="3" /> <property name="maxStatements" value="1000" /> <property name="initialPoolSize" value="10" /> <!--每60秒检查所有连接池中的空闲连接。Default: 0 --> <property name="idleConnectionTestPeriod" value="60" /> <!--定义在从数据库获取新连接失败后重复尝试的次数。Default: 30 --> <property name="acquireRetryAttempts" value="30" /> <property name="breakAfterAcquireFailure" value="true" /> <property name="testConnectionOnCheckout" value="false" /> </bean>
--取自百度百科
按照以上配置,有所缓解,并发数上升时还是会出现异常
java.sql.SQLException: An attempt by a client to checkout a Connection has timed out.
**后:
查明,为我将连接池设置过高,外部tomcat线程数设置也很高,导致连接池爆掉,后续请求超时!此处设定应一点点尝试,不能操之过急,要看服务器性能!设置过低,瞬时值高的时候,也很容易让连接池爆掉。代码的健壮性也很有要求。
压测:登录接口(只查询一次数据库); 结果:30S 11746susceed, 0 failed;#本地测试
首页的展示接口:(有一条四表联合,及根据每一条结果再进行2~3次数据库查询;如获取15条数据,大概要进行30~45次的数据库查询);
此种情况,会让连接池瞬间爆掉,此时调低了mysql连接回收时间为1s,调高连接池最大容量;调高上限,是为了让新请求到达时,连接池能够继续获取连接并提供给该请求,调低回收时间,是为了能够及时回收sleep连接,让数据库的当前连接数不打破连接池(以及数据库)的最大连接数。但此种解决方案无疑是治标不治本,随着请求数量的上升,连接池终究不能提供足够的连接。
此时:1、从表设计入手,增加冗余字段来减少过多的查询。
2、此SQL语句里没有变量,把这个结果放到缓存中;或单独搞张表,写个crontab去更新。
3.hibernate框架
本次项目,采用hibernate作为持久层框架。使用hibernate是想利用它全自动的特性,加快开发速度,但也正是其自动拼接sql这一点导致执行效率上没有ibatis这种半自动的框架来的高效,尤其是并发数较高的情况下。下次会在此处着重考虑,不过hibernate还有着自身强大的优势的。
二、服务器
1、使用tomcat线程池
服务器为阿里云2核,2.5G win2008-64位。web服务器为tomcat7.0-64位(jdk1.7 也是64位版本)。tomcat有自己线程池,开启即可(默认注释,关闭状态)。
<Executor name="tomcatThreadPool" namePrefix="catalina-exec-" maxThreads="20" minSpareThreads="4"/>
maxThreads="20"#最大线程数默认为 150;调整至20即可,过高会消耗较多内存。
<Connector port="8001" protocol="HTTP/1.1" executor="tomcatThreadPool"
connectionTimeout="20000"/>
**红色为添加部分,调用连接池来接受请求。
2、调整jvm内存
访问时常会报"Exception in thread "Tribes-MembershipReceiver" java.lang.OutOfMemoryError: Java heap space" 异常,为java 内存溢出,查阅资料为jvm内存不足。windows下,使用tomcat启动jvm,只需在~/tomcat/bin/catalina.bat中,echo Using CATALINA_BASE: "%CATALINA_BASE%" 上面添加set JAVA_OPTS=%JAVA_OPTS% -server -Xms512m -Xmx512m -XX:MaxNewSize=256m
注:此种修改方式,在7.0中生效,在6.0中不起作用;jvm内存可在http://localhost:2103/manager/status 下查看。此页面也可查看访问量,相应时间,失败数等信息。
还有一个值得注意的地方,如果内存调整过高,会无法启动并报 “Error occurred during initialization of VMCould not reserve enough space for object heap” 我机器的瓶颈是1600M (机器内存为16G)过高则无法启动;
调整机器的虚拟内存后,可以提升分配给jvm的内存。(若配置合理,内存并不是tomcat的瓶颈)有些东西,并不是越多越好的!
Thread stack size:128k #线程堆栈大小 每启动一条线程,分配给他的内存大小。看计算的深度,一般128k足以。
******************************************************************************************************************
1.问题的真正原因是,使用hibernate框架,但是运用其获得链接(connection中的session)执行自然sql语句查询,未关流(2B吧,当时有想到这个问题,但是调用session.close未果!后来找到原因为,取得session部分try/catch,由于域影响范围只在try/catch内,所以下文不能调用)!至于hibernate的hql查询,这个持久层框架已经帮我们做的很好了,不用我们来考虑。但如果你用到了原生sql请务必session.close!!!
2.解决后,链接池稳定运行,不会出现连接池崩溃的问题。但并发数不高,此时考虑代码因素。经查找为N*N查询(嵌套查询)问题,优化sql语句后得到大幅提升。
3.在大神的指点下,将服务器变更为linux系统,相关配置部署见:
本文链接:http://task.lmcjl.com/news/18189.html