blogjava-凯发k8网页登录

blogjava-凯发k8网页登录http://www.blogjava.net/hello-yun/快乐成长zh-cnsat, 08 apr 2023 20:37:34 gmtsat, 08 apr 2023 20:37:34 gmt60收录:一个性能较好的jvm参数配置以及jvm的简介http://www.blogjava.net/hello-yun/archive/2015/07/19/426314.html云云云云sun, 19 jul 2015 14:57:00 gmthttp://www.blogjava.net/hello-yun/archive/2015/07/19/426314.htmlhttp://www.blogjava.net/hello-yun/comments/426314.htmlhttp://www.blogjava.net/hello-yun/archive/2015/07/19/426314.html#feedback0http://www.blogjava.net/hello-yun/comments/commentrss/426314.htmlhttp://www.blogjava.net/hello-yun/services/trackbacks/426314.html

一个性能较好的web服务器jvm参数配置:


[plain] 
  1. -server //服务器模式  
  2. -xmx2g //jvm最大允许分配的堆内存,按需分配  
  3. -xms2g //jvm初始分配的堆内存,一般和xmx配置成一样以避免每次gc后jvm重新分配内存。  
  4. -xmn256m //年轻代内存大小,整个jvm内存=年轻代   年老代   持久代  
  5. -xx:permsize=128m //持久代内存大小  
  6. -xss256k //设置每个线程的堆栈大小  
  7. -xx: disableexplicitgc //忽略手动调用gc, system.gc()的调用就会变成一个空调用,完全不触发gc  
  8. -xx: useconcmarksweepgc //并发标记清除(cms)收集器  
  9. -xx: cmsparallelremarkenabled //降低标记停顿  
  10. -xx: usecmscompactatfullcollection //在full gc的时候对年老代的压缩  
  11. -xx:largepagesizeinbytes=128m //内存页的大小  
  12. -xx: usefastaccessormethods //原始类型的快速优化  
  13. -xx: usecmsinitiatingoccupancyonly //使用手动定义初始化定义开始cms收集  
  14. -xx:cmsinitiatingoccupancyfraction=70 //使用cms作为垃圾回收使用70%后开始cms收集  


说明:

-xmn和-xmx之比大概是1:9,如果把新生代内存设置得太大会导致young gc时间较长

一个好的web系统应该是每次http请求申请内存都能在young gc回收掉,full gc永不发生,当然这是最理想的情况

xmn的值应该是保证够用(够http并发请求之用)的前提下设置得尽量小

web服务器和游戏服务器的配置思路不太一样,最重要的区别是对游戏服务器的xmn即年轻代设置比较大,和xmx大概1:3的关系,因为游戏服务器一般是长连接,在保持一定的并发量后需要较大的年轻代堆内存,如果设置得大小了会经常引发young gc


  • 对jvm的简介


由上图可以看出jvm堆内存的分类情况,jvm内存被分成多个独立的部分。
广泛地说,jvm堆内存被分为两部分——年轻代(young generation)和老年代(old generation)。


  • 年轻代
年轻代是所有新对象产生的地方。当年轻代内存空间被用完时,就会触发垃圾回收。这个垃圾回收叫做minor gc。年轻代被分为3个部分——enden区和两个survivor区。


年轻代空间的要点:
大多数新建的对象都位于eden区。
当eden区被对象填满时,就会执行minor gc。并把所有存活下来的对象转移到其中一个survivor区。
minor gc同样会检查存活下来的对象,并把它们转移到另一个survivor区。这样在一段时间内,总会有一个空的survivor区。
经过多次gc周期后,仍然存活下来的对象会被转移到年老代内存空间。通常这是在年轻代有资格提升到年老代前通过设定年龄阈值来完成的。

  • 年老代
年老代内存里包含了长期存活的对象和经过多次minor gc后依然存活下来的对象。通常会在老年代内存被占满时进行垃圾回收。老年代的垃圾收集叫做major gc。major gc会花费更多的时间。


stop the world事件
所有的垃圾收集都是“stop the world”事件,因为所有的应用线程都会停下来直到操作完成(所以叫“stop the world”)。

因为年轻代里的对象都是一些临时(short-lived )对象,执行minor gc非常快,所以应用不会受到(“stop the world”)影响。

由于major gc会检查所有存活的对象,因此会花费更长的时间。应该尽量减少major gc。因为major gc会在垃圾回收期间让你的应用反应迟钝,所以如果你有一个需要快速响应的应用发生多次major gc,你会看到超时错误。

垃圾回收时间取决于垃圾回收策略。这就是为什么有必要去监控垃圾收集和对垃圾收集进行调优。从而避免要求快速响应的应用出现超时错误。


  • 永久代
永久代或者“perm gen”包含了jvm需要的应用元数据,这些元数据描述了在应用里使用的类和方法。注意,永久代不是java堆内存的一部分。
永久代存放jvm运行时使用的类。永久代同样包含了java se库的类和方法。永久代的对象在full gc时进行垃圾收集。


方法区
方法区是永久代空间的一部分,并用来存储类型信息(运行时常量和静态变量)和方法代码和构造函数代码。


内存池
如果jvm实现支持,jvm内存管理会为创建内存池,用来为不变对象创建对象池。字符串池就是内存池类型的一个很好的例子。内存池可以属于堆或者永久代,这取决于jvm内存管理的实现。


运行时常量池
运行时常量池是每个类常量池的运行时代表。它包含了类的运行时常量和静态方法。运行时常量池是方法区的一部分。


java栈内存
java栈内存用于运行线程。它们包含了方法里的临时数据、堆里其它对象引用的特定数据。

java垃圾回收
java垃圾回收会找出没用的对象,把它从内存中移除并释放出内存给以后创建的对象使用。java程序语言中的一个最大优点是自动垃圾回收,不像其他的程序语言那样需要手动分配和释放内存,比如c语言。

垃圾收集器是一个后台运行程序。它管理着内存中的所有对象并找出没被引用的对象。所有的这些未引用的对象都会被删除,回收它们的空间并分配给其他对象。

一个基本的垃圾回收过程涉及三个步骤:
标记:这是第一步。在这一步,垃圾收集器会找出哪些对象正在使用和哪些对象不在使用。
正常清除:垃圾收集器清会除不在使用的对象,回收它们的空间分配给其他对象。
压缩清除:为了提升性能,压缩清除会在删除没用的对象后,把所有存活的对象移到一起。这样可以提高分配新对象的效率。


简单标记和清除方法存在两个问题:
效率很低。因为大多数新建对象都会成为“没用对象”。
经过多次垃圾回收周期的对象很有可能在以后的周期也会存活下来。
上面简单清除方法的问题在于java垃圾收集的分代回收的,而且在堆内存里有年轻代和年老代两个区域。


  • java垃圾回收类型
这里有五种可以在应用里使用的垃圾回收类型。

仅需要使用jvm开关就可以在我们的应用里启用垃圾回收策略。

serial gc(-xx: useserialgc):serial gc使用简单的标记、清除、压缩方法对年轻代和年老代进行垃圾回收,即minor gc和major gc。serial gc在client模式(客户端模式)很有用,比如在简单的独立应用和cpu配置较低的机器。这个模式对占有内存较少的应用很管用。
parallel gc(-xx: useparallelgc):除了会产生n个线程来进行年轻代的垃圾收集外,parallel gc和serial gc几乎一样。这里的n是系统cpu的核数。我们可以使用 -xx:parallelgcthreads=n 这个jvm选项来控制线程数量。并行垃圾收集器也叫throughput收集器。因为它使用了多cpu加快垃圾回收性能。parallel gc在进行年老代垃圾收集时使用单线程。
parallel old gc(-xx: useparalleloldgc):和parallel gc一样。不同之处,parallel old gc在年轻代垃圾收集和年老代垃圾回收时都使用多线程收集。
并发标记清除(cms)收集器(-xx: useconcmarksweepgc):cms收集器也被称为短暂停顿并发收集器。它是对年老代进行垃圾收集的。cms收集器通过多线程并发进行垃圾回收,尽量减少垃圾收集造成的停顿。cms收集器对年轻代进行垃圾回收使用的算法和parallel收集器一样。这个垃圾收集器适用于不能忍受长时间停顿要求快速响应的应用。可使用 -xx:parallelcmsthreads=n jvm选项来限制cms收集器的线程数量。
g1垃圾收集器(-xx: useg1gc) g1(garbage first):垃圾收集器是在java 7后才可以使用的特性,它的长远目标时代替cms收集器。g1收集器是一个并行的、并发的和增量式压缩短暂停顿的垃圾收集器。g1收集器和其他的收集器运行方式不一样,不区分年轻代和年老代空间。它把堆空间划分为多个大小相等的区域。当进行垃圾收集时,它会优先收集存活对象较少的区域,因此叫“garbage first”。



云云 2015-07-19 22:57 发表评论
]]>
linux 系列http://www.blogjava.net/hello-yun/archive/2014/09/28/418366.html云云云云sun, 28 sep 2014 15:45:00 gmthttp://www.blogjava.net/hello-yun/archive/2014/09/28/418366.htmlhttp://www.blogjava.net/fancydeepin/archive/2014/09/28/linux.html



















云云 2014-09-28 23:45 发表评论
]]>
java动态代理机制详解(jdk 和cglib,javassist,asm)[转]http://www.blogjava.net/hello-yun/archive/2014/09/28/418365.html云云云云sun, 28 sep 2014 15:44:00 gmthttp://www.blogjava.net/hello-yun/archive/2014/09/28/418365.html阅读全文

云云 2014-09-28 23:44 发表评论
]]>
后台 xss 控制http://www.blogjava.net/hello-yun/archive/2014/09/28/418353.html云云云云sun, 28 sep 2014 05:49:00 gmthttp://www.blogjava.net/hello-yun/archive/2014/09/28/418353.htmlhttp://www.blogjava.net/hello-yun/comments/418353.htmlhttp://www.blogjava.net/hello-yun/archive/2014/09/28/418353.html#feedback0http://www.blogjava.net/hello-yun/comments/commentrss/418353.htmlhttp://www.blogjava.net/hello-yun/services/trackbacks/418353.html 
package com.qiyi.appstore.util;
import java.lang.reflect.field;
import java.lang.reflect.invocationtargetexception;
import org.apache.commons.beanutils.beanutils;
import org.apache.commons.lang.stringutils;
import org.slf4j.logger;
import org.slf4j.loggerfactory;
import com.qiyi.appstore.exception.appstoreexception;
import com.qiyi.cloud.user.apicode;
public class xssutils {
private static final logger logger=loggerfactory.getlogger(xssutils.class);
public static string getsafestringxss(string s){
      if (stringutils.isblank(s)) {  
          return s;  
      }  
      stringbuilder sb = new stringbuilder(s.length() 16);  
      for (int i = 0; i < s.length(); i ) {  
          char c = s.charat(i);  
          switch (c) {  
          case '<':  
              sb.append("<");  
              break; 
          case '>':  
              sb.append(">");  
              break;  
          case '\'':  
              sb.append("′");// ´");  
              break;  
          case '′':  
              sb.append("′");// ´");  
              break;  
          case '\"':  
              sb.append(""");  
              break;  
          case '"':  
              sb.append(""");  
              break;  
          case '&':  
              sb.append("&");  
              break;  
          case '#':  
              sb.append("#");  
              break;  
          case '\\':  
              sb.append('¥');  
              break; 
          case '=':  
              sb.append("=");  
              break;
          default:  
              sb.append(c);  
              break;  
          }  
      }  
      return sb.tostring(); 
  }
public static void getxsssaftbean(class clz,t bean) throws illegalaccessexception, invocationtargetexception, nosuchmethodexception{
string classname = clz.getsimplename();
logger.info("map target class name is {} .",classname);
field[] fields = clz.getdeclaredfields();
for(field field : fields){
class type = field.gettype();
if(type.equals(string.class)){
string fieldname = field.getname();
string value = beanutils.getproperty(bean, fieldname);
if(stringutils.isnotblank(value)){
beanutils.setproperty(bean, fieldname, getsafestringxss(value));
}
}
}
}
}


云云 2014-09-28 13:49 发表评论
]]>
提升tomcat 性能 apr扩展libhttp://www.blogjava.net/hello-yun/archive/2014/01/16/409026.html云云云云thu, 16 jan 2014 06:50:00 gmthttp://www.blogjava.net/hello-yun/archive/2014/01/16/409026.htmlhttp://www.blogjava.net/hello-yun/comments/409026.htmlhttp://www.blogjava.net/hello-yun/archive/2014/01/16/409026.html#feedback0http://www.blogjava.net/hello-yun/comments/commentrss/409026.htmlhttp://www.blogjava.net/hello-yun/services/trackbacks/409026.html提升tomcat 性能 apr扩展lib
使用apr类库 可以让tomcat的性能提升到3到4倍  
目前项目中都使用这样的配置
               enablelookups="false"
               acceptcount="300"
               connectiontimeout="20000"
               disableuploadtimeout="true" maxthreads="1000" maxsparethreads="50" minsparethreads="25"
               redirectport="8443" />


catalia.sh 
catalina_opts="$catalina_opts -djava.library.path=/usr/local/apr/lib"


云云 2014-01-16 14:50 发表评论
]]>
redis 设置分布式锁 http://www.blogjava.net/hello-yun/archive/2014/01/15/408988.html云云云云wed, 15 jan 2014 11:00:00 gmthttp://www.blogjava.net/hello-yun/archive/2014/01/15/408988.htmlhttp://www.blogjava.net/hello-yun/comments/408988.htmlhttp://www.blogjava.net/hello-yun/archive/2014/01/15/408988.html#feedback1http://www.blogjava.net/hello-yun/comments/commentrss/408988.htmlhttp://www.blogjava.net/hello-yun/services/trackbacks/408988.html阅读全文

云云 2014-01-15 19:00 发表评论
]]>
eclipse背景颜色和字体配置http://www.blogjava.net/hello-yun/archive/2014/01/09/408739.html云云云云thu, 09 jan 2014 08:41:00 gmthttp://www.blogjava.net/hello-yun/archive/2014/01/09/408739.htmlhttp://www.blogjava.net/hello-yun/comments/408739.htmlhttp://www.blogjava.net/hello-yun/archive/2014/01/09/408739.html#feedback0http://www.blogjava.net/hello-yun/comments/commentrss/408739.htmlhttp://www.blogjava.net/hello-yun/services/trackbacks/408739.html对eclipse的默认配置很不爽,黑色字体白色底好刺眼,而且字体习惯用courier new
改变背景颜色:
windows->preferences->general->editor->text editors
右边选择appearance color options 
选background color 选择背景颜色
个人比较舒服的豆沙绿色和黑色背景,但黑色背景还要把其他的字体颜色也改了才好看,而且豆沙绿色跟默认的字体颜色搭配的很好。
豆沙绿色(色调:85   饱和度:123   亮度:205 )
据说这个色调是眼科专家配的, 因其颜色比较柔和,据说阅读的时候用这种颜色做背景有利于保护眼睛, word底色就许多人设置成豆沙绿色。
xml的字体调整: 
window--preferences--general--appearance--colors and fonts--basic-- "text font "  
然后点change,可以设置字体,我喜欢courier new
java的字体调整: 
window--preferences--general--appearance--colors and fonts--java 


云云 2014-01-09 16:41 发表评论
]]>
删除文件的svn信息 解决从其它路径拷过来的文件带有路径信息 无法提交的问题http://www.blogjava.net/hello-yun/archive/2013/12/05/407259.html云云云云thu, 05 dec 2013 09:17:00 gmthttp://www.blogjava.net/hello-yun/archive/2013/12/05/407259.htmlhttp://www.blogjava.net/hello-yun/comments/407259.htmlhttp://www.blogjava.net/hello-yun/archive/2013/12/05/407259.html#feedback0http://www.blogjava.net/hello-yun/comments/commentrss/407259.htmlhttp://www.blogjava.net/hello-yun/services/trackbacks/407259.html有时候在项目中 会变化路径 把原有路径的文件拷到新的路径下面
再删除原来不想的路径再提交一次 这样以来 原来的路径确实不存在了
但是拷过来的文件带有原来路径的svn信息 这样以来 在提交的时候 就无法提交
想要文件按照的路径提交 但始终svn还是再往以前的路径提交 并提示你路径不存在
在网上搜了下 如何删除文件自带的svn路径信息
按照下面的方式来操作即可

windows registry editor version 5.00
[hkey_local_machine\software\classes\folder\shell\deletesvn] 
@="删除该目录下面.svn文件"
[hkey_local_machine\software\classes\folder\shell\deletesvn\command] 
@="cmd.exe /c \"title removing svn folders in %1 && color 9a && for /r \"%1\" %%f in (.svn) do rd /s /q \"%%f\" \""


把上面这段文字保存问一个done.reg文件
然后执行,导入到注册表
就会在你右键一个文件夹的时候多出来一个菜单"删除该目录下面.svn文件"
执行该命令即可

 



云云 2013-12-05 17:17 发表评论
]]>
mybatis no enum const class org.apache.ibatis.type.jdbctype.date 坑爹的配置http://www.blogjava.net/hello-yun/archive/2013/11/26/406862.html云云云云tue, 26 nov 2013 13:02:00 gmthttp://www.blogjava.net/hello-yun/archive/2013/11/26/406862.htmlhttp://www.blogjava.net/hello-yun/comments/406862.htmlhttp://www.blogjava.net/hello-yun/archive/2013/11/26/406862.html#feedback1http://www.blogjava.net/hello-yun/comments/commentrss/406862.htmlhttp://www.blogjava.net/hello-yun/services/trackbacks/406862.html
insert into testtable
   (id,
   name,
   description,
   imageurl,
   linkurl,
   isalways,
   isdisplayindex,
   displayweight,
   starttime,
   endtime,
   creator,
   creattime,
   modifytime)
  values
   (seq_activity_table.nextval,
   #{name},
   #{desc,jdbctype=varchar},
   #{imageurl,jdbctype=varchar},
   #{linkurl,jdbctype=varchar},
   #{isalways,jdbctype=char},
   #{isdisplayindex,jdbctype=char},
   #{displayweight,jdbctype=varchar},
   #{starttime,jdbctype=date},
   #{endtime,jdbctype=date},
   #{creator,jdbctype=varchar},
   sysdate,
   sysdate
   )
 

这些设置之多,太烦了,最让人烦的是  jdbctype = date,类型还必须大写,不能小写。
如下面的例子,将date 改成 date 。结果让人很抓狂啊!!!
insert into testtable
   (id,
   name,
   description,
   imageurl,
   linkurl,
   isalways,
   isdisplayindex,
   displayweight,
   starttime,
   endtime,
   creator,
   creattime,
   modifytime)
  values
   (seq_activity_table.nextval,
   #{name},
   #{desc,jdbctype=varchar},
   #{imageurl,jdbctype=varchar},
   #{linkurl,jdbctype=varchar},
   #{isalways,jdbctype=char},
   #{isdisplayindex,jdbctype=char},
   #{displayweight,jdbctype=varchar},
   #{starttime,jdbctype=date},
   #{endtime,jdbctype=date},
   #{creator,jdbctype=varchar},
   sysdate,
   sysdate
   )
 
org.mybatis.spring.mybatissystemexception: nested exception is org.apache.ibatis.builder.builderexception: error resolving jdbctype. cause: java.lang.illegalargumentexception: no enum const class org.apache.ibatis.type.jdbctype.date
	org.mybatis.spring.mybatisexceptiontranslator.translateexceptionifpossible(mybatisexceptiontranslator.java:75)
	org.mybatis.spring.sqlsessiontemplate$sqlsessioninterceptor.invoke(sqlsessiontemplate.java:368)
更坑爹的在后面,上面insert时的时候用#{endtime,jdbctype=date},可以将时间插入成功,且可以精确到时分秒
但如果在update语句中也这样使用,那你得到的只会有日期,这够坑爹的了吧 ,尼玛  比起ibatis方便之处差远了
要想在update语句中 将时间格式化成时分秒 不得不再加一个类型 如下面:
starttime = #{starttime,javatype=date, jdbctype=varchar}















云云 2013-11-26 21:02 发表评论
]]>
走过路过 不要错过的好文章 csrf 防御方法选择之道http://www.blogjava.net/hello-yun/archive/2013/11/05/406028.html云云云云tue, 05 nov 2013 12:53:00 gmthttp://www.blogjava.net/hello-yun/archive/2013/11/05/406028.htmlhttp://www.blogjava.net/hello-yun/comments/406028.htmlhttp://www.blogjava.net/hello-yun/archive/2013/11/05/406028.html#feedback0http://www.blogjava.net/hello-yun/comments/commentrss/406028.htmlhttp://www.blogjava.net/hello-yun/services/trackbacks/406028.htmlcsrf 背景与介绍

csrf(cross site request forgery, 跨站域请求伪造)是一种网络的攻击方式,它在 2007 年曾被列为互联网 20 大安全隐患之一。其他安全隐患,比如 sql 脚本注入,跨站域脚本攻击等在近年来已经逐渐为众人熟知,很多网站也都针对他们进行了防御。然而,对于大多数人来说,csrf 却依然是一个陌生的概念。即便是大名鼎鼎的 gmail, 在 2007 年底也存在着 csrf 漏洞,从而被黑客攻击而使 gmail 的用户造成巨大的损失。

csrf 攻击实例

csrf 攻击可以在受害者毫不知情的情况下以受害者名义伪造请求发送给受攻击站点,从而在并未授权的情况下执行在权限保护之下的操作。比如说,受害者 bob 在银行有一笔存款,通过对银行的网站发送请求 http://bank.example/withdraw?account=bob&amount=1000000&for=bob2 可以使 bob 把 1000000 的存款转到 bob2 的账号下。通常情况下,该请求发送到网站后,服务器会先验证该请求是否来自一个合法的 session,并且该 session 的用户 bob 已经成功登陆。黑客 mallory 自己在该银行也有账户,他知道上文中的 url 可以把钱进行转帐操作。mallory 可以自己发送一个请求给银行:http://bank.example/withdraw?account=bob&amount=1000000&for=mallory。但是这个请求来自 mallory 而非 bob,他不能通过安全认证,因此该请求不会起作用。这时,mallory 想到使用 csrf 的攻击方式,他先自己做一个网站,在网站中放入如下代码: src=”http://bank.example/withdraw?account=bob&amount=1000000&for=mallory ”,并且通过广告等诱使 bob 来访问他的网站。当 bob 访问该网站时,上述 url 就会从 bob 的浏览器发向银行,而这个请求会附带 bob 浏览器中的 cookie 一起发向银行服务器。大多数情况下,该请求会失败,因为他要求 bob 的认证信息。但是,如果 bob 当时恰巧刚访问他的银行后不久,他的浏览器与银行网站之间的 session 尚未过期,浏览器的 cookie 之中含有 bob 的认证信息。这时,悲剧发生了,这个 url 请求就会得到响应,钱将从 bob 的账号转移到 mallory 的账号,而 bob 当时毫不知情。等以后 bob 发现账户钱少了,即使他去银行查询日志,他也只能发现确实有一个来自于他本人的合法请求转移了资金,没有任何被攻击的痕迹。而 mallory 则可以拿到钱后逍遥法外。

csrf 攻击的对象

在讨论如何抵御 csrf 之前,先要明确 csrf 攻击的对象,也就是要保护的对象。从以上的例子可知,csrf 攻击是黑客借助受害者的 cookie 骗取服务器的信任,但是黑客并不能拿到 cookie,也看不到 cookie 的内容。另外,对于服务器返回的结果,由于浏览器同源策略的限制,黑客也无法进行解析。因此,黑客无法从返回的结果中得到任何东西,他所能做的就是给服务器发送请求,以执行请求中所描述的命令,在服务器端直接改变数据的值,而非窃取服务器中的数据。所以,我们要保护的对象是那些可以直接产生数据改变的服务,而对于读取数据的服务,则不需要进行 csrf 的保护。比如银行系统中转账的请求会直接改变账户的金额,会遭到 csrf 攻击,需要保护。而查询余额是对金额的读取操作,不会改变数据,csrf 攻击无法解析服务器返回的结果,无需保护。

当前防御 csrf 的几种策略

在业界目前防御 csrf 攻击主要有三种策略:验证 http referer 字段;在请求地址中添加 token 并验证;在 http 头中自定义属性并验证。下面就分别对这三种策略进行详细介绍。

验证 http referer 字段

根据 http 协议,在 http 头中有一个字段叫 referer,它记录了该 http 请求的来源地址。在通常情况下,访问一个安全受限页面的请求来自于同一个网站,比如需要访问 http://bank.example/withdraw?account=bob&amount=1000000&for=mallory,用户必须先登陆 bank.example,然后通过点击页面上的按钮来触发转账事件。这时,该转帐请求的 referer 值就会是转账按钮所在的页面的 url,通常是以 bank.example 域名开头的地址。而如果黑客要对银行网站实施 csrf 攻击,他只能在他自己的网站构造请求,当用户通过黑客的网站发送请求到银行时,该请求的 referer 是指向黑客自己的网站。因此,要防御 csrf 攻击,银行网站只需要对于每一个转账请求验证其 referer 值,如果是以 bank.example 开头的域名,则说明该请求是来自银行网站自己的请求,是合法的。如果 referer 是其他网站的话,则有可能是黑客的 csrf 攻击,拒绝该请求。

这种方法的显而易见的好处就是简单易行,网站的普通开发人员不需要操心 csrf 的漏洞,只需要在最后给所有安全敏感的请求统一增加一个拦截器来检查 referer 的值就可以。特别是对于当前现有的系统,不需要改变当前系统的任何已有代码和逻辑,没有风险,非常便捷。

然而,这种方法并非万无一失。referer 的值是由浏览器提供的,虽然 http 协议上有明确的要求,但是每个浏览器对于 referer 的具体实现可能有差别,并不能保证浏览器自身没有安全漏洞。使用验证 referer 值的方法,就是把安全性都依赖于第三方(即浏览器)来保障,从理论上来讲,这样并不安全。事实上,对于某些浏览器,比如 ie6 或 ff2,目前已经有一些方法可以篡改 referer 值。如果 bank.example 网站支持 ie6 浏览器,黑客完全可以把用户浏览器的 referer 值设为以 bank.example 域名开头的地址,这样就可以通过验证,从而进行 csrf 攻击。

即便是使用最新的浏览器,黑客无法篡改 referer 值,这种方法仍然有问题。因为 referer 值会记录下用户的访问来源,有些用户认为这样会侵犯到他们自己的隐私权,特别是有些组织担心 referer 值会把组织内网中的某些信息泄露到外网中。因此,用户自己可以设置浏览器使其在发送请求时不再提供 referer。当他们正常访问银行网站时,网站会因为请求没有 referer 值而认为是 csrf 攻击,拒绝合法用户的访问。

在请求地址中添加 token 并验证

csrf 攻击之所以能够成功,是因为黑客可以完全伪造用户的请求,该请求中所有的用户验证信息都是存在于 cookie 中,因此黑客可以在不知道这些验证信息的情况下直接利用用户自己的 cookie 来通过安全验证。要抵御 csrf,关键在于在请求中放入黑客所不能伪造的信息,并且该信息不存在于 cookie 之中。可以在 http 请求中以参数的形式加入一个随机产生的 token,并在服务器端建立一个拦截器来验证这个 token,如果请求中没有 token 或者 token 内容不正确,则认为可能是 csrf 攻击而拒绝该请求。

这种方法要比检查 referer 要安全一些,token 可以在用户登陆后产生并放于 session 之中,然后在每次请求时把 token 从 session 中拿出,与请求中的 token 进行比对,但这种方法的难点在于如何把 token 以参数的形式加入请求。对于 get 请求,token 将附在请求地址之后,这样 url 就变成 http://url?csrftoken=tokenvalue。 而对于 post 请求来说,要在 form 的最后加上 ,这样就把 token 以参数的形式加入请求了。但是,在一个网站中,可以接受请求的地方非常多,要对于每一个请求都加上 token 是很麻烦的,并且很容易漏掉,通常使用的方法就是在每次页面加载时,使用 javascript 遍历整个 dom 树,对于 dom 中所有的 a 和 form 标签后加入 token。这样可以解决大部分的请求,但是对于在页面加载之后动态生成的 html 代码,这种方法就没有作用,还需要程序员在编码时手动添加 token。

该方法还有一个缺点是难以保证 token 本身的安全。特别是在一些论坛之类支持用户自己发表内容的网站,黑客可以在上面发布自己个人网站的地址。由于系统也会在这个地址后面加上 token,黑客可以在自己的网站上得到这个 token,并马上就可以发动 csrf 攻击。为了避免这一点,系统可以在添加 token 的时候增加一个判断,如果这个链接是链到自己本站的,就在后面添加 token,如果是通向外网则不加。不过,即使这个 csrftoken 不以参数的形式附加在请求之中,黑客的网站也同样可以通过 referer 来得到这个 token 值以发动 csrf 攻击。这也是一些用户喜欢手动关闭浏览器 referer 功能的原因。

在 http 头中自定义属性并验证

这种方法也是使用 token 并进行验证,和上一种方法不同的是,这里并不是把 token 以参数的形式置于 http 请求之中,而是把它放到 http 头中自定义的属性里。通过 xmlhttprequest 这个类,可以一次性给所有该类请求加上 csrftoken 这个 http 头属性,并把 token 值放入其中。这样解决了上种方法在请求中加入 token 的不便,同时,通过 xmlhttprequest 请求的地址不会被记录到浏览器的地址栏,也不用担心 token 会透过 referer 泄露到其他网站中去。

然而这种方法的局限性非常大。xmlhttprequest 请求通常用于 ajax 方法中对于页面局部的异步刷新,并非所有的请求都适合用这个类来发起,而且通过该类请求得到的页面不能被浏览器所记录下,从而进行前进,后退,刷新,收藏等操作,给用户带来不便。另外,对于没有进行 csrf 防护的遗留系统来说,要采用这种方法来进行防护,要把所有请求都改为 xmlhttprequest 请求,这样几乎是要重写整个网站,这代价无疑是不能接受的。

java 代码示例

下文将以 java 为例,对上述三种方法分别用代码进行示例。无论使用何种方法,在服务器端的拦截器必不可少,它将负责检查到来的请求是否符合要求,然后视结果而决定是否继续请求或者丢弃。在 java 中,拦截器是由 filter 来实现的。我们可以编写一个 filter,并在 web.xml 中对其进行配置,使其对于访问所有需要 csrf 保护的资源的请求进行拦截。

在 filter 中对请求的 referer 验证代码如下
清单 1. 在 filter 中验证 referer

1
2
3
4
5
6
7
8
// 从 http 头中取得 referer 值
 string referer=request.getheader("referer"); 
 // 判断 referer 是否以 bank.example 开头
 if((referer!=null) &&(referer.trim().startswith(“bank.example”))){ 
    chain.dofilter(request, response); 
 }else
    request.getrequestdispatcher(“error.jsp”).forward(request,response); 
 }

以上代码先取得 referer 值,然后进行判断,当其非空并以 bank.example 开头时,则继续请求,否则的话可能是 csrf 攻击,转到 error.jsp 页面。

如果要进一步验证请求中的 token 值,代码如下

1
清单 2. 在 filter 中验证请求中的 token
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
httpservletrequest req = (httpservletrequest)request; 
 httpsession s = req.getsession(); 
  
 // 从 session 中得到 csrftoken 属性
 string stoken = (string)s.getattribute(“csrftoken”); 
 if(stoken == null){ 
  
    // 产生新的 token 放入 session 中
    stoken = generatetoken(); 
    s.setattribute(“csrftoken”,stoken); 
    chain.dofilter(request, response); 
 } else
  
    // 从 http 头中取得 csrftoken 
    string xhrtoken = req.getheader(“csrftoken”); 
  
    // 从请求参数中取得 csrftoken 
    string ptoken = req.getparameter(“csrftoken”); 
    if(stoken != null && xhrtoken != null && stoken.equals(xhrtoken)){ 
        chain.dofilter(request, response); 
    }else if(stoken != null && ptoken != null && stoken.equals(ptoken)){ 
        chain.dofilter(request, response); 
    }else
        request.getrequestdispatcher(“error.jsp”).forward(request,response); 
    
 }

首先判断 session 中有没有 csrftoken,如果没有,则认为是第一次访问,session 是新建立的,这时生成一个新的 token,放于 session 之中,并继续执行请求。如果 session 中已经有 csrftoken,则说明用户已经与服务器之间建立了一个活跃的 session,这时要看这个请求中有没有同时附带这个 token,由于请求可能来自于常规的访问或是 xmlhttprequest 异步访问,我们分别尝试从请求中获取 csrftoken 参数以及从 http 头中获取 csrftoken 自定义属性并与 session 中的值进行比较,只要有一个地方带有有效 token,就判定请求合法,可以继续执行,否则就转到错误页面。生成 token 有很多种方法,任何的随机算法都可以使用,java 的 uuid 类也是一个不错的选择。

除了在服务器端利用 filter 来验证 token 的值以外,我们还需要在客户端给每个请求附加上这个 token,这是利用 js 来给 html 中的链接和表单请求地址附加 csrftoken 代码,其中已定义 token 为全局变量,其值可以从 session 中得到。

1
清单 3. 在客户端对于请求附加 token
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
function appendtoken(){ 
    updateforms(); 
    updatetags(); 
 
  
 function updateforms() { 
    // 得到页面中所有的 form 元素
    var forms = document.getelementsbytagname('form'); 
    for(i=0; i
        var url = forms[i].action; 
  
        // 如果这个 form 的 action 值为空,则不附加 csrftoken 
        if(url == null || url == "" ) continue
  
        // 动态生成 input 元素,加入到 form 之后
        var e = document.createelement("input"); 
        e.name = "csrftoken"
        e.value = token; 
        e.type="hidden"
        forms[i].appendchild(e); 
    
 
  
 function updatetags() { 
    var all = document.getelementsbytagname('a'); 
    var len = all.length; 
  
    // 遍历所有 a 元素
    for(var i=0; i
        var e = all[i]; 
        updatetag(e, 'href', token); 
    
 
  
 function updatetag(element, attr, token) { 
    var location = element.getattribute(attr); 
    if(location != null && location != '' '' ) { 
        var fragmentindex = location.indexof('#'); 
        var fragment = null
        if(fragmentindex != -1){ 
  
            //url 中含有只相当页的锚标记
            fragment = location.substring(fragmentindex); 
            location = location.substring(0,fragmentindex); 
        
  
        var index = location.indexof('?'); 
  
        if(index != -1) { 
            //url 中已含有其他参数
            location = location '&csrftoken=' token; 
        } else
            //url 中没有其他参数
            location = location '?csrftoken=' token; 
        
        if(fragment != null){ 
            location = fragment; 
        
  
        element.setattribute(attr, location); 
    
 }

在客户端 html 中,主要是有两个地方需要加上 token,一个是表单 form,另一个就是链接 a。这段代码首先遍历所有的 form,在 form 最后添加一隐藏字段,把 csrftoken 放入其中。然后,代码遍历所有的链接标记 a,在其 href 属性中加入 csrftoken 参数。注意对于 a.href 来说,可能该属性已经有参数,或者有锚标记。因此需要分情况讨论,以不同的格式把 csrftoken 加入其中。

如果你的网站使用 xmlhttprequest,那么还需要在 http 头中自定义 csrftoken 属性,利用 dojo.xhr 给 xmlhttprequest 加上自定义属性代码如下:

1
清单 4. 在 http 头中自定义属性
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
                 
var plainxhr = dojo.xhr; 
 
// 重写 dojo.xhr 方法
dojo.xhr = function(method,args,hasbody) { 
   // 确保 header 对象存在
   args.headers = args.header || {}; 
 
   tokenvalue = '<%=request.getsession(false).getattribute("csrftoken")%>'
   var token = dojo.getobject("tokenvalue"); 
 
   // 把 csrftoken 属性放到头中
   args.headers["csrftoken"] = (token) ? token : "  "
   return plainxhr(method,args,hasbody); 
};

这里改写了 dojo.xhr 的方法,首先确保 dojo.xhr 中存在 http 头,然后在 args.headers 中添加 csrftoken 字段,并把 token 值从 session 里拿出放入字段中。

csrf 防御方法选择之道

通过上文讨论可知,目前业界应对 csrf 攻击有一些克制方法,但是每种方法都有利弊,没有一种方法是完美的。如何选择合适的方法非常重要。如果网站是一个现有系统,想要在最短时间内获得一定程度的 csrf 的保护,那么验证 referer 的方法是最方便的,要想增加安全性的话,可以选择不支持低版本浏览器,毕竟就目前来说,ie7 , ff3 这类高版本浏览器的 referer 值还无法被篡改。

如果系统必须支持 ie6,并且仍然需要高安全性。那么就要使用 token 来进行验证,在大部分情况下,使用 xmlhttprequest 并不合适,token 只能以参数的形式放于请求之中,若你的系统不支持用户自己发布信息,那这种程度的防护已经足够,否则的话,你仍然难以防范 token 被黑客窃取并发动攻击。在这种情况下,你需要小心规划你网站提供的各种服务,从中间找出那些允许用户自己发布信息的部分,把它们与其他服务分开,使用不同的 token 进行保护,这样可以有效抵御黑客对于你关键服务的攻击,把危害降到最低。毕竟,删除别人一个帖子比直接从别人账号中转走大笔存款严重程度要轻的多。

如果是开发一个全新的系统,则抵御 csrf 的选择要大得多。笔者建议对于重要的服务,可以尽量使用 xmlhttprequest 来访问,这样增加 token 要容易很多。另外尽量避免在 js 代码中使用复杂逻辑来构造常规的同步请求来访问需要 csrf 保护的资源,比如 window.location 和 document.createelement(“a”) 之类,这样也可以减少在附加 token 时产生的不必要的麻烦。

最后,要记住 csrf 不是黑客唯一的攻击手段,无论你 csrf 防范有多么严密,如果你系统有其他安全漏洞,比如跨站域脚本攻击 xss,那么黑客就可以绕过你的安全防护,展开包括 csrf 在内的各种攻击,你的防线将如同虚设。

总结与展望

可见,csrf 是一种危害非常大的攻击,又很难以防范。目前几种防御策略虽然可以很大程度上抵御 csrf 的攻击,但并没有一种完美的凯发天生赢家一触即发官网的解决方案。一些新的方案正在研究之中,比如对于每次请求都使用不同的动态口令,把 referer 和 token 方案结合起来,甚至尝试修改 http 规范,但是这些新的方案尚不成熟,要正式投入使用并被业界广为接受还需时日。在这之前,我们只有充分重视 csrf,根据系统的实际情况选择最合适的策略,这样才能把 csrf 的危害降到最低。



云云 2013-11-05 20:53 发表评论
]]>
网站地图