不要为KPI而活着。KPI只是一堆数字。偏执于KPI会死的很难看。
臭名昭著的”毒奶粉“事件（三聚氰胺）是一个KPI失败的例子。质检总局们关注蛋白质含量等KPI，但是却忽视了其它有毒物质的检测方面，而实际上保证无害、健康才是最重要的检测目标 – business objective。搞得各家奶业公司竞相降价逐利，丧心病狂地掺杂三聚氰胺这样的”毒药“来提高蛋白质含量的KPI。 这样的KPI完成地再好，最终也落得个丢了乌纱帽、千夫所指的下场。
在企业中做IT也是这样同样的道理。
通常，各个IT部门都会有各自的一些KPI，这些指标有的是传统留下来的，大家都用的，比方说电路和设备的可用率等。也有为了反映当年的策略目标制定的。有的是自上而下的，有的是部门报上来的，经常一次几次的评审，最终确定为当年的KPI。KPI不可能很全，也不可能很多，另外，在一年之初也不可能全部预计到后面的发展。这些都注定KPI不是运行的全部目标，也不是保护伞。 Read more…
在Andrew的《安全度量》一书中，提到了一个关于反病毒系统的指标。 Dan Geer提到他的一位CSO朋友说：“去年他们阻止了70000个病毒进入内部网络，但是更为自豪的是阻止了500个病毒流向外网。”， 内外网的病毒比是140：1。 于是我也查了一下我们的数字，我们一个月阻止了12000个病毒进入内网，却有300个病毒流向外网，这样我们内外网的病毒比是40：1。按照Andrew的说法，似乎我们的内部网没有那位华尔街投资银行的网络干净。但是，为了比较这个指标，我们还需要另外一个数字，就是进入内部网络的邮件总数，流向外网的邮件总数，有了这两个数字后，其实我们就可以比较两个比例：
进入内网病毒率= 检测到的进入内部网络病毒数量 / 进入内部网络邮件总数
流向外网病毒率= 检测到的流向外网病毒数量 / 流向外网邮件总数
将上下两个病毒率进行比较，或许更有趣一些。大家可能会认为，一般企业两个出、入两个方向的邮件总数应该差不多。一般“入”方向肯定会大很多，因为至少有大量的垃圾邮件存在。垃圾邮件百分比现在居高不下，一般可能在40%-70%之间，甚至更高。
关于服务器的病毒感染率，尤其是邮件服务器和文件服务器、FTP服务器等，每日都有大量的文件交互，普通用户的文件染毒就会直接影响服务器染毒的指标。这个染毒不是系统级染毒。如何处理这个指标呢？与系统管理员的绩效联系起来，似乎有些还有些距离。
大家在安全运营工作中是如何处理各种各样的安全指标的，都来分享一下吧。
著名安全专家Bruce Schneier在CSO杂志上发表他关于安全投入回报的一个篇文章。我想这也就是Andrew在安全度量中提到的观点。读过这篇文章，事实上，Bruce并没有完全反对安全投入回报分析。他只是提醒安全经理小心使用安全厂商们的回报模型和数字，因为其中可能有很多水分，并不可靠。
Bruce也举了若干个例子来说明一般的财务ROI分析模型以及ALE（就是CISSP培训中的那个术语annualized loss expectancy ）不适用于小概率、巨损失的情形。而很多安全风险和投入就属于这一类。
Bruce的例子很有趣。ROI模型在小概率、大损失的场合不太适合使用，因为没有足够多的样本和数据可以用来统计。大家来看一下Bruce的例子。机场的安全检查新措施大概给每位旅客增加了半个小时的等待时间，按照统计数字，2007年美国一共有7.6亿人次旅客登机，这样总共的等待时间达到了惊人的43000年，假设人均寿命是70岁，就相当于这种安全检查每年杀死大概620个人。很令人吃惊吧！如果考虑到消耗的时间全部是清醒的时间、登机旅客的经济工作能力等，这个人数可能要达到上千人。好了，现在的问题来了 – 这样的安全检查措施值得吗？ROI分析需要证明如果不要安全检查的话，恐怖主义至少会杀死更多的人。
坦白说，这样的判断并不难做，911事件改变了很多人的看法。但是在互联网和IT系统中，这个判断和分析就不那么容易了。
This evening, I read one whitepaper sent by Paul a few days ago. This is a good whitepaper which covers much CISSP knowledge and financial terms, e.g. probability, NPV, etc. This whitepaper makes a new term – ROSI. It means Return On Security Investment.
This diagram is copied from the whitepaper which is used to illustrate the security investment and attitude. It’s interesting. Actually, security awareness is one of most important jobs of all CISO. They must be very good at promoting security and communicate with financial controllers and business decision makers.
It’s very cool that you can calculate quantitively the return against security investment, even though it must come along with a lot of assumptions.
Recent Comments