软件可靠性的几个问题

2.定义失效等级
定义失效等级主要是为了解决下面两个问题:
·对发生概率小但失效后危害严重的功能需求的识别。
·对可不查找失效原因、并不做统计的功能需求的识别。
在制定测试计划时,失效及其等级的定义应由测试人员、设计人员和用户共同商定,达成协议。一般的等级定义如表所示@@16115000.GIF;表1失效等级定义@@如果存在1级和2级失效可能性,那么就应该进行故障树分析,标识出所有可能造成严重失效的功能需求和其相关的输入域、外部条件和发生的可能性对引起1级和2级失效的功能需求及其相关的输入域必须进行严格的强化测试。对引起3级失效的功能可按其发生概率选择测试实例。第4级失效可不查找原因,可在以后的版本中处理。

[color=#000000][font=ˎ̥][size=11pt][font=宋体,MSSong]4.[/font][/font][font=宋体][size=11pt]软件可靠性测试的效果软件可靠性测试是软件可靠性保证过程中非常关键的一步。[/font][font=ˎ̥][size=11pt]

[font=宋体,MSSong][color=#000000][/font][/font][color=#000000][font=宋体][size=11pt]经过软件可靠性测试的软件并不能保证该软件中残存的错误数最小[/font][font=ˎ̥][size=11pt][font=宋体,MSSong],[/font][/font][font=宋体][size=11pt]但可以保证该软件的可靠性达到较高的要求。从工程的角度来看[/font][font=ˎ̥][size=11pt][font=宋体,MSSong],[/font][/font][font=宋体][size=11pt]一个软件的可靠性高不仅意味着该软件的失效率低[/font][color=#000000][font=ˎ̥][size=11pt][font=宋体,MSSong],[/font][/font][font=宋体][size=11pt]而且意味着一旦该软件失效[/font][font=ˎ̥][size=11pt][font=宋体,MSSong],[/font][/font][font=宋体][size=11pt]由此所造成的危害也小。一个大型的工程软件没有错误是不可能的[/font][font=ˎ̥][size=11pt][font=宋体,MSSong],[/font][/font][font=宋体][size=11pt]至少理论上还不能证明一个大型的工程软件能没有错误。因此[/font][font=ˎ̥][size=11pt][font=宋体,MSSong],[/font][/font][font=宋体][size=11pt]保证软件可靠性的关键不是确保软件没有错误[/font][font=ˎ̥][size=11pt][font=宋体,MSSong],[/font][/font][font=宋体][size=11pt]而是要确保软件的关键部分没有错误[/font][color=#000000][font=宋体][size=11pt]。更确切地说[/font][font=ˎ̥][size=11pt][font=宋体,MSSong],[/font][/font][font=宋体][size=11pt][color=#000000]是要[color=red]确保软件中没有对可靠性影响较大的错误。这正是软件可靠性测试的目的之一[color=#000000]。[color=blue]软件可靠性测试的侧重点不同于一般的软件功能测试[/font][font=ˎ̥][size=11pt][font=宋体,MSSong],[/font][/font][font=宋体][size=11pt]其测试实例设计的出发点是寻找对可靠性影响较大的故障[/font][color=#000000][font=宋体][size=11pt]。因此[/font][font=ˎ̥][size=11pt][font=宋体,MSSong],[/font][/font][font=宋体][size=11pt]要达到同样的可靠性要求[/font][font=ˎ̥][size=11pt][font=宋体,MSSong],[/font][/font][font=宋体][size=11pt]可靠性测试比一般的功能测试更有效[/font][font=ˎ̥][size=11pt][font=宋体,MSSong],[/font][/font][font=宋体][size=11pt]所花的时间也更少。另外[/font][font=ˎ̥][size=11pt][font=宋体,MSSong],[/font][/font][font=宋体][size=11pt]软件可靠性测试的环境是具有使用[color=blue]代表性的环境[/font][font=ˎ̥][size=11pt][font=宋体,MSSong],[/font][/font][color=#000000][font=宋体][size=11pt]这样[/font][font=ˎ̥][size=11pt][font=宋体,MSSong],[/font][/font][font=宋体][size=11pt]所获得的测试数据与软件的实际运行数据比较接近[/font][font=ˎ̥][size=11pt][font=宋体,MSSong],[/font][/font][font=宋体][size=11pt]可用于软件可靠性估计。总之[/font][font=ˎ̥][size=11pt][font=宋体,MSSong],[/font][/font][color=red][font=宋体][size=11pt]软件可靠性测试比一般的功能测试更加经济和有效[/font][font=ˎ̥][size=11pt][font=宋体,MSSong],[/font][/font][font=宋体][size=11pt]它可以代替一般的功能测试[/font][font=ˎ̥][size=11pt][font=宋体,MSSong],[/font][/font][font=宋体][size=11pt]而一般的软件功能测试却不能代替软件可靠性测试[/font][font=ˎ̥][size=11pt][font=宋体,MSSong],[/font][/font][font=宋体][size=11pt][color=red]而且一般功能测试所得到的测试数据也不宜用于软件可靠性估计。[/font][font=宋体][size=11pt][color=#000000]（这句话不敢苟同！）[/font][font=ˎ̥][size=11pt]

[font=宋体,MSSong][color=#000000][/font][/font][font=宋体][size=11pt][color=#000000]二、软件可靠性测试中需注意的问题[/font][font=ˎ̥][size=11pt]

[font=宋体,MSSong][color=#000000][/font][/font][color=#000000][font=宋体][size=11pt]软件可靠性测试一般可分为四个阶段[/font][font=ˎ̥][size=11pt][font=宋体,MSSong]:[/font][/font][font=宋体][color=blue][size=11pt]制定测试方案[/font][font=ˎ̥][size=11pt][font=宋体,MSSong][color=#000000],[/font][/font][font=宋体][color=red][size=11pt]制定测试计划[/font][font=ˎ̥][size=11pt][font=宋体,MSSong],[/font][/font][font=宋体][color=blue][size=11pt]进行测试并记录测试结果[/font][font=ˎ̥][size=11pt][font=宋体,MSSong][color=#000000],[/font][/font][font=宋体][color=red][size=11pt]编写测试报告[/font][font=宋体][size=11pt][color=#000000]。制定测试方案时需要特别注意被测功能的识别和失效等级的定义。制定测试计划时需设计测试实例[font=ˎ̥][size=11pt][font=宋体,MSSong],[/font][/font][font=宋体][size=11pt]决定测试时要[color=blue]确定输入顺序[/font][font=ˎ̥][size=11pt][font=宋体,MSSong],[/font][/font][font=宋体][size=11pt]并确定程序输出的预期结果[/font][font=ˎ̥][size=11pt][font=宋体,MSSong],[/font][/font][font=宋体][size=11pt]这时也需注[color=blue]意测试覆盖问题。[/font][/font][font=ˎ̥][size=11pt]

[font=宋体,MSSong][color=#000000]1.[/font][/font][font=宋体][size=11pt][color=#000000]功能识别[/font][font=ˎ̥][size=11pt]

[font=宋体,MSSong][color=#000000]
[/font][/font][color=blue][font=宋体][size=11pt]软件可靠性测试的第一步就是进行功能识别[/font][font=ˎ̥][size=11pt][font=宋体,MSSong],[/font][/font][font=宋体][size=11pt]确定使用剖面[/font][font=宋体][size=11pt][color=blue]。[color=#000000]功能识别的目标是[font=ˎ̥][size=11pt][font=宋体,MSSong]:[/font][/font][font=宋体][size=11pt]识别所有被测功能以及执行这些功能所需的相关输入[/font][font=ˎ̥][size=11pt][font=宋体,MSSong],[/font][/font][font=宋体][size=11pt]识别每一个使用需求及其相关输入的概率分布。为达到第一个目标[/font][font=ˎ̥][size=11pt][font=宋体,MSSong],[/font][/font][font=宋体][size=11pt]需要分析软件功能的所有集合[/font][font=ˎ̥][size=11pt][font=宋体,MSSong],[/font][/font][font=宋体][size=11pt]这些功能之间全部的约束条件[/font][font=ˎ̥][size=11pt][font=宋体,MSSong],[/font][/font][font=宋体][size=11pt]功能之间的独立性、相互关系和相互影响[/font][font=ˎ̥][size=11pt][font=宋体,MSSong],[/font][/font][font=宋体][size=11pt]还需分析系统的不同运行模式、失效发生时系统重构策略等对软件运行方式有较大影响的因素。第一个目标也是一般软件功能测试需要达到的目标[/font][font=ˎ̥][size=11pt][font=宋体,MSSong],[/font][/font][font=宋体][size=11pt]但第二个目标则是软件可靠性测试特别强调的。为了得到能够反映软件使用的有代表性的概率分布[/font][font=ˎ̥][size=11pt][font=宋体,MSSong],[/font][/font][font=宋体][size=11pt]测试人员必须和系统工程师、系统运行分析员和顾客共同合作。需要指出的是[/font][font=ˎ̥][size=11pt][font=宋体,MSSong],[/font][/font][font=宋体][size=11pt]由于可靠性的要求[/font][font=ˎ̥][size=11pt][font=宋体,MSSong],[/font][/font][/font][font=宋体][color=blue][size=11pt]输入数据的概率分布应包括合法数据的概率分布和非法数据的概率分布两部分[/font][color=#000000][font=宋体][size=11pt]。有时为了更好地反映实际使用状况[/font][font=ˎ̥][size=11pt][font=宋体,MSSong],[/font][/font][font=宋体][size=11pt]还需给出那些[color=blue]影响程序运行方式的条件[/font][color=blue][font=ˎ̥][size=11pt][font=宋体,MSSong],[/font][/font][font=宋体][size=11pt]如硬件配置、负荷等的概率分布[/font][font=宋体][size=11pt][color=#000000]。[/font]

[[i]本帖最后由xiankeji928于2007-9-1514:17编辑[/i]]

[font=宋体][size=11pt][color=#000000]网上搜到的资料，对楼主应该有所启发！[/font]
[font=宋体][size=11pt][color=#000000]一、对软件可靠性测试的认识[/font][font=ˎ̥][size=11pt]
[font=TimesNewRoman][color=#000000]1.[/font][/font][font=宋体][size=11pt][color=#000000]有关术语[/font][font=ˎ̥][size=11pt]
[font=TimesNewRoman][color=#000000](1)[/font][/font][color=#000000][font=宋体][size=11pt]软件可靠性[/font][font=ˎ̥][size=11pt][font=TimesNewRoman][/font][/font][color=blue][font=宋体][size=11pt]在规定条件下[/font][font=ˎ̥][size=11pt][font=TimesNewRoman],[/font][/font][font=宋体][size=11pt]在规定时间内[/font][font=ˎ̥][size=11pt][font=TimesNewRoman],[/font][/font][font=宋体][size=11pt]软件不引起系统失效的概率[/font][font=宋体][size=11pt][color=#000000]。该概率是系统输入和系统使用的函数[font=ˎ̥][size=11pt][font=TimesNewRoman],[/font][/font][font=宋体][size=11pt]也是软件中存在故障的函数[/font][font=ˎ̥][size=11pt][font=TimesNewRoman],[/font][/font][font=宋体][size=11pt]系统输入将确定是否会遇到存在的故障。[/font][/font][font=ˎ̥][size=11pt]
[font=TimesNewRoman][color=#000000](2)[/font][/font][color=#000000][font=宋体][size=11pt]软件可靠性估计[/font][font=ˎ̥][size=11pt][font=TimesNewRoman][/font][/font][font=宋体][size=11pt]应用统计技术处理在系统测试和运行期间采集、观察到的失效数据[/font][font=ˎ̥][size=11pt][font=TimesNewRoman],[/font][/font][font=宋体][size=11pt]以评估该软件的可靠性。[/font][color=#000000][font=ˎ̥][size=11pt][font=TimesNewRoman]
(3)[/font][/font][font=宋体][size=11pt]软件可靠性测试[/font][font=ˎ̥][size=11pt][font=TimesNewRoman][/font][/font][font=宋体][size=11pt][color=#000000]在有[color=red]使用代表性的环境[color=#000000]中[/font][color=#000000][font=ˎ̥][size=11pt][font=TimesNewRoman],[/font][/font][font=宋体][size=11pt]为进行软件可靠性估计对该软件进行的功能测试。需要说明的是[/font][font=ˎ̥][size=11pt][font=TimesNewRoman],”[/font][/font][font=宋体][size=11pt]使用代表性[/font][font=ˎ̥][size=11pt][font=TimesNewRoman]”[/font][/font][font=宋体][size=11pt]指的是在统计意义下该环境能反映出软件的使用环境特性。[/font][font=ˎ̥][size=11pt]
[font=TimesNewRoman][color=#000000]2.[/font][/font][font=宋体][size=11pt][color=#000000]软件可靠性测试的目的[/font][font=ˎ̥][size=11pt]
[font=TimesNewRoman][color=#000000][/font][/font][font=宋体][size=11pt][color=#000000]软件可靠性测试的主要目的有[/font][color=#000000][font=ˎ̥][size=11pt][font=TimesNewRoman]:
(1)[/font][/font][font=宋体][size=11pt]通过在有使用代表性的环境中执行软件[/font][font=ˎ̥][size=11pt][font=TimesNewRoman],[/font][/font][font=宋体][size=11pt][color=#000000]以[color=red]证实软件需求是否正确实现[color=#000000]。[/font][font=ˎ̥][size=11pt]
[font=TimesNewRoman][color=#000000](2)[/font][/font][font=宋体][size=11pt]为进行软件可靠性估计采集准确的数据[/font][font=宋体][size=11pt][color=#000000]。[color=blue]估计软件可靠性[color=#000000]一般可[color=blue]分为四个步骤[/font][font=ˎ̥][size=11pt][font=TimesNewRoman],[/font][/font][font=宋体][size=11pt][color=#000000]即[color=blue]数据采集、模型选择、模型拟合以及软件可靠性评估[color=#000000]。可以认为[/font][color=#000000][font=ˎ̥][size=11pt][font=TimesNewRoman],[/font][/font][font=宋体][size=11pt]数据采集是整个软件可靠性估计工作的基础[/font][font=ˎ̥][size=11pt][font=TimesNewRoman],[/font][/font][font=宋体][size=11pt]数据的准确与否关系到软件可靠性评估的准确度。[/font][font=ˎ̥][size=11pt]
[font=TimesNewRoman][color=#000000](3)[/font][/font][font=宋体][size=11pt][color=#000000]通过软件可靠性测试[color=red]找出所有对软件可靠性影响较大的错误[color=#000000]。[/font][font=ˎ̥][size=11pt]
[font=TimesNewRoman][color=#000000]3.[/font][/font][font=宋体][size=11pt][color=#000000]软件可靠性测试的特点[/font][font=ˎ̥][size=11pt]
[font=TimesNewRoman][color=#000000][/font][/font][color=#000000][font=宋体][size=11pt]软件可靠性测试不同于硬件可靠性测试[/font][font=ˎ̥][size=11pt][font=TimesNewRoman],[/font][/font][font=宋体][size=11pt][color=#000000]这主要是因为二者失效的原因不同。[color=magenta]硬件失效一般是由于元器件的老化引起的[/font][color=magenta][font=ˎ̥][size=11pt][font=TimesNewRoman],[/font][/font][font=宋体][size=11pt]因此硬件可靠性测试强调随机选取多个相同的产品[/font][font=ˎ̥][size=11pt][font=TimesNewRoman],[/font][/font][font=宋体][size=11pt]统计它们的正常运行时间。正常运行的平均时间越长[/font][font=ˎ̥][size=11pt][font=TimesNewRoman],[/font][/font][font=宋体][size=11pt]则硬件就越可靠。软件失效是由设计缺陷造成的[/font][font=ˎ̥][size=11pt][font=TimesNewRoman],[/font][/font][font=宋体][size=11pt][color=magenta]软件的输入决定是否会遇到软件内部存在的故障。因此[/font][font=ˎ̥][size=11pt][font=TimesNewRoman],[/font][/font][font=宋体][size=11pt]使用同样一组输入反复测试软件并记录其失效数据是没有意义的[/font][color=#000000][font=宋体][size=11pt]。在软件没有改动的情况下[/font][font=ˎ̥][size=11pt][font=TimesNewRoman],[/font][/font][font=宋体][size=11pt]这种数据只是首次记录的不断重复[/font][font=ˎ̥][size=11pt][font=TimesNewRoman],[/font][/font][font=宋体][size=11pt][color=#000000]不能用来估计软件可靠性。[color=blue]软件可靠性测试强调按实际使用的概率分布随机选择输入[/font][font=ˎ̥][size=11pt][font=TimesNewRoman],[/font][/font][font=宋体][size=11pt][color=blue]并强调测试需求的覆盖面。[/font][font=宋体][size=11pt][color=#000000]软件可靠性测试也不同于一般的软件功能测试。[color=blue]相比之下[/font][color=blue][font=ˎ̥][size=11pt][font=TimesNewRoman],[/font][/font][font=宋体][size=11pt]软件可靠性测试更强调测试输入与典型使用环境输入统计特性的一致[/font][font=ˎ̥][size=11pt][font=TimesNewRoman],[/font][/font][font=宋体][size=11pt]强调对功能、输入、数据域及其相关概率的先期识别[/font][font=宋体][size=11pt]。[/font][font=宋体][size=11pt]测试实例的[color=blue]采样策略也不同[/font][color=#000000][color=blue][font=ˎ̥][size=11pt][font=TimesNewRoman],[/font][/font][font=宋体][size=11pt]软件可靠性测试必须按照使用的概率分布随机地选择测试实例[/font][font=ˎ̥][size=11pt][font=TimesNewRoman],[/font][/font][font=宋体][size=11pt]这样才能得到比较准确的可靠性估计[/font][font=ˎ̥][size=11pt][font=TimesNewRoman],[/font][/font][font=宋体][size=11pt]也有利于找出对软件可靠性影响较大的故障。此外[/font][font=ˎ̥][size=11pt][font=TimesNewRoman],[/font][/font][font=宋体][size=11pt]软件可靠性测试过程中还要求比较准确地[color=blue]记录软件的运行时间[/font][color=blue][font=ˎ̥][size=11pt][font=TimesNewRoman],[/font][/font][font=宋体][size=11pt]它的输入覆盖一般也要大于普通软件功能测试的要求[/font][font=宋体][size=11pt][color=#000000]。[color=blue]对一些特殊的软件[/font][color=#000000][font=ˎ̥][size=11pt][font=TimesNewRoman],[/font][/font][font=宋体][size=11pt]如容错软件、实时嵌入式软件等[/font][font=ˎ̥][size=11pt][font=TimesNewRoman],[/font][/font][font=宋体][size=11pt][color=#000000]进行软件可靠性测试时[color=blue]需要有多种测试环境[color=#000000]。这是因为在使用环境下常常很难在软件中植入错误[/font][color=#000000][font=ˎ̥][size=11pt][font=TimesNewRoman],[/font][/font][font=宋体][size=11pt]以进行针对性的测试。[/font]

[[i]本帖最后由xiankeji928于2007-9-1514:20编辑[/i]]

刚刚从某个软件网站看到的，写得不错！转载下！
从用户角度来看，软件可靠性可以分四个层次来看：
第一个层面：软件不出现故障；
第二个层面：软件即使出现故障，也仅对性能有部分影响，而设备的功能不受损失；
第三个层面：软件出现故障并造成部分功能受损失，但是能够很快恢复业务；
第四个层面：软件出现较大故障，并造成大部分功能受损、业务中断或瘫痪，但能够尽快恢复业务（无论是手工恢复还是自动恢复）；

对应于不同的可靠性层次，要求系统有相应的层次设计要求和维护要求，例如：
对于第一个层面：要求系统能够按照充分的规范来进行设计，加强各种异常处理能力和环境适应能力等；
对于第二个层面：要求系统有较高的容错能力，使用冗余技术和备份技术等；
对于第三个层面：要求系统有很好的可测试性，能迅速隔离问题和定位问题等；
对于第四个层面：要求系统有较高的可维护性等

[[i]本帖最后由cliffcrag于2007-9-1509:51编辑[/i]]

羡慕我？晕！我还羡慕你呢！哈哈！上面的问题真的要感谢MM和robert928两位版主，给了我很多比较满意的答复！呵呵！如果还有高人能回答完其他问题就好了！我以后还会有一些问题请教两位和各位高人！到时候还请不吝赐教！:lol:handshake

我基本上是停留在纸上谈兵阶段,很羡慕你们现在能直接做软件测试的人,因为觉得这是一个非常好的方向,但是现在大家对软件测试的认识还不够,就是觉得测一测就完事这样的,还有很多人不屑于做软件测试的工作,认为甚至不如开发软件的人有地位,但是,我相信,时间会证明一切,软件测试是一个很有创造性的工作,真正做好软件测试是一件很难的事,而不象很多公司那样,只让新人来做.所以努力工作学习,以后这个方向一定是非常好的.
至于软件可靠性测试,我觉得国内工程化的非常少,目前还主要停留在理论研究阶段,当然,也并不是没有,主要是我现在接触的比较少而已,眼界比较窄,:P呵呵

是的！很赞同MM的看法，今天特地问了公司专门搞软件测试的同事，没几个人对这个了解，知道的比我还少！我郁闷啊！欲问无门！MM对理论比较熟悉，实际操作不知道如何，我手头的软件现在已经测试完一半了，还有20多个软件要测试，我基本都是当成软件测试的，没有测试其可靠性，我不太熟悉怎么构建其失效剖面，我就基本上是做一些违规操作，看软件对不同失效的反应。哎！郁闷死！搞软件可靠性测试的人太少啦！我的这方面也比较差！接触软件测试才半年！晕死！

软件测试是软件开发过程的内容,原来的测试是一个阶段,在开发后,现在的测试含义更大,从需求分析开始,大致分成单元测试,集成测试,系统测试等几个阶段,每个阶段测试的内容和重点不一样,而软件可靠性测试通常只对于有高可靠性要求的软件系统进行

首先感谢MM版主的回答，还有2个问题没回答呢！MM有空回复下！
哈哈！行家就是不一样。老实说，我把软件测试和软件可靠性测试没有区分开，他们之间的本质区别我还没弄清楚。有几个定义我还要去查找一些资料，感觉失效强度的定义怎么有点像故障密度。
[quote]
（6）通常的测试覆盖率都是对软件测试的各个阶段而言的，常见的有逻辑覆盖，如语句，条件等等，还有功能覆盖等等，应该是属于测试策略的范畴，而软件可靠性测试通常指的是按照特定的操作剖面进行的测试，很少涉及到覆盖率的问题。
[/quote]
对于第6个答案：MM火眼金睛啊！一下就知道我把软件测试和软件可靠性测试还没区分开。但是“软件可靠性测试通常指的是按照特定的操作剖面进行的测试”这个特定操作剖面指那些啊？
一般的软件测试是指软件兼容性，操作的适用性，人机对话的友好性，数据接口，稳定性，语句的简洁性等等！你说的前面一部分的确是软件测试的项目！
我看了些论坛上的资料，几乎将软件可靠性测试与软件测试等同起来了。
神经网络：以前学过一点神经网络与系统辨识，都忘得差不多了，蛮难的学科！:L

IE自动关闭！可怜！谢谢MM，金币送上！哈哈！

[[i]本帖最后由passway于2007-9-1208:44编辑[/i]]

看来这些问题,只有你们这样的高手讨论..

我是半点看不懂…:L

那你不是又重写了一篇啊.辛苦MM了…

很多问题没有passway想的细致,特别是工程性的,不当指出大家多指出,就当抛砖引玉了,
(1)软件总体复杂性看你怎么定义,如通常说的复杂性是指时间复杂性和空间复杂性,对算法而言,而对于想功能点和代码行等,是对软件规模而言的，也是复杂性的一个方面，通过一些静态测试工具可以实现
（2）软件失效强度是单位时间内的故障数，在有了失效数据得情况下可以得到
（5）目前可靠性定量分析主要是通过现有的可靠性模型，利用收集到的数据对参数进行估计后，就可以实现可靠性的预测了。
（6）通常的测试覆盖率都是对软件测试的各个阶段而言的，常见的有逻辑覆盖，如语句，条件等等，还有功能覆盖等等，应该是属于测试策略的范畴，而软件可靠性测试通常指的是按照特定的操作剖面进行的测试，很少涉及到覆盖率的问题。
（7）神经网络的预测可靠性的问题，可以看一看基本的神经网络预测的原理。

刚才ie自己关了,白写了半天:'(