第三节 观察信度的检验
通过观察和记录所获得的行为资料的可靠性，将会直接影响到行为评估的结果，以及对行为改变所取得的结果的解释。引起观察结果发生误差的最主要因素是如前所述的观察时的影响因素，当然也可能有记录方法不当等原因。因此为了减少误差，提高观察及其结果记录的准确性，在观察记录过程中常采取一些特别措施。对观察及其结果记录进行检验就是一种行之有效的办法，也就是人们常说的观察信度检验法。所谓观察信度，是指观察所得结果的可靠性。
一、常用的观察信度检验方法
一般认为，观察研究的信度包括三种类型，即：一致性系数（coefficient of observer agreement）、稳定系数（stability coefficient）和信度系数（reliability coefficient）。一致性系数是指不同观察者同时观察同一行为，观察结果一致的情况，稳定系数是指同一观察者在不同时间内观察的符合度，信度系数是指不同观察者在不同时间内观察的符合度。
计算以上任何一种信度都可检验观察的可靠性。虽然也有些研究者认为增加观察的次数比增加观察的人数更合理，但是一般情况下，表示不同观察者同时观察的一致性系数用得最多。要想在观察中获得一致性系数就需要两个人在同一个观察阶段中各自独立地观察和记录相同主体的相同的目标行为，然后比较两个观察者的记录结果，并计算两个人记录结果中相同部分的比例。相同部分的比例越高，说明两人的记录一致性越高。这表明对目标行为的定义清楚、客观，而且观察者们正确地应用了记录方法。
两人的观察可以运用核对观察法和同时性观察法。核对观察法就是在评估行为的过程中，除了由一位观察者每天观察与记录外，再安排一位核对者每周抽样进行2～3次的核对观察，进而查核两位观察者的观察结果是否完全吻合。同时性观察法就是每天每次在同一观察时间段内，安排两位观察者同时进行观察，并分别记录观察结果，然后计算两人观察结果的一致性。这是最理想的做法，但由于增加了人手，就多耗时费工，因此只有在条件允许的情况下实施。
二、观察信度的计算方法
在行为改变技术中，观察和记录的目的是为了制定行为改变方案。但是，行为改变方案的执行是否有成效，是通过比较方案实施前后所得的行为资料来确定的。因此，所获得行为资料的可靠性如何，将直接影响到辅导结果的解释。为了提高观察结果的准确性，除了尽量避免会影响观察与记录结果的不良因素，运用两人以上对同一行为进行观察与记录外，还应当对他们观察与记录信度进行正确的计算，也就是应学会如何计算观察者间信度（IOR）。获得观察者间信度是行为研究中很重要的一个环节。在科学研究中，可以接受的最低IOR值是80％，如果可以达到90％以上则更为理想。
一般说来，观察者间信度常采用两种主要计算方法来检验：一是粗略的信度计算法；二是逐距核对信度计算法。
（一）观察者间粗略信度计算法
观察者间粗略信度的计算，就是将两人观察的结果中的较少次数（或时间、强度）除以较多次数（或时间、强度），再乘以百分之百，得出两人观察结果的一致百分率，以此来说明两位观察者间的信度。
如果两位观察者的观察结果完全一样，则二者的观察一致性是1.0或是100%。例如，记录一位智障儿童在每节课时间内“乱发怪声”的行为次数。根据甲观察员的记录，在周一上午10：00～10：40的观察时间内，被观察者共发出17次怪声；但根据乙观察员的记录结果，只有15次怪声，二者观察结果的一致性只有88%（15/17×100%=88%）。
粗略信度计算法的优点是较为简便，易于掌握，计算十分简单便利；其缺点是不够精确，检验得出的结果往往难以反映出两位观察者记录到同一事件的真实次数及其比率。因此，粗略信度检验法并非计算信度的最佳方法。
因此，如果采取粗略的信度计算方式，研究者只知道在40分钟的观察里，甲观察者所得结果是17次，乙观察者是15次，二者的观察一致性是88%。但事实上真实发出怪声的次数是20次（用录音机或录影机记录的结果），甲观察者记录到17次，故其一致性是85%；乙观察者更差，仅记录到15次，其一致性是75%。
在一般观察情境里，研究者似乎无法一一架设各种记录仪器（如录音机、录影机或摄影机等），所以真实的行为次数也就无法获知，因此一般不采用真实的信度计算方式。为了克服和避免粗略信度计算法的不足，可用逐距核对信度计算法来计算。
（二）逐距核对信度计算法
逐距核对信度计算法是建立在运用“时距记录表格”的基础上的，通常由甲、乙两位观察者分别逐一记录在每一个小时段内目标行为是否发生，然后核对两位观察者记录一致和不一致的次数，最后按照以下公式计算观察一致性百分率。
逐距核对计算法可以计算：①发生次数信度系数；②未发生次数信度系数；③发生与否判断一致百分率。
1.发生次数信度系数的计算
发生次数信度系数以计算两位观察者同时记录目标行为发生次数的判断一致性百分率来表示，通常称为“发生次数一致性百分率”。
2.未发生次数信度系数的计算
未发生次数信度系数是以计算目标行为未发生次数的判断一致性百分率来表示，通常称之为“未发生次数一致性百分率”，其计算公式为：
3.发生与否判断一致性百分率的计算
在计算“观察者间信度”时，研究者所重视的资料是不同观察者的判断一致性多高，也就是在特定的观察时段内，究竟目标行为是“发生”了，还是“未发生”。如果两位观察者在某一观察时段内，均判断目标行为“未发生”，就属“判断一致”。
说明：O代表甲、乙观察者判断目标行为发生的一致性次数；
N代表甲、乙观察者判断目标行为未发生的一致性次数；
T指事先划定的观察小时段数。
（摘自Tawney & Gast.单一受试研究法.台北：五南图书出版公司.1984.）
三、提高观察信度的有效途径
观察信度是根据观察与记录的内容来计算的。因此，要提高观察信度，最主要的是，应避免观察与记录中可能出现的误差。因此，首先，应提供清楚、完整、具体的目标行为的操作定义，从而促使不同观察者观察时的个体倾向和选择性知觉趋于一致。其次，记录任务应尽可能容易、简单，这样就使观察者的注意力容易集中于观察目标行为。此外，还要通过训练观察者正确有效地观察来提高观察信度。
总而言之，行为改变方案的实施与成效评估，完全建立在行为资料的收集、记录以及分析比较，因此观察与记录过程一定要力求客观、准确。
第四节 行为评估
通过观察及其他方式收集到的行为资料还要经过行为评估，才能运用到行为改变技术中去。行为评估贯穿于行为改变技术实施的全过程。从问题行为是否存在的确定，到对问题行为进行干预的方法的选择；从对阶段目标行为达到与否的判定，到对于整个干预效果的评价，每一个环节都离不开行为评估。因此，行为改变技术的实施必须以行为评估为基础。
一、行为评估概述
为了培养良好行为或进行问题行为的矫正而实施行为改变技术所进行的评估，是一个通过测量、观察、访谈等途径，系统收集所要改变的目标行为的有关信息，以便对行为改变措施做出正确决策以及对个案行为改变的效果进行评价的过程。评估贯穿着行为改变技术实施的全过程，也就是说，评估既要在行为改变之前，针对目标行为进行；也要在行为改变过程中，对阶段性目标进行；更要对总体目标完成情况进行。
外显的行为是指有机体运动、站立、抓物、推拉、发声、姿势等外部的、可观察到的行为表现。行为评估中一般不考虑内部的心理状态，只强调外部可见的行为。也就是说行为评估的任务侧重于行为的描述、评估和确定控制该行为的环境变量，选择适当的行为改变技术策略，塑造良好行为，评价改变效果。
在行为改变技术中，对目标行为的测量称为行为评估。行为评估在行为改变技术研究中具有重要意义：第一，在实施行为改变技术方案前进行行为评估，有助于确定实施行为改变是否有必要。第二，行为评估提供的信息，有助于选择最佳的行为改变方案。第三，行为方案实施前后的行为对比评估，有助于了解行为改变技术实施的效果。
行为评估的目的在于：①确定问题是否存在；②确定问题行为如何表现；③在确定前面两个问题的基础上组织系统的行为改变计划。
二、行为评估的形式
行为评估主要是对可观察行为的综合评价，其理论基础是行为主义理论，强调对行为或症状本身的测量和治疗。行为评估的形式丰富多样，从不同的角度可以划分为不同的方式：有正规评估也有非正规评估，有直接评估也有间接评估，有自评也有他评，还有数量化评估和非数量化评估以及诊断性、形成性与总结性评估等。
（一）正规评估与非正规评估
从行为评估所使用的工具来划分，可以分为正规评估和非正规评估。正规评估是指采用一些结构程序或标准化测验，将研究对象某方面的行为表现情况与标准对照，得出评估结果。研究者可以在初步确定研究对象具有某种问题行为的基础上，运用相关的标准化测验进一步验证该行为是否明显存在。如通过初步的资料收集，显示某学生具有攻击性行为，这时就可运用《儿童行为核查表（Child Behavior Checklist，CBCL）》进一步核实该生是否具有明显的攻击行为。由于有常模可以参照，正规评估比较容易看出研究对象在同龄群体中所处的位置，也比较客观。非正规评估是指使用除了有常模的标准化测量工具之外的所有方法，对研究对象的行为特点进行评价。主要包括对一系列行为特征的观察、作品的样本分析、访谈等。
（二）直接评估与间接评估
从评估过程参与者的角度划分，可以分为直接评估和间接评估。直接评估，是指在个体目标行为发生的同时，对其进行观察和记录。如当一位老师在学校对操场上某个性格内向孤僻的孩子进行观察，并对他的每项社交活动进行记录时，他所使用的就是直接评估。本章一、二节中介绍的行为观察与记录法，就是运用的直接评估。但是，为了全面了解目标行为的各种情况，有时也用间接评估，为目标行为的评估提供更多的信息。间接评估包括使用行为访谈法、自我报告法、行为问题核对表法等形式，从行为人或其他人（如父母、老师、朋友或同事）那里取得目标行为的信息。如当研究者向任课老师了解某个孩子在操场上和其他孩子有多少交往时，他所使用的就是间接评估。对目标行为使用直接评估的测量结果往往要比使用间接评估得到的结果准确。因为使用直接评估的观察者受过专门的观察与记录训练，能在目标行为出现的第一时间对其进行观测和记录。而间接评估中，有关目标行为的信息获取主要依靠评定人以外的他人的记忆，其记忆的准确性本身就是一个问题。另外，提供信息的人也可能因未受过观察训练而错过许多细节方面的问题，对目标行为的判断是否准确是一个更大的问题。所以说，间接评估实际上是建立在有关目标行为的不完整信息基础上的，因此大部分的行为改变技术的研究和应用都依赖于对目标行为的直接评估。
