1、,研究测量系统,如果很多人评估同一事物，他们需要达成一致:相互之间 他们自己间属性数据比计量型数据包括更少的信息，但往往我们只能得到这样的数据所以,我们必须对完整的属性测量系统进行持续不断的研究问题是我能够相信我的测量系统得到的数据吗?,属性数据 MSA,确定:与整体一致的%（所有评价者与标准）评价者自身一致的%（重复性）评价者之间一致的%（再现性）（所有评价者之间）与已知标准一致的%（准确性）（每个评价者与 标准）Kappa（究竟测量系统比随机偶然性好多少）,属性 MSA 目标,非参数方式提供了一些处理主观属性数据的工具Kappa 技术可以用于属性（计数型）/分类数据的分级当质量标准难于或不
2、可能定义时使用几个测量单位必须由一个以上的评价者测量一次以上如果基本上是一致的,存在评价正确的可能性如果一致性差,评价是 非常有限的,Kappa 技术,需要跨越流程30-50个样本大部分应该来自于 灰色区域剩余部分应该是明确的好或明确的不好例如:发票错误我们收集30张发票样本5 张有明确的缺陷（一个单独的缺陷或足够多的小缺陷足以拒收的发票）5 张明确可以接受的发票（所有都正确）剩余的样本在数量及缺陷类型各不相同,属性测量研究:方法,挑选 2-3 个经常评估的人随机地向一个人提供样本（不告诉哪个样本是哪个）并让这个人评估每一项一旦第一个人完成对所有项目的评估，让其他的几个人重复这个工作一旦每个人
3、都已经评估了每一项，再重复一遍上面的实验注意:所有评估人、项目及“实验”的组合都应该被描绘每个评估人必须检测所有项目每个评估人必须检测同样次数的项目（实验）,属性测量研究 方法,在属性MSA研究过程中,Kappa 被用来总结在去除偶然一致性后在评估人之间的一致程度如果存在实质性的一致,那就存在级别准确的 可能性如果不能达成一致,分级的有效性就 非常有限了使用需求:测量的单位是彼此独立的评估人的检验及分类是独立的分类级别相互排斥及彻底的Minitab 计算Kappa值作为属性一致性分析输出的一部分,Kappa 技术,Kappa（K）被定义为在剔除偶然一致之后评价者之间的一致比例:这里:Pobse
4、rved=评价者一致同意的分类比率Pchance=评价者偶然一致的分类比率,Kappa,Kappa 将在 1及+1之间,Kappa值为+1的代表完全一致一般规则:如果 K0.70,就需要注意测量系统!,Kappa 技术,Kappa 可以应用于有多个评价者和具有多个分类的情况客户返品案例:一个绿带有一个减少客户返品的项目。由一位客户服务代表（CSR）给每一个客户返品标识一个代码。大家会担心CSR们标识代码时不能够始终一致。三个评价者被要求为30个返品标识原因代码。每个评价者评价两次（在两个不同时间各做一次）。绿带同时要求一个部门专家来评价返品情况,Kappa 技术,项目:TR MSA ATT.M
5、PJ工作表:Customer Returns.MTW设计:3 CSRs（评价者）2 天30 次退货（样本）代码在 Category列中专家值在Expert列中,Minitab 属性一致性分析,使用属性一致性分析来分析属性测量系统的结果,Minitab 属性一致性分析,首先填写适当的列信息,确保在窗口结果 中的Kappa选项被选中,包括专家评级,Minitab 属性一致性分析,注意:这两个图有不同的测量刻度!,评价者自身的一致性就象重复性这里 CSR 1 自身对退货判定有90%的一致性,CSR 2自身对退货判定有86.7%的一致性，而 CSR 3自身对退货判定有92%的一致性.图上显示了一致性的
6、%的95%的置信区间,这个图显示了在CSRs与专家观点之间一致性的%,图表分析,与左图类似的信息（看前面的幻灯片）增加特定的匹配及检验数量,评估一致性#检#相 95%置信区检验员 验数 符数 百分比 间A 30 23 76.67（57.72,90.07）B 30 20 66.67（47.19,82.71）C 30 22 73.33（54.11,87.72）#相符数:检验员在多次试验中的评估与已知标准一致。,数字输出:评价者自身,我们希望 90%或更好的一致性,这显示了评价者被给予“正确”答案的频率,每个检验员与标准 评估一致性#检#相 95%置信区检验员 验数 符数 百分比 间A 30 23
7、76.67（57.72,90.07）B 30 20 66.67（47.19,82.71）C 30 22 73.33（54.11,87.72）#相符数:,数字输出：评价者与专家,所有评价者与标准给出了检验标准有效性的指标:,评价者之间的一致性与再现性相似:,检验员之间 评估一致性#检#相 95%置信区验数 符数 百分比 间 30 17 56.67（37.43,74.54）#相符数:所有检验员的评估一致。,所有检验员与标准 评估一致性#检#相 95%置信区验数 符数 百分比 间 30 15 50.00（31.30,68.70）#相符数:所有检验员的评估与已知的标准一致。,数字输出,为评价者之间提供
8、每一类缺陷的Kappa 值（及其它部分）我们能够识别缺陷类型到什么程度?Fleiss Kappa 统计量响应 Kappa Kappa 标准误 Z P（与 0）Administrative 0.477840 0.0471405 10.1365 0.0000Damaged 0.941157 0.0471405 19.9650 0.0000Incorrect Product 0.794286 0.0471405 16.8493 0.0000Overstock 0.876076 0.0471405 18.5844 0.0000Planned Adjustment 0.680000 0.0471405
9、14.4250 0.0000Pricing 0.639733 0.0471405 13.5708 0.0000Quality 0.839881 0.0471405 17.8166 0.0000Quantity 0.191011 0.0471405 4.0520 0.0000整体 0.710607 0.0209700 33.8869 0.0000,整体Kappa（在评价者之间）代表了广泛研究一致 性（贯穿评价者及分类之间）,评估你看到的样本之间的偏差匹配比偶然一致性好多少,数字输出 Kappa,对于这个例子,下面的Kappa 值被计算为评价者自身单个类别的 Kappa 代表每个评价者多次评价同一
10、个样本的一致性每个评价者的总体 Kappa 代表评价者对于所有分类的一致性在评价者之间单个类别的 Kappa 代表所有评价者对于那个分类样本的一致性总体 Kappa 代表整个研究范围的一致性（涵盖所有评价者和分类）,Kappa 技术,要改善这个测量系统就很可能需要改变每个缺陷类型的操作定义或再次训练评价者，或二者都需要,解释结果范围从 0.19 到 0.94的独立 Kappa值,意味着在评价者中的一致性是:Damaged:非常好（0.9412）;Administrative and Quantity:不可接受（0.4778,0.191）Planned adjustments and Prici
11、ng:可接受的边缘（0.68,0.6397）Incorrect product,Overstock,and Quality:较好（0.7943,0.8761,0.8399）总体 Kappa 是 0.7106,指示系统可以使用一些改善方法,Kappa 技术,目标:在图片中找“次”工具:3 个检验员10张图片程序:在开袋前，用操作定义来定义你们关注的缺陷条件（缺墨、脏污，色差三种）让你们的检验员评价图片样本的材料评价测量系统报告任何建议的改进活动时间:30分钟,练习:找“次”,测量系统在开始流程改善活动之前的分析很重要在选取样本时留意 注意正确的分组和样本量需求分析操作员/评价者，部件/项目及试验效果的测量系统确保测量系统具有足够的区分样本的分辨率总要产生一个测量仪器 R&R报告来记录发现、方法及改善机会总的观察变异包括测量误差 试图将测量系统内的可控误差最小化,总结,
