- 程序有所改变。发帖如还有问题请报告
- 【征集】西西河的经济学，及清流措施，需要主动参与者，『稷下学宫』新认证方式，24年网站打算和努力目标
主题：也论Simpson悖论：如何评价歧视？ -- 类反词典
家园 也论Simpson悖论：如何评价歧视？ 最近有河友讨论这个问题，我认为原来的解答存在逻辑漏洞，并不能导出预想的结论。而且我发现这个现象具有很大的普遍性，因此在这里单开主贴讨论。
由于这个漏洞非常隐蔽，因此我在讨论中，要求参与讨论的河友写出数学公式来分析，但似乎大家热情不高。这几天我反复推导，确认我的结论基本正确。当然，由于我以前发帖的时候也没有真的写出数学公司推导，因此也范了一个错误，虽然结论基本正确，但只是侥幸而已。
先看表面上的情况，按照这个帖子的说法，要论证是否招生具有性别歧视，则等价于论证：
P(offer|sex)=P(offer)
换句话说，主要我们论证了某学校U的P(offer|sex)=P(offer)，则认为该校没有性别歧视。初看起来，这个论证非常严密，没有任何问题。但是，这个问题写成完整的数学推导其实是一个三段论推导，如下：
大前提：P(offer|sex)=P(offer) <==> !性别歧视
小前提：P_U(offer|sex)=P_U(offer)
结论：!性别歧视(U)
其中“<==>”为“等价”，“！”为“非”。这里要说明，到这里的所有公理假设和推导我都是承认的。
但是，现在Simpson观察到有一个学校U：
P_U(offer|sex)=!=P_U(offer)
正常情况下，根据前面的三段论推理，我们应该得出结论：
性别歧视(U)
但是Simpson说且慢，因为这里有一个剖分X={U=A+B}：
P_U(offer|sex,A)=P_U(offer|A)
P_U(offer|sex,B)=P_U(offer|B)
因此结论：！性别歧视(U_A)，！性别歧视(U_B)
又因为A和B是U的一个剖分，即A并B为U，且A交B为空，因此：
！性别歧视(U)
初看起来，这个非常有道理啊。但是，如果我们把小前提写全了，其形式如下：
（存在）X：P_U(offer|sex,A)=P_U(offer|A)，P_U(offer|sex,B)=P_U(offer|B)
写到这里其实应当很多朋友都看出问题了，这个小前提的前缀“（存在）X”是不能去除的，而且是很关键的。我们可以简单地举个极端的例子来说明：整个社会就一个大学U，设A系苦力系招生80人，B系女红系招生20人，请问各位，在男女人数相当的情况下，即使不看任何招生数据，是否可以对这个社会的性别歧视下结论？
道理其实很简单，应用于小前提前的前缀“（存在）X”必须同样应用于大前提，三段论推理才能成立，否则三段论推理是不成立的。也就是说，我们首先需要检验下面这个命题是否成立：
{（存在）X：P(offer|sex)=P(offer)} <==> !性别歧视
我不得不说，这个命题成立是有前提的：X对sex独立。象我上面举的极端例子，X就对sex不独立，因此后面的一切数据都是无效的。
所谓的Simpson悖论，初看是一个概率问题，如果剖分X是一个自然现象的话，应用Simpson悖论中提出的原则进行计算一般也是合理的，因为自然的剖分往往和要讨论的问题独立。但是，如果忽略它的逻辑漏洞推广到社会领域，就会得出很多错误的结论。这是因为，在社会上，这个剖分X往往是人为选择的。
我们再举一些例子，比如全社会仅有A和B两所大学，A学费100万招80人，B学费10万招20人，假设全社会穷人富人比例一样，那么大家肯定大骂歧视穷人，不管吹捧者如何用Simpson悖论进行辩论。可是我现在说，AB学费也降到10万，但A自主招生，被A录取要通过钢琴8级、奥数90分、体育YYY......等一系列考试，请问这个时候，问题是否有实质性的改变？但是，民众是否还能看清问题的实质？应用Simpson悖论之后的数据，是否就可以忽悠民众了？
再一个例子，种族隔离政策实施时，如果我们按照Simpson的方法来计算当时黑人白人的一些指标，恐怕也可以得出没有歧视的结论。但是，有谁会说，种族隔离时不存在歧视？
居上位者，总是要不遗余力地制造有利于自己的规则。现在明显的歧视已经无法被民众接受，就要用一些非常隐蔽的方法了。而一些“御用XX学家”，就要想尽一切办法，为这些方法寻找理论的依据。大多数不明真相群众，甚至一些学者，都会被这些数据所蒙蔽。西方的经济学之类，大多不过如此。
下面说一下我犯错误。我当时因为懒惰没有写成公式，因此一时疏忽，就先验地假设剖分X在全社会是无歧视的，因此只要检测学校U在A和B系上与全社会的偏差即可。其实，剖分X本身就是歧视的根源，就如中美之间的国界，就是中美贫富差距的根源一个道理。如果剖分X本身是歧视的，那么后面的一切已经没有意义，A和B系之于全社会的偏差自然没有任何意义了。
那么，如果剖分X在全社会本身是无歧视的，是否Simpson原来的讨论就正确了呢？我认为，除非U有全社会所有的系，否则仍然需要考虑我在帖子里提出的问题。原因是，虽然剖分X整体上可能对sex是独立的，但每个成员对sex却并不一定独立。这样，计算每个子集的歧视的时候，就必须扣除剖分X的子集对sex的对称破缺因素。如果剖分X对sex整体独立的话，该因素可以通过全社会的数据进行估计。
因此Simpson的这个统计算法，看似非常深刻，我认为实在问题多多，特别是在可以人为影响剖分X的时候。作为shitzen/卢瑟，其实我们没有必要去理会这些复杂的玩意，把那些所谓的剖分都抛掉，计算出的是啥就是啥。
本帖一共被 2 帖 引用 (帖内工具实现)家园 作为纯粹的悖论锻炼一下脑筋很有意思 但是作为实际应用，我估计大部分人反正是不太会理会，只要自己有机会那就公平，只要自己没机会或机会少，那就不公平。
家园 但总要有人去探讨这个“公平”的问题 从纯粹个人利益的角度说，当然永远不可能有调和整个社会的公平存在，对一个人“公平”的做法往往对别人不“公平”。
但从哲学的角度来说，我认为存在一个客观的、可度量的公平标准。并且，社会发展的大趋势，是越来越多的人认识到这个标准，并逐渐向这个标准靠拢，当然其中肯定有反复和曲折。既然如此，就要有极少数人去探讨，究竟这个客观的、可度量的公平标准应该是什么样的，然后用无可辩驳的证据向世人展示。只有越来越多的人认识到这个标准，才能促进社会向前进步。
家园 第一条大前提的公式化就错了 假设检验基本逻辑是这么写的么……
家园 你要用完整的假设检验也可以 你把公式写出来吧，推理过程也许有小的差异，但应当不会有质的区别。
我是认为用完整的假设检验在讨论这个问题时没有意义，因此抽象成现在这个样子。你要是认为有意义，会影响结论，请写出来，只要符合逻辑，我一定认账。
家园 不必赌气啊…… 录取公平=> P(AD|Gender, Dpt)=P(AD|Dpt)
反之不一定成立的。仔细看一下假设检验的基本逻辑过程吧。
- 复 不必赌气啊……
家园 不明白你的意思 我们要获得的结论是“录取公平”，请问你应该如何设置假设检验实验？
你说“反之不一定成立”，也就是说：
P(AD|Gender, Dpt)=P(AD|Dpt) =!=> 录取公平
如果是这样的话，原讨论为什么要计算P(AD|Gender, Dpt)和P(AD|Dpt)？为什么要比较这两个量？其结论难道不是用这两个量的比较来获得的吗？当然，你可以说，这个比较需要非常复杂的假设检验测试，但是，我认为即使把这些假设检验测试带入原来的推理，其效果是一样的，结论不变。如果你认为变了，请详细给出推导。
我不是赌气，只想把问题阐明。我的观点已经明示，我还是有比较大的信心的，即使有错误也不是一两句话可以推到的。你不要语焉不详，要能证明我的错误，我会很高兴。