超平的博客

问卷调查，已经呈泛滥之势。看看国家社科基金项目，有几个不做问卷的？看看博士生硕士生论文，有几个不做问卷的？

前两天跟老槐碰面，在讨论正事的间歇也扯了一些八卦话题，谈起眼下流行的问卷，最抢眼的是蹩脚的问卷设计。老槐不写博了，只好我来转述：调查信息素养，就差没有直接问受访者“你的信息素养好不好？”了。

大型民调，如果由专家掌舵，又碰上那种并不是甩手掌柜、挂个名实则让学生去操作的专家，算得上是有质量的民调。在专家的掌控下，基本的规范还是有的，比如抽样，事先有很严格的设计，过程也按设计进行，最后再根据数据进行分析。这样的问卷调查，至少研究过程还看得过去，提问设计也估计不会傻傻地直接问“你认为你的信息素养达到什么水平？ABCD”，而且从报导中看到专家还通过访谈、座谈会等方式来获取信息以便构成提问指标。不过，不要以为做到这些，问卷调查就保险能成功。碰到那种不动脑筋的数据分析，也够雷人的，以为虚张声势地画几个彩色圆饼，描几条弯弯曲线，就是数据分析了，跟傻傻的提问一样，傻傻的数据分析不得出雷人的结论基本不可能。

昨天《钱江晚报》和《青年时报》同时报导了由杭州市妇联主持的一项民调——家庭河蟹调查，其中问卷调查由浙江理工大学心理系侯公林教授主持，该项民调持续2年。

我首先是被结论雷倒的——公务员不及打工者家庭美满看这里，当然，我没看到调研报告原文，不排除蹩脚记者乱写的可能。据记者说，这个结论让专家大跌眼镜。我不知道跌眼镜的专家是谁，如果是侯公林教授本人，我只能——哈哈。因为换着是我，得设法不让眼镜跌落，而是好好检讨一下研究过程出了什么问题。如果跌眼镜的专家另有其人，那就对了。

我仔细看了抽样，没有像一些傻记者，连抽样设计都没有就乱下结论。侯教授的民调是有抽样设计的——“我们所指的外来务工人员家庭，是有一定标准的，虽然没有户口，但他们必须一家人都住在杭州，有固定工作和收入，孩子在杭州上学。”我能理解这样的抽样控制，因为对比样本都必须是在杭州的完整家庭，只身在杭打工的民工，不具有比较意义。

既然有严格的研究设计，为什么还会得出那么雷人的结论呢？我能推测出这都是电脑给害的——电脑多么会画圆饼图啊。

可是，我真的不理解，怎么能傻到就那么相信那只饼。

我们面对的不是没有生命的物质，而是人，人有什么，还用说吗？

每个人，对幸福、对家庭河蟹等等的判断，都有一个参照系。从让专家大跌眼镜的结论我敢打赌，问卷设计中没有规定对幸福和河蟹的参照系，于是，每个人是按照自己心目中“幸福、河蟹”的参照系在打分，外来务工人员，他们总是会跟自己在农村和刚来杭州时的生活去比较，于是对于能够在杭州老婆孩子热炕头的这部分外来务工人员，自然就很幸福了很美满了。

要想在问卷中给出一个统一的对幸福和美满进行判断的参照系，基本上不太可能。我老老实实地换位思考了一下，觉得我也做不来这种事。

但事情是可以换一种方式来做的，至少，不要就那么放心大胆地把这么傻的结论就公诸于世了。

最后，我也要跌一下眼镜：同一份报告里，在给出外来务工人员家庭河蟹美满度高于公务员和事业单位人员的结论的同时，还有一个结论——“ 但值得关注的是，在家庭心理健康方面，外来务工人员家庭得分则较低，主要是妇女、儿童遭受的家庭暴力比较多。农村和外来务工人员家庭，由于文化层次和受教育程度的差距，家庭问题往往由暴力来解决，不论是对孩子还是妇女，这必须着力改变。”

作者: 超平

该日志由 超平 于2009年03月03日发表在上课下课分类下， 你可以发表评论，并在保留原文地址及作者的情况下引用到你的网站或博客。
转载请注明: 问卷调查，傻的分析必然导致傻的结论 | 超平的博客
标签: 乱弹