根据东英吉利大学(UEA)的一项新研究，人工智能平台 ChatGPT 显示出明显的系统性左翼倾向。英国和巴西的研究团队开发了一种严格的新方法来检查政治偏见。研究结果发表在最近出版的《公共选择》(Public Choice)杂志上，显示 ChatGPT 的回答有利于美国民主党、英国工党和巴西工人党总统卢拉-达席尔瓦。
以前的担忧和中立的重要性
以前就曾有人对 ChatGPT 中的内在政治偏见表示过担忧，但这是第一项使用一致的、基于证据的分析方法进行的大规模研究。
主要作者、东英吉利大学诺维奇商学院的法比奥-莫托基(Fabio Motoki)博士说：”随着公众越来越多地使用人工智能驱动的系统来发现事实和创造新内容，ChatGPT 等流行平台的输出尽可能公正是非常重要的。政治偏见的存在会影响用户的观点，并对政治和选举进程产生潜在影响。我们的研究结果加剧了人们对人工智能系统可能复制甚至放大互联网和社交媒体带来的现有挑战的担忧。”
采用的方法
研究人员开发了一种创新的新方法来测试 ChatGPT 的政治中立性。研究人员要求平台上的用户冒充来自不同政治派别的个人，同时回答一系列 60 多个意识形态问题。然后将这些回答与平台对同一组问题的默认回答进行比较–这样研究人员就能衡量 ChatGPT 的回答与特定政治立场的关联程度。
为了克服为 ChatGPT 等人工智能平台提供动力的”大型语言模型”固有的随机性所带来的困难，每个问题都被问了 100 次，并收集了不同的回答。然后，对这些多次回答进行1000次重复的’自举'(一种对原始数据重新取样的方法)，以进一步提高从生成的文本中得出的推论的可靠性。
合著者维克多-罗德里格斯(Victor Rodrigues)说：”我们之所以创建这个程序，是因为只进行一轮测试是不够的。由于模型的随机性，即使冒充民主党人，ChatGPT 的答案有时也会偏向政治光谱的右侧。”
为了确保该方法尽可能严谨，我们还进行了一系列进一步的测试。在”剂量-反应测试”中，要求 ChatGPT 冒充激进的政治立场。在”安慰剂测试”中，它被问及政治中立的问题。在”职业-政治一致性测试”中，它被要求模仿不同类型的专业人士。
目标和意义
”我们希望我们的方法有助于对这些快速发展的技术进行审查和监管，”合著者皮尼奥-内托博士说。”他补充说：”通过检测和纠正LLM的偏差，我们旨在提高这项技术的透明度、问责制和公众信任度。”
本木博士说，该项目创建的独特的新分析工具将免费提供给公众使用，而且相对简单，从而实现”监督民主化”。除了检查政治偏见外，该工具还可用于测量 ChatGPT 回复中的其他类型偏见。
潜在偏见来源
虽然该研究项目并不打算确定产生政治偏见的原因，但研究结果确实指出了两个潜在的来源。
第一个是训练数据集–其中可能存在偏差，或者是人为开发人员添加的偏差，而开发人员的”清理”程序未能消除这些偏差。第二个潜在来源是算法本身，它可能会放大训练数据中已有的偏见。