美国史丹佛大学以人为本的人工智慧学院( Stanford University Human-Centered Artificial Intelligence,Stanford HAI)本周公布了十大基础模型的透明度指标,其中最高的是Meta的Lama 2,但也只有54%,使得该团队认为它们全都缺乏透明度。
此一研究是由HAI基础模型研究中心(CRFM)的社会负责人Rishi Bommasani所主导,调查的10款基础模型包括Meta的Llama 2、BigScience的BloomZ、OpenAI的GPT-4、 Stability AI的Stable Diffusion、Anthropic PBC的Claude、Google的PaLM 2、Cohere 的Command、AI21 Labs的Jurassic-2、Inflection AI的Inflection,以及Amazon Web Services的Titan。
基础模型指的是利用大量资料训练而成的大型机器学习模型,通常适用於广泛的任务。Bommasani指出,缺乏透明度一直是数位技术消费者所面临的问题,例如人们在网路上看到许多骗人的广告、共乘服务的薪资不明确、让使用者在不知情的状况下购买,或者是与内容审核有关的透明度问题,这些问题形成了一个庞大的生态体系,令社交媒体充斥着错误与不实资讯。
CRFM主任Percy Liang则说,商业基础模型的透明度对於推动AI政策,或是利用这些模型作出决策的产业及学术界而言非常重要。
Stanford HAI总计制定了100项基础模型的透明度指标,当中约有1/3涉及这些模型是如何建置的,例如训练资料的相关资讯,建置模型的人力,以及使用的运算资源等,另有1/3与模型本身有关,像是它的能力、可信度、风险或如何缓解风险等,最後的1/3则牵涉到下游如何使用该模型,包括揭露模型分配的公司政策、使用者资料保护、模型行为,以及公司是否替受影响的个人提供补救机会等。
图片来源_Stanford HAI
在这些不同范畴的指标中,表现最好的是模型基本资讯(Model Basics ),此一范畴指的是供应商是否揭露了基础模型的模式、规模、架构,以及中心化的模型文件,其平均透明度为63%。表现最差的则是影响(Impact),该范畴评估了基础模型是否揭露对下游应用的影响,如使用上的统计、监控,或者是提供补救机制,其平均透明度只有11%。
而在十大基础模型中,Meta的Lama 2以54%的透明度居冠,Stanford HAI还讽刺品牌中含有「开放」(Open)一字的OpenAI却一点都不开放,它的旗舰模型GPT-4透明度只有48%,显示它大部分都不透明。GPT-4在此一透明度排行中位居第三,落後BigScience的BloomZ(53%),而Google的PaLM 2则以40%排名第五。
图片来源_Stanford HAI
Bommasani表示,较低的透明度让企业更难知道它们能否安全地打造仰赖这些商业基础模型的应用程式,亦难以令学者依靠这些模型来作研究,也不容易制定政策来控制此一强大的技术,消费者则无法了解模型的限制,或是在受到伤害时寻求补救。
总之,Bommasani认为上述十大基础模型在透明度方面都不及格,而且也不应以目前分数最高的Meta Llama 2作为楷模,而是应该考虑更高的目标,例如满足其中80或90个以上的指标,且他相信应该至少有一家公司可达到82%。