中国实践
东方法学特稿|柯达:人形机器人服务的消费者保护机制——以“信任控制”风险为视角
2024-05-14 15:55  点击:22384

作者:柯达,华东政法大学经济法学院特聘副研究员、法学博士。

现代机器人产业是高端制造业的代表,如何使机器人的外表形象或内在智能水平变得“越来越像人”,进而将其广泛应用于工业生产、社会服务、金融商业等领域,已成为当前机器人产业发展的重点。其中,人形机器人或仿人机器人(humanoid robot)是最符合人类早期想象的机器人类型,其泛指具有与人类相似的静态(例如外形)与动态(例如运动)物理实体特征以及一定的感知、认知、决策、执行等智能水平,并能按照使用者的命令执行特定任务的智能机器产品。自2018年波士顿动力公司发布以“Atlas”为名的人形机器人以来,特斯拉、优必选公司相继推出具有竞争力的机器人产品,人形机器人产业迎来高速发展期。习近平总书记强调:“发展新质生产力是推动高质量发展的内在要求和重要着力点。”人形机器人作为新质生产力中“新劳动工具”的重要组成部分,有助于推动我国社会经济的高质量发展。人形机器人与智能机器人、服务机器人等特殊的机器人类型联系紧密,国务院于2017年发布的《新一代人工智能发展规划》将智能服务机器人纳入大力发展的新兴产业范畴,并要求加快推进金融、商务、养老等服务行业的智能化升级。工信部于2023年发布的《人形机器人创新发展指导意见》指出,人形机器人将成为继计算机、智能手机、新能源汽车之后重构人类生产生活方式的“颠覆性产品”。人形机器人不仅可以应用于工业制造、抢险救灾等传统机器人普及度较高的领域,还可以通过特殊的物理实体和人机互动功能,在服务业充分发挥其优势,由此产生由消费者购买或租赁人形机器人之后接受相应服务的需求。

然而,与元宇宙注重虚实跨界的空间效果不同,人形机器人服务更注重微观层面的行为活动,因而不仅会带来隐私侵犯、网络攻击、劳动力替代等科技治理的传统难题,还会面临以“恐惑谷”(Uncanny Valley)效应为代表的消费者权益受损风险,甚至引发更严重的伦理危机,因此亟须针对性的消费者保护措施。对此,我国以消费者权益保护法为代表的消费者保护制度主要遵循工业经济下的规制逻辑,难以有效规范人形机器人等因数字经济而生的新兴科技产品或服务。尽管人形机器人服务尚未深入、相关风险未充分暴露或仍处在可接受的范围内,但事先预判风险、基于成本效益衡量构建治理框架更有利于该行业的持续发展。因此,探讨如何保护消费者在接受人形机器人服务过程中的合法权益,便具有较强的现实必要性。进一步看,人形机器人的高度拟人化特征在增强消费者信任的同时,其技术复杂性又存在对消费者的信任实施不当控制的可能,此种悖反效应背景下的“信任控制”便可作为探讨人形机器人消费者保护的基本视角。

由于(人形)机器人与人工智能存在诸多技术相似性,与机器人相关的个人信息保护、法律人格确认、著作权归属等既有研究,主要适用人工智能的治理逻辑,并未严格区分二者之间的差异,更未进一步关注微观服务层面的消费者保护。基于此,下文先梳理人形机器人服务的商业逻辑与消费者风险,据此分析既有法律在人形机器人“信任控制”方面的保护不足,并以适当性义务为核心提出相应的法律完善建议。

一、人形机器人服务的商业逻辑与消费者风险

人形机器人的运行现状决定了消费者面临的风险及权益保护方式,下文将梳理人形机器人的技术发展、服务业应用表现以及相应服务的“增强型信任”逻辑,并据此分析相应的“信任控制”风险。

(一)人形机器人的技术发展与服务业应用表现

人形机器人源于早期科幻作品的概念想象,目前是国内外受关注度最高、产业发展最迅速的机器人类型。在20世纪70年代,日本早稻田大学加藤一郎教授研发名为“WABOT-1”的机器人可视为最早的人形机器人模型,但囿于当时的技术能力,该模型只能进行简单的肢体活动和人机对话。一般而言,开发一款拟人化程度较强的人形机器人,需要具备以下技术条件:其一,接近于人类的智能水平,特别是感知、决策以及执行能力;其二,与人类高度相似的静态外貌特征,特别是以身高、体重、五官等呈现的身体结构;其三,与人类相当的动态外貌特征,特别是由运动、循环消化、神经系统支撑的灵活“肢体”。其中,与静态外貌特征不同,拟人化智能水平和动态外貌特征的实现分别需要强大的计算机技术(例如高性能算法)和生物科技(例如肢体克隆技术)作为支撑,这导致人形机器人难以迅速获得技术突破。在此情况下,局部拟人化的“工业机器人”成为优先发展的机器人类型,其作为自动控制、可重复编程的机械肢体,可按照预先设置的计算机指令开展特定的制造或物流任务。同时,具有一定拟人性、可满足日常生活需求的“服务机器人”也逐渐应用于餐饮、住宿、医疗等行业。近年来,随着人工智能等诸多技术的突破性发展,设计者可通过大语言模型训练优化机器人的智能水平,并推动机器人开展更为复杂的肢体活动(例如跳跃或翻滚),进而提升了人形机器人应用于生产生活的技术可行性。

除了工业生产、特种救援等领域外,作为一项消费者购买的服务,人形机器人已在诸多服务行业开展应用实践。目前,包括人形机器人在内,北京、上海等多地已将发展特种机器人、医疗健康机器人等作为重点鼓励发展的机器人类型,而开发智能护理机器人等智能产品也成为发展银发经济的重要手段。事实上,人形机器人作为一种双足机器人,已囊括工业机器人、(个人/家用/公共)服务机器人、特种机器人等类型的既有应用场景,大致可分为生产性和非生产性两类。其中,非生产性的消费场景直接面向大众消费者,包括医疗康复、养老监护、保洁家政等方面(侧重于个人或家用)替代人类功能的场景,以及在金融、教育、娱乐等行业(侧重于公共服务)补充人类功能的场景。前者可以改善人际沟通、增进情感交互、满足情感需求,后者则可作为人类助手,提升用户服务体验并增强风险预警和防控能力。人形机器人作为“产品”的使用价值主要由设计者、生产者基于机器人衍生提供“服务”而实现,从消费者视角看,人形机器人的商业应用本质上是由人形机器人提供的一种服务。此外,“机器人即服务”(RaaS)是通过租赁等方式、无需购买产品便可以较低成本使用机器人的创新商业模式,进一步凸显了人形机器人的服务属性。

受到技术水平与生产成本的限制,目前人形机器人在动态外貌特征上仍有较大的改善空间,特别是机器人对肢体的自主控制程度仍然较低,无法达到一个正常成年人行走或开展其他运动时所表现的灵活度。因此,人形机器人主要应用于商业演出、会展等非生活必需品或服务,其在日常必需服务(例如家庭清扫)中的重要性仍有待被充分挖掘。此外,既有机器学习技术仅支持人形机器人达到“交互型”(L3)阶段的智能水平,即在人类预设程序的前提下具备基本的感知识别和反馈行动能力,其与暂时脱离人类干预后仍可灵活应变的“自主型”(L4)乃至更高水平的“自治型”(L5)阶段尚存一定距离,这也限制了人形机器人的决策自主性。尽管如此,人形机器人潜藏的消费者风险已经显现,因此仍需要进一步分析相应服务的本质逻辑。

(二)人形机器人服务的“增强型信任”逻辑

人形机器人补充或替代人类的服务功能凸显了机器人的商业应用价值,而其相较于人工智能、其他类型机器人的核心商业逻辑即市场竞争优势仍需进一步厘定,据此为分析消费者风险提供精准的现象基础。信任的本质是基于过往认知而所作出的风险决策行为,消费者在购买与接受服务过程中的权益是否受到侵害,基于信息不对称体现的信任水平是主要判定因素。“人形”在事实上创造了一种新的信任机制,进而增强了信任决策的冒险动机,因此信任应成为人形机器人服务的关注焦点。由于人形机器人的关键技术——“脑”与“肢体”——分别代表了纵向的智能化发展与横向的机器人产品特殊性,下文将从横向与纵向角度探究人形机器人服务的“增强型信任”商业逻辑。

从智能化发展水平的纵向角度看,人形机器人服务是软硬件互信、脑体协同的信任化活动。功能性替代的社会需求是智能化产品发展的重要原生动力,创造人形机器人的初衷,是通过机器人提供的知识为消费者带来效益,其中包括“知识”的表示、获取与运用阶段,以及“效益”的赋予阶段。与此相对应,人形机器人技术由智能水平与外貌特征相关的技术组成,即以支撑以软件形态存在的大脑与硬件形态的肢体。受限于应用场景和技术研发难度,支撑大脑运作的人工智能获得了相对快速的发展,目前正经历自主性由弱到强的技术变革过程,其最终目标是从“像人类一样思考”转变为以“与人相同的方式思考”。但与此同时,人工智能创造的知识还应通过合理方式提供给消费者、为消费者带来效益,这一目标的实现需要消费者对人工智能的行为方式产生较高程度的信任,而产生信任的重要方式便包括人形机器人体现的拟人“具身化”(embodiment)。这种信任不仅仅由人形机器人的高度拟人外貌特征所实现,而且需要依赖于“大脑”软件与“身体”硬件之间的协同配合,即机器大脑发出的指令可以被机器肢体及时、正确地执行,实现“对周围物理环境信息的获取与后续行动的内在一致性”,从而让消费者信任人形机器人所提供服务的可靠性。须注意的是,此种“外观信任”与“协同信任”的组合,不同于通过区块链等新型互联网技术实现的去中心化信任机制,后者更多是在客观上对数据存储与传输的信赖,其对应的是中心化主体对确保数据真实全面的单方承诺。

从不同机器人类型的横向角度看,人形机器人服务是在虚拟人际关系下展现亲密感的增强信任化活动。一方面,人形机器人不仅能从事固定、重复的工作,更能根据消费者的指令从事兼具个性化(定制化)和通用性的活动,因此,可通过应用范围的扩张增强信任。针对我国当前人口负增长的实际状况以及进入老龄化社会的现状,服务机器人已对人力予以部分补充或替代,在一定程度上改善了劳动者的工作环境,并可满足公众的情感消费需求。与传统服务机器人相比,人形机器人的全身拟人化程度更高,其可通过更强的“多自由度”发挥机械臂难以触及的精细化领域,并解决传统的四足或轮式形体翻越障碍物的困难,同时可在大语言模型支持下展现自主性更强的智能水平。此外,与提供智能服务的可穿戴设备或体现动物形态的非拟人仿生机器人相比,人形机器人的运动范围和种类更贴近于消费者生活,其拟人化的外貌特征有助于代为使用人类发明的生活工具,从而适应人类的生活空间。因此,在各类生活服务场景中的通用性和普惠性更强。另一方面,基于人形机器人拟人化的静态与动态外貌特征,消费者能与其产生近距离的亲密感、形成虚拟的“人际”关系,可通过情感沉浸的扩张增强信任。在消费者与人形机器人建立虚拟人际关系之后,人形机器人可按照消费者的指令单独完成或与消费者、其他机器人协作完成特定任务。人形机器人高度拟人化带来的亲密感本质上是一种“人情味”,加上相对较低的养护成本,可在一定程度上缓释消费者对自动化机器人的不安抗拒心理。这一亲密感还体现在当人形机器人遭受损害时,消费者产生的同情心或怜悯心,与人体在正常情况下不可被轻易分解并重组不同,机器人实体可以被拆解、嫁接到其他机器人的身体之中。此外,为机器人分发“奖赏”作为回报亦成为许多人形机器人的必备功能,该功能的实现亦依赖于消费者对人形机器人的亲密感,以及由此产生的社交关系中的“横向比较”。从经营者角度看,人形机器人的亲密感还有助于降低提供服务的人力成本,例如金融机构可利用人形机器人为消费者提供到家实名开户服务。

(三)“增强型信任”诱发的“信任控制”消费者风险

在理想状态下,人形机器人基于高度拟人化的“增强型信任”有助于减少消费者与经营者等主体之间的信息不对称,让消费者获得兼具个性化与通用性的服务。尽管机器人的创造过程追求现实与想象相协调,但现实通常远远没有想象中那样“无辜与仁慈”。与早先存在的数字经济活动相似,基于经营者或生产者在资金、人力、信息等方面的优势地位,消费者不仅仍面临不公平交易、个人隐私泄露等传统权益受损风险,还会基于智能活动的更高认知门槛产生算法歧视、信息茧房等“悖反效应”。从信任角度看,这一悖反效应体现在人形机器人服务不仅未能从总体上改善消费者的弱势地位,还强化了消费者的信任被他人或机器人不当控制的风险。下文从消费者购买并接受服务的前端、中端、后端具体分析信用控制风险。

在获得人形机器人服务的“前端”,消费者会面临信任匹配失当的控制风险。由于人形机器人在部分领域提供的服务(例如消防排爆、园艺种植)亦能被运营成本更低的其他机器人(或无人化)产品所替代,其更适合应用于养老、教育等身心依赖性与拟人化需求较强的领域。如果经营者基于错误、非法获取的个人信息或肖像,或在未明确心理承受能力的情况下为消费者提供不适宜的人形机器人服务,便可能会给消费者带来长期潜在的身心健康或人格尊严损害。此外,人形机器人还可作为一种事后惩戒或便于监控的手段,嵌入既有人形机器人服务之中,从而会在未充分评估消费者身心健康等情况的前提下,间接损害消费者自主选择的权利。在智能支付领域,这类似于域外部分中央银行主张要审慎对待在法定数字货币中嵌入智能合约,其原因便是政府可能会利用智能合约不当限制甚至禁止民众在特定范围内开展支付交易。

在接受人形机器人服务的“中端”,消费者会面临隐性信任定向化和信任扭曲的控制风险。一方面,技术无法绝对中性,人形机器人的生产者或经营者不仅可以将自身的伦理价值观嵌于机器人内部,并且可能在提供基础服务的同时,隐性定向化地开展额外的广告营销等活动,由此造成消费者对此类活动的信任认知偏差。其中,基于情感沉浸的扩张,消费者在接受人形机器人服务过程中会产生敏感程度更高的个人信息,但人形机器人的通用性要求个人信息的交叉处理,因而在隐形定向化过程中还会给消费者敏感信息的保护带来更大威胁。如果允许人形机器人与其他机器人或智能设备进行信息交互协作,消费者敏感信息保护的风险将被进一步放大。另一方面,人形机器人为消费者创造虚拟人际关系以及机器人难以“反抗”下的控制感,同时也会造成消费者对现实世界虚拟化的过分“幻想”,导致信任扭曲。在此情况下,消费者会对人形机器人展现更强的情感投入,不仅会在一定程度上弱化自身的权利保护意识,还可能突破伦理约束、放大不法私欲,甚至利用已接受智能训练的人形机器人从事违法犯罪活动。由此可见,除了可能会对机器人产生厌恶、歧视等心理效应之外,此种信任控制还会给消费者带来权利滥用的不利法律后果,而约束消费者个体的权利滥用最终也是为了保护消费者群体在接受人形机器人服务中的信任权益。

在终止人形机器人服务“后端”,消费者会面临信任转移或销毁失序的控制风险。“恐惑谷”是与人形机器人直接相关的心理学效应,其指机器人越拟人化,人类对机器人的亲和力就越强,但在特定时间点到达后,人类就会对机器人感到厌倦甚至恐惧。在此效应影响下,消费者势必面临继续保留或终止接受人形机器人服务的抉择。其中,海量的数据库是人形机器人“大脑”获取与运用知识、实现商业落地的基础,基于数据训练自主性的差异,人形机器人自身可能因为智能进化、情感培养而产生了对消费者的“反信任”,甚至产生对其独立性、个体价值认同的追求,导致消费者混淆现实与虚拟情感,并受到此种机器人信任的精神控制。例如,电影《人工智能》描述了一款个性化定制的护理机器人——大卫(David)作为主人的“再生小孩”遭到丢弃,但该机器人已经产生了对主人的情感依赖,并试图逃避机器屠宰场的追捕。这种“反信任”如何转移或者销毁,以及在机器人遗失、被盗抢时如何应对,本质上涉及对消费者人格尊严的保护。此外,由于人形机器人的增强型信任依赖于硬件软件之间的交互协同,如果在终止服务之后,部分肢体硬件被随意嫁接复制到其他人形机器人实体中,由此产生的错误数据和情感依赖转换亦可能另行引发消费者的人格尊严损害。

二、人形机器人服务“信任控制”的消费者保护不足

消费者在获得、接受与终止人形机器人服务过程中面临的不同信用控制风险,亟待相应法律机制予以应对。下文将按照人形机器人服务前、中、后端的不同风险特点,从消费者保护法出发分析既有法律应对人形机器人服务信任控制风险的现状与困境。

(一)前端保护:传统消费者保护法中经营者告知义务的不足

获得人形机器人服务的前端存在的“信任匹配”控制风险,损害了消费者对该服务内容、质量等方面的知情权,并间接损害了消费者自主选择的权利,与之直接相关的法律约束为以消费者保护法为代表的经营者告知义务。在私法确立诚实信用原则、要求当事人告知与订立合同有关的重要事实基础上,消费者保护法构建了以倾斜保护为导向的经营者告知义务:经营者应当真实、全面告知商品或服务的信息,并真实、明确地答复消费者的提问,不得作引人误解或虚假的宣传。其中,针对格式条款,经营者应当以显著方式提醒消费者与其存在重大利害关系的内容,并按照消费者要求予以说明。针对瑕疵商品或服务,除了消费者事先知晓瑕疵的存在,经营者应当保证商品或服务具有相应的质量、性能、用途和有效期限。基于人形机器人服务的增强型信任特点,既有法律中的经营者告知义务难以应对相应的信任控制风险:

首先,告知义务所指向的“商品或服务信息”未能覆盖人形机器人服务的个性化定制内容。与批量生产、供应的标准化商品或服务不同,人形机器人服务是针对消费者自身在情感陪伴、生活工作辅助等方面的需求而个性化定制的活动,这种活动既包括机器人产品本身的个性化定制(例如按照个人意愿将特定自然人的人形复刻成机器人),又包括根据既定的机器人产品为消费者提供个性化服务(例如金融机构的人形投顾机器人所提供的投资服务)。尽管人形机器人本身需要按照一定技术标准进行设计和生产,但从服务自身看,不同消费者的个体性差异较大,经营者需要全面、精准了解消费者的服务需求以及与之相关的个人信息。在此情况下,既有法律将告知的内容限定于“商品或服务信息”并不充分。虽然“重大利害关系”能较好满足约束信任控制风险的需求,但这一义务要求仅限于格式条款,尚未扩大至所有服务合同。与此同时,人形机器人服务根据设计者、生产者或经营者创造的特定算法运行,如果经营者未以通俗易懂的语言向消费者披露算法的运行机制以及算法瑕疵风险,消费者的知情权便可能面临更大损害。

其次,告知义务所指向的“既定信息”对人形机器人服务自主性的差异化约束存在局限。由于人形机器人摆脱了通过遥控设备或预设程序命令传统机器人完成某类动作的过分束缚,软硬件之间的协同程度主要由机器人本身的自主性——自主获取环境信息并独立于外在控制或影响作出决策——所决定,因而自主性程度也成为消费者知情与信任匹配的重要内容。按照消费者的需求偏好差异,人形机器人服务可以提供与人工智能相似的不同程度的自主性。在此前提下,消费者需要获取与自主性有关的信息,便于其明确哪些活动可以由人形机器人完成,哪些活动只能由消费者本人完成,以及人形机器人的自主性是否可经过消费者的训练而强化。在实践中,为了降低研发成本,生产者或经营者可能会有意夸大人形机器人服务的自主性水平,这也凸显了诚实披露自主性的现实必要。但是,消费者保护法中的告知义务只要求经营者告知商品或服务“既定存在”的信息,不要求其告知人形机器人在自主性发生变化后可能产生的不利影响,因而难以做到“可解释”又“可信”。此外,不同自主性水平的人形机器人带来的风险具有差异性,经营者告知义务只要求经营者全面披露风险,但未要求对消费者实施风险评估或风险匹配,以降低机器人自主性差异带来的权益损害。即便《生成式人工智能服务管理暂行办法》进一步要求服务提供者公开服务的适用人群、场合、用途,但该条文的约束范围较小,难以约束所有的人形机器人服务。

最后,告知义务的约束对象为经营者,因而难以直接约束消费者或涉及公共性质的人形机器人服务提供者。一方面,告知义务以及与之相关的禁止强制交易义务,只能约束商业活动中的人形机器人服务提供者。如果对政府可能发生的直接或间接强迫消费者接受特定的人形机器人服务进行约束,则需要其他与行政强制、行政处罚直接相关的公法规范或公法原则予以介入。另一方面,告知义务无法约束消费者的不适当购买行为。即便经营者结合消费者的个人需求,全面、准确披露了人形机器人服务的各类风险,并针对消费者进行风险评估,但消费者仍可能基于猎奇、冒险等心理,选择购买与其风险承受能力不匹配的人形机器人服务。此外,告知义务作为一种消费者在获得人形机器人服务时的法定义务,其并未要求经营者面对消费者在接受服务过程中遇到自主性强化等风险时,强制消费者退出该服务。这也可以看出,人形机器人服务体现的信任控制风险,强化了经营者与消费者“双约束”而非经营者“单约束”的规制必要性。如上文所言,消费者不仅可以获得定制化的人形机器人、接受机器人所提供的个性化服务,而且还可以命令其从事原先消费者承担的拟人化任务或工作,消费者本人的自主性与机器人的自主性均有所强化,二者之间的自主性呈现出此消彼长的状态。这也说明告知义务作为一种减少信息不对称的信息型规制工具,还需要其他非信息型规制工具的配合、建立人形机器人与消费者之间“可追溯的联系”,才能有效应对人形机器人服务的信任控制风险。

(二)中端保护:基于风险分级的人工智能敏捷治理局限

消费者在接受人形机器人服务的中端面临信任定向与信任扭曲的控制风险,与之直接相关的法律约束为消费者保护法上的经营者安全保障义务。就人工智能而言,安全保障义务的内容在网络安全、数据安全与算法安全基础上,进一步体现为可靠可控,即不仅要实现可验证、可审核、可监督、可追溯、可预测、可信赖,而且要实现韧性、自适应性以及抗干扰性。由于不同人工智能产品的安全风险存在较大差异,基于风险分级的“敏捷治理”模式被提出,以期及时发现和解决潜在风险、推动治理原则贯穿人工智能产品和服务的全生命周期。例如,《上海市促进人工智能产业发展条例》规定对高风险的人工智能产品和服务实行清单式管理和合规审查,同时对中低风险的人工智能产品和服务实施事前披露和事后控制。但是,基于风险分级的敏捷治理仍难以有效应对事中阶段人形机器人服务的信任控制风险:

首先,敏捷治理强调的“自我规制”不足以调适经营者提供人形机器人服务过程中的利益冲突。针对经营者基于消费者个人敏感信息实施的定向信任控制,法律应针对人形机器人服务的个性化特点,要求经营者履行个人信息保护义务和算法解释义务。结合欧盟人工智能法,敏捷治理针对人工智能使用过程中的约束重点是跟踪监测义务,包括活动追溯、上市后持续的市场监督、共享故障信息等,其类似于民法典、消费者保护法中的产品跟踪观察制度。但此种跟踪监测义务更加强调人形机器人的生产者或经营者的自我规制,如法律允许经营者自我评估其信任定向化的风险,便会带来其“既是裁判员又是运动员”的可能。正因为如此,部分学者批评欧盟人工智能法过分依赖企业的自治,过分缺乏政府机构的外部监管。在此情况下,信任定向化风险的约束,还需要其他风险规制方式的配合,例如技术规制以及传统的政府规制。

其次,基于敏捷治理的风险分级标准未充分考量人形机器人服务的强伦理特点。根据欧盟人工智能法,不可接受的风险、高风险、有限风险、最小风险的划分标准结合了人权与人工智能的自主性,例如对民众的生命健康、教育、劳动等基本权利的限制越强,或人工智能独立开展活动的能力越强,则人工智能的风险越高。基于人形机器人的个性化定制与增强型信任带来的信任扭曲风险,消费者在接受服务过程中主要受到损害的是身心健康利益,因此按照人工智能的分级标准,人形机器人服务事实上均可视为高风险或不可接受风险的活动,这也使得以针对轻微违法行为等制定依法不予行政处罚清单为代表的包容审慎监管措施难以施行,因而削弱了开展敏捷治理的现实基础。与此同时,人形机器人服务的“人形”使得伦理安全风险更为突出,拟人化程度较高的虚拟人际关系及其风险衍生于消费者所产生的情感基础之上。《人形机器人创新发展指导意见》亦强调包括功能安全、网络安全、算法安全以及伦理安全在内的安全治理,因而相较于人形机器人服务的风险分级,人形机器人伦理的风险分级更有必要。

最后,敏捷治理以网络安全为重点的“全过程规制”,难以精准应对人形机器人的脑体协同特点。如上文所言,人形机器人服务的正常开展,需要计算机(大脑)软件与肢体硬件的协同配合。在人机协作的场景下,此项活动还需要人脑与人体的协作。不论是信任定向还是信任扭曲风险,本质上都须通过机器人大脑对肢体的信息传输而呈现出来。因此,人形机器人服务的敏捷治理还应当强调“机器安全”,即人形机器人肢体以及大脑与肢体传输过程中的安全。然而,既有的人工智能敏捷治理方式更强调“网络安全”,包括要求网络服务提供者发现违法行为后及时处置与报告、监测与记录网络安全状态等,未能考量离线断网、脑体协同训练等特殊场景下人形机器人服务的安全风险。

(三)后端保护:作为侵权责任例外的“发展风险抗辩”疏漏

在消费者终止人形机器人服务的后端产生、与信任转移或销毁失序相关的控制风险,会间接损害消费者的人格尊严。尽管人形机器人的商业应用本质上是“服务”,但此种服务带来的人格尊严损害仍由生产者制造、经营者提供的“产品”造成,因而可以适用产品责任法中规定的生产者或销售者的无过错赔偿责任。与此同时,基于新兴科技的迭代更新与认知深化特性,产品责任法为生产者提供了承担赔偿责任的专门例外情形——发展风险抗辩,即在产品投入流通时的科技水平尚不能发现缺陷存在的,生产者不承担赔偿责任。结合人形机器人的特点,现行法中的发展风险抗辩仍难以规避或减少终止服务时造成的信用控制风险。

一方面,适用于人形机器人服务的发展风险抗辩的具体情形有进一步限缩的必要。将科技发展风险作为生产者免于承担赔偿责任的抗辩事由,一来是根据生产者的注意义务程度实施合理的风险分配,二来是实现消费者权益保护与科技创新发展的利益平衡。但为了避免生产者的避法套利动机,按照立法者的解释,判断是否能以投入流通时的科技水平发现产品缺陷,应采用当时社会整体所具有的科技水平而非生产者自身所掌握的科技水平。对人形机器人服务的信用控制风险而言,仅从科技水平认定标准这一角度限制发展风险抗辩的适用仍存在局限。这不仅仅是因为涉及生命健康(例如药品)、伦理道德(例如人体部位)的产品缺陷能否适用发展风险抗辩存在较大争议,对具有高度拟人化特征的人形机器人而言更是如此。更重要在于,消费者因信任控制风险受到的人格尊严损害,有别于因传统产品缺陷受到的人身损害。传统情形下产品的制造、设计或警示缺陷,更强调产品存在危及人身或财产安全的不合理危险,或不符合由行业专家认可的技术标准,即在产品生产阶段便存在此种缺陷。而消费者因信任转移或销毁面临的控制风险发生在其终止人形机器人服务之后,其更难以为生产者所实现控制,从而更加有利于生产者主张发展风险抗辩。此外,因人形机器人的脑体重组而产生的信任控制风险,事实上还涉及人形机器人再组装的二级市场,因而对此类风险的规制还需要对二级市场的有效监管,例如市场准入。

另一方面,发展风险抗辩的适用主体难以有效应对人形机器人的经营者、消费者以及人形机器人自身的自主性均得到强化的现实。其一,消费者面临信任转移或销毁中的信任控制风险,是由人形机器人“服务”直接造成的。而经营者作为人形机器人服务的主要提供者,可以针对消费者的个性化需求设置相应服务的算法、输入相关数据,进而可能会对产品的使用造成“事后”的缺陷,因而应当承担产品责任。但是,产品质量法虽规定经营者因过错使产品存在缺陷应承担赔偿责任,但却未对其设置类似于科技发展风险的抗辩事由。其二,信任转移或销毁中的信任控制风险是由人形机器人的“反信任”造成的,而这一反信任是人形机器人的自主性和消费者自身的训练、相处等行为共同影响的结果。消费者自陷风险所带来的责任分担方式自不待言,但人形机器人在现行法上不具有法律人格或法律主体地位,便给合理的责任分担造成了困境。以人工智能为代表的新兴科技法律均强调人类是最终责任主体的理念,我国《新一代人工智能伦理规范》要求“在人工智能全生命周期各环节自省自律,建立人工智能问责机制,不回避责任审查,不逃避应负责任”。而由阿西莫夫提出的“机器人基本法则”——机器人不许伤害人类、必须听从人类指令、在人类优先前提下保护自我生存,均以人类为重心。在此情况下,机器人只能作为一种工具或物品而存在,这也与机器人一词的捷克语出处——robota(意为“劳动”)相符,即按照人类的指令为人类谋福利。尽管学界提出了虚拟人格、电子人格或有限人格等学说以试图解决人工智能的侵权责任分担问题,但在商业视角下,扩大法律人格牵一发而动全身。例如,目前银行账户只划分了对私和对公账户两类,对公账户管理更为严格,如在未明确配套制度的情况下(例如赔偿基金或保险)径行认定人形机器人具有法人人格,那便会在账户管理标准特别是身份鉴别问题上出现混乱局面。

三、人形机器人服务的消费者保护完善机制——以消费者适当性为核心

既有法律难以应对人形机器人服务信任控制风险和保护消费者的窘境,凸显通过其他制度规制风险、保护消费者合法权益的必要。下文将以原适用于金融领域的消费者适当性为核心,讨论如何完善人形机器人服务的消费者保护。

(一)消费者适当性应对“信任控制”风险的法理基础

消费者适当性原属于金融领域应对信息不对称的法律机制,其指金融机构等经营者应当对金融产品或服务的专业复杂程度、风险进行评估与分级动态管理,并在了解金融消费者风险偏好、风险认知和风险承受能力的前提下,将合适的金融产品和服务提供给适当的金融消费者,其本质在于“卖者尽责、买者自负”。消费者适当性的生成逻辑在于,随着金融产品的内在运行结构日趋复杂,金融服务提供者与金融消费者对金融产品的信息认知程度存在巨大差异,这便给前者实施不法行为、损害消费者合法权益创造了极大空间。与此同时,金融市场具有较强的风险传导与扩散特征,这使得消费者的个体风险很容易演变为系统性的金融风险。对此,除了通过实施强制信息披露缓解信息不对称、实施反市场操纵等反欺诈制度增加违法成本之外,为进一步避免消费者无法有效作出消费决策,适当性作为非信息型规制工具,可以基于“卖者尽责”的补充保护消费者与社会整体的信赖,有助于进一步缓解信息不对称。结合《全国法院民商事审判工作会议纪要》《证券期货投资者适当性管理办法》等规定,消费者适当性以经营者义务为基础,主要由以下内容构成:其一,了解产品或服务,根据结构复杂性、相关主体信用情况等因素评估产品或服务的风险等级;其二,了解消费者,根据消费者的购买经历、风险能力等因素进行消费者分类管理;其三,适当性匹配,根据消费者的分类对其适合购买的产品或接受的服务作出判断,从而使消费者能在充分了解产品或服务性质与风险的基础上作出自主决策、独立承担风险。

在法理上,消费者适当性基于前述优势具有扩展至所有消费领域的可行性,而在人形机器人服务领域,相较于其他消费者保护机制,消费者适当性更能有效应对消费者面临的信任控制风险。首先,基于人形机器人服务所依托高端制造、人工智能、新材料等技术的复杂性,消费者与经营者、生产者之间仍然存在严重的信息不对称。虽然消费者可通过数字设备了解更多关于人形机器人的信息、对人形机器人训练或相处具有一定自主性,但其就生产者或经营者而言仍面临巨大的信息鸿沟,因而符合消费者适当性的生成逻辑。其次,与金融领域个体风险扩散至群体风险进而损害公共利益相似,人形机器人服务的个体信任控制风险会引发涉众型极强的伦理安全危机。有学者指出,对人类智能的探索必然会损害人脑的神经元,给人类身体带来永久不可逆的影响,因此人工智能完全拟人化会面临严重的伦理问题。因此,消费者应接受适当的人形机器人服务,而通过有助于应对外部性危机的适当性机制便能有助于基本科技伦理的实现。当然,基于此种逻辑,消费者适当性亦能适用于其他信用控制风险较大、外部性较强的科技服务领域。最后,与经营者告知义务、基于风险分级的敏捷治理以及发展风险抗辩等既有制度相比,消费者适当性基于消费者作出绝对理性的决策不符合实际,力求通过风险匹配让消费者作出“足够好”的决策,而不是让消费者费力地计算最优决策或放任其作出任何决策,因此更有助于应对信任控制风险。更重要的是,消费者适当性强调事前评估匹配、事中监测调整与事后公平担责相结合,与消费者在人形机器人服务在前端、中端与后端所面临的信任控制风险阶段相对应,契合新型科技动态性规制或全过程治理的基本原则,比分别单独完善经营者告知义务、敏捷治理手段更具体系化优势。

(二)针对伦理安全构建人形机器人服务与消费者的双重分级准入

对人形机器人服务与消费者进行分级,是构建消费者适当性机制的前提与基础。基于人形机器人服务的强伦理特点,应主要基于伦理安全实施分以及准入。尽管如上文所言,人工智能敏捷治理的风险分级存在局限,且金融产品适当性的风险分级亦无法直接适用于人形机器人服务,但在“基于风险”的科技治理框架下,相关分级对经营者管理水平、消费者风险识别或承受能力、科技产品自主性的判断标准仍具有一定借鉴意义。

首先,以身心健康为核心对人形机器人服务进行分级。尊重生命权利是科技伦理的重要内容,心理健康造成伤害或潜在威胁”,因此人形机器人服务的伦理安全分级应重点考量消费者的生理与心理健康是否会受到威胁。由于人形机器人的内在运行结构同样较为复杂,且其能否安全运行会受到不同主体的影响,因此人形机器人服务可以在身心健康的基础上,结合金融产品与人工智能分级的标准先确定为三个等级:其一,低身心健康风险,人形机器人的人机互动程度较低,主要基于事前算法预置,消费者对相关服务信息的理解与控制程度较高;其二,中身心健康风险,人形机器人服务需要消费者一定程度的情感训练,消费者对部分服务信息的理解与应用需要依赖经营者等第三方主体;其三,高身心健康风险,人形机器人的人机互动主要基于消费者的长期情感训练形成,消费者对大多数服务信息的理解与应用需要依赖经营者等第三方主体。人形机器人的生产者或经营者在提供相关服务前,应根据前述三个等级在不同应用场景、结合服务涉众程度等因素进一步细化分级标准,并按照《科技伦理审查办法(试行)》交由依法设立的科技伦理委员会进行审查。

其次,基于伦理安全带来的信任控制程度对消费者进行分级。如上文所言,消费者在购买人形机器人服务的前端主要面临信任知情的控制风险,因而应主要根据消费者的信任知情水平进行分级。尽管在金融领域,由于消费者购买金融产品是为了满足日常生活需求,其主要覆盖普通投资者而不包括在投资实力、投资知识与经历等水平较高的专业投资者,进而在信息告知、风险警示等方面享有特别保护。但由于特定人形机器人服务的信任控制程度与消费者的身心承受能力不一定匹配,消费者的分级仍有必要。具体的分级方式应与人形机器人服务的分级相对应,即强身心健康承受能力、中等身心健康承受能力、弱身心健康承受能力。此外,为了事前防范消费者信任扭曲所致风险,人形机器人的经营者在提供相关服务前,还应结合消费者接受该服务的使用目的与期限:前者主要是为了便于经营者判断消费者购买人形机器人服务进行善意使用、误用滥用还是违规恶用的可能性,后者则依据消费者是否会对人形机器形成长期的信任依赖,帮助经营者判断消费者适合何种服务(例如购买还是租赁、一次性还是长期性)。

最后,在分级基础上确立人形机器人服务与消费者的准入制度。一方面,为了平衡人形机器人的产业创新发展与风险防范,对人形机器人服务采取审批准入并不可取。在人形机器人产业发展初期,更合适的方式是在负面清单基础上,对特定的人形机器人和服务进行登记,以确保信任控制风险出现时,监管者基于登记的可追溯性及时介入。例如,欧盟人工智能法规定不得使用人工智能进行“社会评分”“实时远程生物鉴别”“评估自然人的信用分数”,除非相关领域具有更重要的公共利益。《欧洲机器人技术民事法律规则》亦规定,针对智能机器人的登记系统及登记簿应当在全欧盟范围内建立,以便实现机器人的可追踪性。另一方面,经营者应根据人形机器人服务的不同风险等级建立相应的消费者准入即“合格消费者”要求。消费者只能按照其风险承受能力购买相应风险级别的人形机器人服务,而经营者亦不得向消费者提供与其风险承受能力不匹配的人形机器人服务。为了发挥最佳的风险防范效果、避免消费者的监管套利行为,消费者适当性机制还应实名制为主体识别基础,由此还可实现与人形机器人及服务登记制的衔接。

(三)基于分级准入实施人形机器人服务的适当性匹配与监测调整

在人形机器人服务与消费者分级准入的基础上,应实施消费者的适当性匹配与动态调整,以应对信任定向、信任扭曲等信任控制风险。

一方面,经营者应当按照风险对应的原则向消费者销售适当的人形机器人服务。特别是在沙特阿拉伯率先赋予人形机器人“索菲亚”国籍之后,人形机器人成为众多市场机构的炒作话题,经营者存在夸大宣传、误导消费者的动机,进而造成消费者容易忽视人形机器人的潜在信任控制风险。虽然金融领域的经营者可以在出具书面风险警示的前提下允许消费者购买风险等级高于其承受能力的产品,但人形机器人服务的伦理性与社会性更强,如果允许消费者购买不适当的服务,消费者将承受比财产损失更为严重的身心健康损害,而经恶意训练的人形机器人还会对社会安全带来额外风险。须注意的是,即便经营者按照政府机构的要求强制为消费者提供人形机器人服务,适当性匹配的义务仍不可缺位,这亦符合行政法上的比例原则特别是最小侵害原则。与此同时,在适当性匹配前提下,除了就处理敏感个人信息履行更严格的个人信息保护义务之外,经营者仍应履行与消费者风险承受能力相对应的告知义务。与传统消费者保护法下经营者的告知义务受限于既定商品或服务信息,以及金融领域告知义务受限于与本金损失有关的事项不同,人形机器人服务的经营者应当以通俗易懂的语言重点告知人形机器人的自主性程度以及相关算法的运行机制和风险。当然,卖者尽责不等于“卖者全责”,经营者只需让消费者达到一般民众对人形机器人服务能够认知理解的程度即可。

另一方面,经营者应当在提供人形机器人服务过程中,履行监测调整义务。为了适应人形机器人自主性的变化导致的分级调整,同时应对利益冲突,适当性动态调整、内外部治理相结合的监测调整义务不可或缺,其可视为欧盟人工智能法所规定跟踪监测义务的强化。具体而言:其一,在线监测与现场核查相结合。经营者在依法履行网络安全义务与个人信息保护义务的前提下,不仅应基于在线收集的人形机器人服务数据确定人形机器人的自主性及风险程度变化,预估是否要采取技术性的纠正或预防措施,同时,还应根据对消费者的现场访谈与核查,确定人形机器人的脑体协作情况、评估伦理安全与机器安全程度。其二,适当性重新匹配与替代方案应对。在监测核查基础上,经营者应判断消费者自身或其接受的人形机器人服务风险等级是否需要调整,并重新进行适当性匹配。如消费者调整后的分级与人形机器人服务不匹配,经营者应停止原有服务、降低人形机器人的自主性(例如限制机器人与其他机器人的协同交互)或通过合理方式收回机器人实体,并按照消费者的意愿为其提供其他同样能够实现原先服务目标(例如陪护)的替代产品或服务的建议。这也符合《新一代人工智能伦理规范》提出的“在提供人工智能产品和服务时,应充分尊重和帮助弱势群体、特殊群体,并根据需要提供相应替代方案。”其三,接受外部监督约束。《新一代人工智能发展规划》提出要施行“设计问责和应用监督并重的双层监管结构”,由于人形机器人服务面临经营者不当处理个人信息所引发信任定向化的利益冲突,外部约束可以进一步提升问责监督的实效,强化经营者提供服务的公共性。基于人形机器人服务的强伦理性,经营者应在伦理审查委员会的基础上组建同行专家的技术复核小组,对经营者提供的人形机器人服务实施定期审查或特定消费者服务的抽查,并为政府监管机构在经营者无力干预时的事后及时介入提供技术接口。

(四)通过“终止保障义务”完善侵权责任的发展风险抗辩事由

人形机器人服务的消费者适当性,不仅要通过强制性的分级准入使消费者接受适当服务、终止不适当服务,更要确保消费者主动“退出”服务的权利,由此可为经营者在产品质量赔偿责任中主张发展风险抗辩提供更合理的事由。《新一代人工智能伦理规范》“为用户选择使用或退出人工智能模式提供简便易懂的解决方案”,保障消费者自愿终止人形机器人服务的义务还成为人形机器人伦理安全的重要组成部分。终止保障义务的充分实现,意味着消费者在决定终止人形机器人服务时,经营者必须按照消费者的要求通过技术手段完全消除人形机器人基于过往记忆而产生的反信任,并在实施人形机器人循环利用时,避免机器人肢体及相关数据被不当移植到其他机器人产品之中。

进一步看,终止保障义务在多大程度上能作为产品责任中的发展风险抗辩事由,应当以消费者与人形机器人在服务过程中的各方自主性为主要依据。人形机器人的自主性是机器人本身的自主意识水平或在摆脱人类控制时发挥自身主观能动作用的可能性,而消费者的自主性本质上是人类对机器人自主意识的控制能力。如果消费者在人形机器人服务中的自主性较强,那么其便可更容易预估和管理人形机器人的反信任程度,以及终止服务后因人形机器人不当移植带来的人格尊严损害,因此消费者“自我退出”的能力较强,进而有更利于经营者主张发展风险抗辩事由。需注意的是,如果消费者在未经经营者允许的前提下自行改装人形机器人,不论改装之后各方自主性如何发生变化,消费者均要承担由此带来的不利风险后果。对于人形机器人的强自主性情形(特别是脑体协作水平较高、离线运作的稳定性与鲁棒性较强),如果经营者在事中事后的介入程度较为有限(例如无法完全消除人形机器人服务相关的所有个人信息),且消费者在事前的适当性匹配阶段已经接受了此种强自主性的潜在风险、展现了足够的审慎注意,那么经营者同样可以主张发展风险抗辩事由。此处事实上确认了人形机器人在终止服务阶段的赔偿责任情形可视为法律主体、享有法律人格,但这不意味着其获得了类似于自然人的法律主体资格。因为后者涉及对权利主体的分析,而分析权利主体本质上是一个“人如何定义人”的问题。同时,这更不意味着在整体性的生态系统中,人形机器人具有了可以与人类展开同一生态位竞争的资格,因为此种竞争的后果便是两类竞争者大概率无法共存。这也与一些学者主张应采用“行为对称性”标准判断机器人能否具有基本权利相似,即如果智能机器人如果在行为上与至少某个人类无法区分,并且没有任何进一步的要求,则应该被授予基本权利。此外,为了避免经营者滥用发展风险抗辩的道德风险,可构建类似于法人人格否认的穿透制度,如经营者不就终止服务时的信任控制风险进行事前告知或事后及时制止,放任消费者采取更大程度的自主控制,那么发展风险抗辩应不予适用。

除了终止保障义务之外,经营者采取消减信息不对称的其他措施,也可以作为认定发展风险抗辩的事由。例如,经营者建立了在消费者选择终止服务后主动进行人形机器人回收或销毁的良好机制,防止不当留存消费者个人信息的机器人(肢体)进入二级市场,则可以认定其在事后尽到风险防范义务。又如,经营者主动将人形机器人服务纳入政府机构组织的监管沙盒测试中,以提前获知人形机器人服务在事中事后的风险状况,特别是消费者终止服务后的信任控制风险,则可以视为已尽到的风险识别与防范义务。

(本文来源于《东方法学》2024年第3期)

专题统筹:秦前松