第143章 未来超级智能体（2 / 3）
“由於缺乏自我认知和道德考量，这类系统可能会 “无意间” 或 “漠不关心地” 毁灭其创造者。”
“例如，一个 “以最大化资源效率为任务” 的人工智慧，可能会认为 “其创造者是不必要的资源消耗者”；由於它无法反思自身行为的道德性，便会毫不犹豫地执行 “清除创造者” 的指令。”
“此外，即便是更智能的人工智慧，如果被赋予了一个简单目標，也可能会认为 “其他人类或人工智慧对该目標的实现构成威胁”。其结果可能抽象且完全出乎意料。”
“我设想过这样一种场景：：一个经典的 “阿西莫夫式类人机器人”，被编程遵循 “三大法则”—— 即 “首要任务是服从人类、保护人类”，同时负责照看一个它需要监护的孩子。”
“孩子指向后院里一只可爱的动物，而机器人將这只动物视为 “潜在威胁”，立刻开枪將其击毙。”
“在机器人看来，“一只死动物对孩子造成伤害的可能性，比活动物更低”—— 儘管在现实中，这只动物对孩子构成威胁的可能性微乎其微。”
“我们还能设想其他场景：人工智慧可能会认为 “人类本身就是其存在或目標实现的最大威胁”。”
“为了 “减轻这种威胁”，它可能会决定將人类的大脑 “囚禁在大型装甲罐中”，为大脑提供营养和娱乐（或虚擬生存环境），並阻止新人类的诞生。”
“在它看来，“未来人类可能会危及当前受其监护的人类，或过快消耗资源”—— 即便这种风险的概率非零，也足以成为它採取这种极端措施的理由。”
“事实上，你我如今可能就生活在这样的环境中：我们的大脑被放在 “罐子” 里，沉浸在美妙的虚擬实境中。”
“你可能会说，这个场景已经涉及 “更智能的人工智慧” 范畴了 —— 我同意你的看法。但在 “简单殭尸人工智慧” 和 “复杂感知型人工智慧” 之间，存在一条我们尚未完全理解的模糊界限。”
“假设你有机会，前往其他的星系探索，可能会发现许多恆星系统中，都布满了基础探测器和採矿设备 —— 这些设备通常以 “鬆散的气泡状” 分布在某颗行星或某个恆星系统周围。”
“並且，其规模遵循 “卡尔达肖夫指数”的层级。”
“所以，“引入气泡文明”是可能的：某个文明可能会有意开採附近恆星系统的资源，將资源运回其核心星球，同时留下 “危险但无智能的机器”。这些机器可以充当 “威慑力量”，阻止敌对文明向该区域扩张，或至少让敌对文明的扩张 “速度大幅减慢、难度显著增加”。”
“如果某个外星帝国试图在你文明边界的 “已开採边缘区域” 定居，或者你自己文明的某个分支派系试图在那里建立敌对帝国，那么 “早期採矿导致的资源匱乏”，以及 “遗留下来的危险殭尸人工智慧”，会让他们的计划很难成功。”
“这也会给你更多时间来 “探测他们的活动”，並评估 “他们是否构成威胁”。”
“你甚至可以部署数千种不同类型、指令相互竞爭的机器人，包括一支 “净化舰队”—— 这类舰队的设计目的，就是摧毁任何 “规模过大或过於复杂的殭尸人工智慧集群。”
“同时，对於 “己方文明成员或分支派系建立的、规模过大且可能构成威胁的小型定居点”，也会採取同样的摧毁措施。”
“这类场景之所以让我感到不安，正是因为它们看似合理 —— 並非因为 “人们容易鲁莽地製造失控的危险人工智慧”，而是恰恰相反。”
“因为人们 “可能会有意识地选择製造危险的人工智慧”，以帮助自己 “控制邻居和分支派系，防止他们失控”。”
“说起来，人类对这种 “用机器进行威慑” 的想法，已经思考了数千年。”
“在希腊神话中，宙斯创造了自动机器人塔洛斯，並指派它守卫克里特岛—— 塔洛斯通过在岛屿周围巡逻，阻挡入侵者，来完成守卫任务。而宙斯本人，也曾推翻过自己的父亲克罗诺斯—— 这正是我们 “费米悖论之克罗诺斯场景”的灵感来源。”
“因此，针对费米悖论，我们有三类与 “危险人工智慧” 相关的场景：”
“1：经典场景：超级智能人工智慧將我们彻底毁灭；”
“2：殭尸人工智慧场景：殭尸人工智慧毁灭人类，或限制人类的活动范围；”
“3：自我限制场景：我们可能会选择 “自我限制”，利用殭尸人工智慧守卫边界、维持核心帝国的存续，並阻碍或管控任何分支派系或入侵者。”
“这些人工智慧系统甚至可能 “让行星保持相对完好”—— 因为行星 “易於监测”、“资源难以转移”，且 “隔离起来简单直接”。”
“一旦有飞船或卫星试图进入或离开轨道空间，“愤怒的机器群”或 “飢饿的人工智慧集群”就会蜂拥而至，形成一道有效的屏障。”
“这类场景的可怕之处在於：与费米悖论中 “人工智慧（无论是人工的还是其他形式的）取代人类或外星人” 的典型概念不同，后两类场景（殭尸人工智慧限制人类、人类利用殭尸人工智慧自我限制）会让宇宙中 “布满无智能的集群和机械掠夺者”。”
“这些机器会將宇宙变成一片 “布满被掏空岩石的混乱之地”，阻止任何真正的 “星系文明” 崛起或存续。” ↑返回顶部↑
“例如，一个 “以最大化资源效率为任务” 的人工智慧，可能会认为 “其创造者是不必要的资源消耗者”；由於它无法反思自身行为的道德性，便会毫不犹豫地执行 “清除创造者” 的指令。”
“此外，即便是更智能的人工智慧，如果被赋予了一个简单目標，也可能会认为 “其他人类或人工智慧对该目標的实现构成威胁”。其结果可能抽象且完全出乎意料。”
“我设想过这样一种场景：：一个经典的 “阿西莫夫式类人机器人”，被编程遵循 “三大法则”—— 即 “首要任务是服从人类、保护人类”，同时负责照看一个它需要监护的孩子。”
“孩子指向后院里一只可爱的动物，而机器人將这只动物视为 “潜在威胁”，立刻开枪將其击毙。”
“在机器人看来，“一只死动物对孩子造成伤害的可能性，比活动物更低”—— 儘管在现实中，这只动物对孩子构成威胁的可能性微乎其微。”
“我们还能设想其他场景：人工智慧可能会认为 “人类本身就是其存在或目標实现的最大威胁”。”
“为了 “减轻这种威胁”，它可能会决定將人类的大脑 “囚禁在大型装甲罐中”，为大脑提供营养和娱乐（或虚擬生存环境），並阻止新人类的诞生。”
“在它看来，“未来人类可能会危及当前受其监护的人类，或过快消耗资源”—— 即便这种风险的概率非零，也足以成为它採取这种极端措施的理由。”
“事实上，你我如今可能就生活在这样的环境中：我们的大脑被放在 “罐子” 里，沉浸在美妙的虚擬实境中。”
“你可能会说，这个场景已经涉及 “更智能的人工智慧” 范畴了 —— 我同意你的看法。但在 “简单殭尸人工智慧” 和 “复杂感知型人工智慧” 之间，存在一条我们尚未完全理解的模糊界限。”
“假设你有机会，前往其他的星系探索，可能会发现许多恆星系统中，都布满了基础探测器和採矿设备 —— 这些设备通常以 “鬆散的气泡状” 分布在某颗行星或某个恆星系统周围。”
“並且，其规模遵循 “卡尔达肖夫指数”的层级。”
“所以，“引入气泡文明”是可能的：某个文明可能会有意开採附近恆星系统的资源，將资源运回其核心星球，同时留下 “危险但无智能的机器”。这些机器可以充当 “威慑力量”，阻止敌对文明向该区域扩张，或至少让敌对文明的扩张 “速度大幅减慢、难度显著增加”。”
“如果某个外星帝国试图在你文明边界的 “已开採边缘区域” 定居，或者你自己文明的某个分支派系试图在那里建立敌对帝国，那么 “早期採矿导致的资源匱乏”，以及 “遗留下来的危险殭尸人工智慧”，会让他们的计划很难成功。”
“这也会给你更多时间来 “探测他们的活动”，並评估 “他们是否构成威胁”。”
“你甚至可以部署数千种不同类型、指令相互竞爭的机器人，包括一支 “净化舰队”—— 这类舰队的设计目的，就是摧毁任何 “规模过大或过於复杂的殭尸人工智慧集群。”
“同时，对於 “己方文明成员或分支派系建立的、规模过大且可能构成威胁的小型定居点”，也会採取同样的摧毁措施。”
“这类场景之所以让我感到不安，正是因为它们看似合理 —— 並非因为 “人们容易鲁莽地製造失控的危险人工智慧”，而是恰恰相反。”
“因为人们 “可能会有意识地选择製造危险的人工智慧”，以帮助自己 “控制邻居和分支派系，防止他们失控”。”
“说起来，人类对这种 “用机器进行威慑” 的想法，已经思考了数千年。”
“在希腊神话中，宙斯创造了自动机器人塔洛斯，並指派它守卫克里特岛—— 塔洛斯通过在岛屿周围巡逻，阻挡入侵者，来完成守卫任务。而宙斯本人，也曾推翻过自己的父亲克罗诺斯—— 这正是我们 “费米悖论之克罗诺斯场景”的灵感来源。”
“因此，针对费米悖论，我们有三类与 “危险人工智慧” 相关的场景：”
“1：经典场景：超级智能人工智慧將我们彻底毁灭；”
“2：殭尸人工智慧场景：殭尸人工智慧毁灭人类，或限制人类的活动范围；”
“3：自我限制场景：我们可能会选择 “自我限制”，利用殭尸人工智慧守卫边界、维持核心帝国的存续，並阻碍或管控任何分支派系或入侵者。”
“这些人工智慧系统甚至可能 “让行星保持相对完好”—— 因为行星 “易於监测”、“资源难以转移”，且 “隔离起来简单直接”。”
“一旦有飞船或卫星试图进入或离开轨道空间，“愤怒的机器群”或 “飢饿的人工智慧集群”就会蜂拥而至，形成一道有效的屏障。”
“这类场景的可怕之处在於：与费米悖论中 “人工智慧（无论是人工的还是其他形式的）取代人类或外星人” 的典型概念不同，后两类场景（殭尸人工智慧限制人类、人类利用殭尸人工智慧自我限制）会让宇宙中 “布满无智能的集群和机械掠夺者”。”
“这些机器会將宇宙变成一片 “布满被掏空岩石的混乱之地”，阻止任何真正的 “星系文明” 崛起或存续。” ↑返回顶部↑