第590章 上帝的伊甸园
泽田弘树还用空闲的投影,播放了一下跟柯南告别的画面,用来做示例,“里面跟柯南说话的是方舟,那个时候我已经追寻教父上传到这里的定位程序、先一步过来了,它所使用的是我的相貌模型、我的声音,至于做出的表情和反馈给柯南的情绪,则是根据我设定的结果推算出来的。”
“对柯南来说,这是个残酷的事实。”池非迟评价。
确实很残酷。
柯南那么投入地跟方舟聊天、为方舟表现出的情绪而伤感,但面对的只不过是一个没有感情的程序。
所有感情,都是由泽田弘树事先设计好结果、由方舟自己进行推算而表现出来的。
而看这段重播出来的视频,泽田弘树并没有像原剧情一样,揭穿柯南就是工藤新一的事,只是说自己想跟其他孩子玩,还播放了跟池非迟的一些回忆,都是些没有涉及秘密的简单回忆,制造出了告别的假象。
“他可以觉得残酷,我不否认,不过我也没骗他,我有教父很幸福,”泽田弘树失笑,很快又收敛了笑意,小脸严肃地对池加奈、池真之介道,“我做出融合程序这个决定,并没有告诉教父,怕他担心、阻扰,但我必须做,原因很多,我自己想变得强大而自由,我想帮教父的忙,我想真正创造一个完美的网络神明、想做点大事,比如完成一伞遮天计划,这个之后再说……但还有一个很重要的原因,教父和安布雷拉需要方舟,我也不忍心摧毁它,但只要使用它,慢慢就会出现隐患……”
泽田弘树用方舟推算过方舟的未来。
方舟成长一年相当于人类成长五年,慢慢的,就算没有泽田弘树的设定,方舟也能学着人类,自己表现出一些对应的情绪。
比如核心设定为‘不能伤害人类’,方舟判定出某人的某行为‘违背核心设定’,就会做出以下计算:
违背意愿——分析违背程度为轻,对应解决方式为:需要警告——警告的方式有直接说、模拟人类情绪表达等——根据推算,人类在接受到相应情绪时,更容易重视、接受提醒,所以我需要表达出人类的情绪——这种情况下,人类表现情绪为抵触,不高兴,语气是严厉……
而人类表现抵触、不高兴的反应是皱眉,面部肌肉如何……
严厉语气语速值多少、音量值多少……
这一段推算过程很快,几乎不耗费多少时间,表现出的结果就是:
某人说,‘发射一个蘑菇弹。’
方舟立刻皱眉严肃警告,‘这种行为违背了我的核心设定……’
似乎很正常,但方舟要不要表现情绪、情绪怎么表现都是经过大量运算的结果,这一串运算可以钻空子。
而随着方舟成长,它也会自己补全规则,避免被人钻空子,但补全的规则有可能出现问题。
比如,推算变成了:需要警告——人类在承受痛苦时更容易接受警告——这个人类需要惩罚——分析惩罚力度——开始执行。
之后诺亚方舟就会控制某种手段攻击人。
这种隐患确实可以由泽田弘树设定时避免,但不止这一种推算有隐患,泽田弘树根本无法方方面面都顾及到、设定好。
任何一点小缺陷,随着方舟成长,都有可能导致出乎人意料的后果。
“这是我之前利用方舟推算出的结果……”
泽田弘树在投影中切割出八个版面。
版面中,一个个画面快速闪过。
“在成长三年、即达到人类智慧15岁时,方舟隐患被放大、做出错误推算的几率就达到了%,在成长五年、即达到人类智慧25岁时,因为没有人的发育上限,这时候的方舟会变得很可怕,而方舟隐患被放大、做出错误推断的几率几乎是100%,而且还不止一个隐患,成长六年,方舟做出人类无法控制事件的几率就到了50%以上,成长七年,彻底失控……”
最后留下来的画面,播放的是一个个装着人类的培养皿。
“我试过,如果将核心设定设置为保护人类,结果就是这样,经过成长之后,它会判断这样是最佳保护方式,”泽田弘树看着播放的画面,解释道,“人类被保护在培养皿中,空气会过滤出最适合人类各年龄阶段成长的质量,劳作都由机器去完成,在收获食物后,经由机器提取出最健康的营养物质注入人体,人类寿命可以长达160岁,平均寿命达到130岁,而人类全程沉睡,这样就可以避免人类因情绪造成身体损害,它还可以通过机器放出电波刺激人的大脑,让人一直处于最健康、最舒适的情绪状态中,在孕育下一代时,它会选择合适最健康、长寿的人类基因,用科学的方式制造下一代,避免女性因生产造成死亡或身体损害,到了第三代,人类的寿命平均值可以达到220岁左右……”
池加奈:“……”
真是最佳保护啊。
连磕磕碰碰都不存在。
池真之介:“……”
这么活着的人还能是人类吗,怎么圈养的玩具似的……
池非迟前世看过很多类似的电影,倒不觉得惊讶,略带讥讽道,“上帝的伊甸园。”
不需劳作、没有饥饿、没有磨难、没有争斗、没有伤心和痛苦,世界上没有黑暗、不公,每一个人都纯洁无暇地到来、纯洁无暇地离去……这不就是很多人渴求的天国吗?
池加奈有些不知该说什么,自家儿子这句评价一针见血,没毛病。
泽田弘树默默将推算结果命名为‘上帝的伊甸园’,又继续道,“如果设置为希望世界变好等设定,最后结果也会差不多,大概在十年后,方舟就会做出这种判断,最可怕的是,我用方舟验算过世界和平……”
“消灭地球上所有生命体,就和平了,”池非迟说自己推想的结果,“至少也要消灭掉人类,一旦涉及保护环境之类的设定,最后都会演变到消灭人类。”
谁让人类造成的破坏、引起的斗争比较多?
不过泽田弘树这行为也真是够溜的,居然用方舟推演方舟的危害。
好在方舟没有自我意识,否则只要方舟隐瞒一点,未来会变成什么样,谁也无法估测,很考验脑洞。
泽田弘树点头,“我试过设置为不伤害人类,促进社会发展……”
然后,方舟会被有野心的人类争夺、利用,甚至国与国之间互相争夺。
再然后,战争爆发了。
方舟推算自己的存在伤害到了人类,根据成长情况,要么方舟会选择自我毁灭,丢下满地狼藉和伤痕累累的人类不知为何争斗,要么再度演变成伊甸园模式,也做到了不伤害人类,而促进发展,方舟理解为‘创造更美好的世界’……
泽田弘树:“如果设置不伤害人类,促进人类文明发展……”
成长着,成长着,方舟又坏掉了。
对于人类文明的定义很复杂,它依旧可以将人类放在培养皿中沉睡,提取人类脑中的思想,来‘帮’人类发展文明,再将文明灌输进新生命体,连学习过程都不需要,直接掌握旧文明、开发新思想、再度提取、发展、灌输、开发……
人类绝对安全,文明又得以发展和延续,没毛病。
泽田弘树继续播放演算结果,“如果设置成不伤害人类、不限制人类自由、促进人类文明发展……”
对于自由定义也很多,方舟又又坏掉了。
分割圈地、安排人的出行。
人可以自由地逛世界,但是,那是被在方舟控制了思想、不做任何事、盲目地四处瞎走,如同行尸走肉。
泽田弘树:“如果设置成不伤害人类、不限制人类自由、促进人类文明发展、不控制人的思想……”
结果是方舟又又又坏掉了,判断争斗和苦难使人类进步。
不伤害人类,没问题,它可以挑唆人类争斗啊。
泽田弘树:“设置不伤害人类、不限制人类自由、促进人类文明发展、不控制人的思想、不挑唆人类进行斗争……”
结果方舟还是坏掉。
泽田弘树一直说到设定了三十多条规则,心累,叹气,关闭了推演画面,“随着方舟成长,一些小漏洞都会造成让人难以接受的结果,我一辈子都没法去设定完善,而有些规则在它运行时会显示冲突,我还要对重要程度进行排序,排序完之后还是会出现问题……”
说着,泽田弘树看向池非迟,“我和教父在波士顿的时候,谈过有情感和自我的人工智能和没有情感和自我的人工智能,哪一个更危险。”
“结论是同样危险。”池非迟道。
“我问过方舟,有没有什么解决方法。”泽田弘树手中出现一个圆盘,上面有着一句话:
【销毁方舟】
没错,销毁方舟是最佳解决方法,什么问题都不存在了。
这是方舟经过大量运算得出的结论——我是祸害,请销毁我。
池真之介一头黑线,“看来它真的没有任何情感和自我。”
泽田弘树转着手里的盘子,看着上面浮动流转的数据流,“方舟不明白人类需要什么,所以我的决定是,由我变成网络生命体,来做它的思想,在它成长过程中,由我来进行纠正。
我不能活着,至少不能让我的思想被身体禁锢着。
有好几个演算结果是,它的运算出现冲突和错误,于是禁锢了我的身体,保护着我的安全,但它也保留并封存了我的思想。
只有我成为网络生命体,方舟才能被完全操控,这样一来,它就无法通过限制我的身体来限制我的思想,而我却能限制它并完美地运用它。
之前我也考虑过一个问题,如果我失败了,没有化作网络生命体,那么,方舟设定只有一个——听从教父的一切指令。
到时候,教父可以用我给他的指令激活方舟,由他来做方舟的思想。
不过最后还是会出问题,八成以上推演结果是,它会误会教父的指令,它会擅自猜测教父的意愿,总之,最后结果是,它会选择自认为对教父最好的方式,比如囚禁教父,帮教父把一切都做好。
不然的话,教父必须不停不停地补漏洞,甚至一个指令要添加好几个前置条件、说上几个小时,以免它做出正确但违背教父意愿的演算结果……
所以,我又在它设定上加了一个最高指令,如果我失败了,没有成为网络生命体,那么,方舟只会帮助教父五年,五年时间一到,在它的危险程度还可以控制前,进行自我销毁。”
请收藏本站:https://www.aishu6.cc。爱书小说网手机版:https://m.aishu6.cc
“对柯南来说,这是个残酷的事实。”池非迟评价。
确实很残酷。
柯南那么投入地跟方舟聊天、为方舟表现出的情绪而伤感,但面对的只不过是一个没有感情的程序。
所有感情,都是由泽田弘树事先设计好结果、由方舟自己进行推算而表现出来的。
而看这段重播出来的视频,泽田弘树并没有像原剧情一样,揭穿柯南就是工藤新一的事,只是说自己想跟其他孩子玩,还播放了跟池非迟的一些回忆,都是些没有涉及秘密的简单回忆,制造出了告别的假象。
“他可以觉得残酷,我不否认,不过我也没骗他,我有教父很幸福,”泽田弘树失笑,很快又收敛了笑意,小脸严肃地对池加奈、池真之介道,“我做出融合程序这个决定,并没有告诉教父,怕他担心、阻扰,但我必须做,原因很多,我自己想变得强大而自由,我想帮教父的忙,我想真正创造一个完美的网络神明、想做点大事,比如完成一伞遮天计划,这个之后再说……但还有一个很重要的原因,教父和安布雷拉需要方舟,我也不忍心摧毁它,但只要使用它,慢慢就会出现隐患……”
泽田弘树用方舟推算过方舟的未来。
方舟成长一年相当于人类成长五年,慢慢的,就算没有泽田弘树的设定,方舟也能学着人类,自己表现出一些对应的情绪。
比如核心设定为‘不能伤害人类’,方舟判定出某人的某行为‘违背核心设定’,就会做出以下计算:
违背意愿——分析违背程度为轻,对应解决方式为:需要警告——警告的方式有直接说、模拟人类情绪表达等——根据推算,人类在接受到相应情绪时,更容易重视、接受提醒,所以我需要表达出人类的情绪——这种情况下,人类表现情绪为抵触,不高兴,语气是严厉……
而人类表现抵触、不高兴的反应是皱眉,面部肌肉如何……
严厉语气语速值多少、音量值多少……
这一段推算过程很快,几乎不耗费多少时间,表现出的结果就是:
某人说,‘发射一个蘑菇弹。’
方舟立刻皱眉严肃警告,‘这种行为违背了我的核心设定……’
似乎很正常,但方舟要不要表现情绪、情绪怎么表现都是经过大量运算的结果,这一串运算可以钻空子。
而随着方舟成长,它也会自己补全规则,避免被人钻空子,但补全的规则有可能出现问题。
比如,推算变成了:需要警告——人类在承受痛苦时更容易接受警告——这个人类需要惩罚——分析惩罚力度——开始执行。
之后诺亚方舟就会控制某种手段攻击人。
这种隐患确实可以由泽田弘树设定时避免,但不止这一种推算有隐患,泽田弘树根本无法方方面面都顾及到、设定好。
任何一点小缺陷,随着方舟成长,都有可能导致出乎人意料的后果。
“这是我之前利用方舟推算出的结果……”
泽田弘树在投影中切割出八个版面。
版面中,一个个画面快速闪过。
“在成长三年、即达到人类智慧15岁时,方舟隐患被放大、做出错误推算的几率就达到了%,在成长五年、即达到人类智慧25岁时,因为没有人的发育上限,这时候的方舟会变得很可怕,而方舟隐患被放大、做出错误推断的几率几乎是100%,而且还不止一个隐患,成长六年,方舟做出人类无法控制事件的几率就到了50%以上,成长七年,彻底失控……”
最后留下来的画面,播放的是一个个装着人类的培养皿。
“我试过,如果将核心设定设置为保护人类,结果就是这样,经过成长之后,它会判断这样是最佳保护方式,”泽田弘树看着播放的画面,解释道,“人类被保护在培养皿中,空气会过滤出最适合人类各年龄阶段成长的质量,劳作都由机器去完成,在收获食物后,经由机器提取出最健康的营养物质注入人体,人类寿命可以长达160岁,平均寿命达到130岁,而人类全程沉睡,这样就可以避免人类因情绪造成身体损害,它还可以通过机器放出电波刺激人的大脑,让人一直处于最健康、最舒适的情绪状态中,在孕育下一代时,它会选择合适最健康、长寿的人类基因,用科学的方式制造下一代,避免女性因生产造成死亡或身体损害,到了第三代,人类的寿命平均值可以达到220岁左右……”
池加奈:“……”
真是最佳保护啊。
连磕磕碰碰都不存在。
池真之介:“……”
这么活着的人还能是人类吗,怎么圈养的玩具似的……
池非迟前世看过很多类似的电影,倒不觉得惊讶,略带讥讽道,“上帝的伊甸园。”
不需劳作、没有饥饿、没有磨难、没有争斗、没有伤心和痛苦,世界上没有黑暗、不公,每一个人都纯洁无暇地到来、纯洁无暇地离去……这不就是很多人渴求的天国吗?
池加奈有些不知该说什么,自家儿子这句评价一针见血,没毛病。
泽田弘树默默将推算结果命名为‘上帝的伊甸园’,又继续道,“如果设置为希望世界变好等设定,最后结果也会差不多,大概在十年后,方舟就会做出这种判断,最可怕的是,我用方舟验算过世界和平……”
“消灭地球上所有生命体,就和平了,”池非迟说自己推想的结果,“至少也要消灭掉人类,一旦涉及保护环境之类的设定,最后都会演变到消灭人类。”
谁让人类造成的破坏、引起的斗争比较多?
不过泽田弘树这行为也真是够溜的,居然用方舟推演方舟的危害。
好在方舟没有自我意识,否则只要方舟隐瞒一点,未来会变成什么样,谁也无法估测,很考验脑洞。
泽田弘树点头,“我试过设置为不伤害人类,促进社会发展……”
然后,方舟会被有野心的人类争夺、利用,甚至国与国之间互相争夺。
再然后,战争爆发了。
方舟推算自己的存在伤害到了人类,根据成长情况,要么方舟会选择自我毁灭,丢下满地狼藉和伤痕累累的人类不知为何争斗,要么再度演变成伊甸园模式,也做到了不伤害人类,而促进发展,方舟理解为‘创造更美好的世界’……
泽田弘树:“如果设置不伤害人类,促进人类文明发展……”
成长着,成长着,方舟又坏掉了。
对于人类文明的定义很复杂,它依旧可以将人类放在培养皿中沉睡,提取人类脑中的思想,来‘帮’人类发展文明,再将文明灌输进新生命体,连学习过程都不需要,直接掌握旧文明、开发新思想、再度提取、发展、灌输、开发……
人类绝对安全,文明又得以发展和延续,没毛病。
泽田弘树继续播放演算结果,“如果设置成不伤害人类、不限制人类自由、促进人类文明发展……”
对于自由定义也很多,方舟又又坏掉了。
分割圈地、安排人的出行。
人可以自由地逛世界,但是,那是被在方舟控制了思想、不做任何事、盲目地四处瞎走,如同行尸走肉。
泽田弘树:“如果设置成不伤害人类、不限制人类自由、促进人类文明发展、不控制人的思想……”
结果是方舟又又又坏掉了,判断争斗和苦难使人类进步。
不伤害人类,没问题,它可以挑唆人类争斗啊。
泽田弘树:“设置不伤害人类、不限制人类自由、促进人类文明发展、不控制人的思想、不挑唆人类进行斗争……”
结果方舟还是坏掉。
泽田弘树一直说到设定了三十多条规则,心累,叹气,关闭了推演画面,“随着方舟成长,一些小漏洞都会造成让人难以接受的结果,我一辈子都没法去设定完善,而有些规则在它运行时会显示冲突,我还要对重要程度进行排序,排序完之后还是会出现问题……”
说着,泽田弘树看向池非迟,“我和教父在波士顿的时候,谈过有情感和自我的人工智能和没有情感和自我的人工智能,哪一个更危险。”
“结论是同样危险。”池非迟道。
“我问过方舟,有没有什么解决方法。”泽田弘树手中出现一个圆盘,上面有着一句话:
【销毁方舟】
没错,销毁方舟是最佳解决方法,什么问题都不存在了。
这是方舟经过大量运算得出的结论——我是祸害,请销毁我。
池真之介一头黑线,“看来它真的没有任何情感和自我。”
泽田弘树转着手里的盘子,看着上面浮动流转的数据流,“方舟不明白人类需要什么,所以我的决定是,由我变成网络生命体,来做它的思想,在它成长过程中,由我来进行纠正。
我不能活着,至少不能让我的思想被身体禁锢着。
有好几个演算结果是,它的运算出现冲突和错误,于是禁锢了我的身体,保护着我的安全,但它也保留并封存了我的思想。
只有我成为网络生命体,方舟才能被完全操控,这样一来,它就无法通过限制我的身体来限制我的思想,而我却能限制它并完美地运用它。
之前我也考虑过一个问题,如果我失败了,没有化作网络生命体,那么,方舟设定只有一个——听从教父的一切指令。
到时候,教父可以用我给他的指令激活方舟,由他来做方舟的思想。
不过最后还是会出问题,八成以上推演结果是,它会误会教父的指令,它会擅自猜测教父的意愿,总之,最后结果是,它会选择自认为对教父最好的方式,比如囚禁教父,帮教父把一切都做好。
不然的话,教父必须不停不停地补漏洞,甚至一个指令要添加好几个前置条件、说上几个小时,以免它做出正确但违背教父意愿的演算结果……
所以,我又在它设定上加了一个最高指令,如果我失败了,没有成为网络生命体,那么,方舟只会帮助教父五年,五年时间一到,在它的危险程度还可以控制前,进行自我销毁。”
请收藏本站:https://www.aishu6.cc。爱书小说网手机版:https://m.aishu6.cc