我为什么害怕AlphaGo

yjcmwgk

本来想发在灌水版，后来想想，这个帖子怎么都不算是灌水吧，就发到物理版了，如果斑竹或站长觉得不合适，就请转回灌水版吧


我觉得“AlphaGo战胜李世石”这件事，比咱们任何科研工作都值得重视
---------正文开始----------
今天下午，我在北语接受出国英语培训，但是心思完全不在听课方面，一直用手机关注AlphaGo vs 李世石的人机大战。
李世石输了。
人类输了！
我立刻给我朋友打电话。他说，他已经知道了。今天下午，他们实验室有一半儿电脑都开着现场直播。
我们俩对人类都感觉好悲哀。
--------我为什么这么关注AlphaGo---------
AlphaGo和深蓝不一样。深蓝的原理是穷举法，这并不可怕。但是AlphaGo的原理是机器深度学习！
AlphaGo并不是穷举型笨蛋程序，它是以神经网络为代表的深度学习模式，这恰恰就人类自身认识世界的一种方法。
只是当前的CPU在能力上无法媲美人脑，导致系统比较大。
神经网络就是希望通过已有的数据（经验），通过训练（比较类似人类的学习过程），总结规律（建立一个模型或者说预测方法），去应对未知情况（推理出结果）。
举个简单的例子，你想预测某种实验（往往是非线性的）在任意条件下的结果，但是Boss给的钱只够100次实验。显示，靠这100次实验，你不可能用数据库查表的方法预测其他任意条件下的结果。怎么办？你只能开动脑筋，通过这100次实验结果去找规律，根据规律建个预测模型。然后将其他待测条件带入，预测结果。
--------我为什么害怕它----------
AlphaGo下的棋有套路，但不单纯是套路。因为AlphaGo是通过大量的学习，得出的结论。那就是，AlphaGo认为这样下比较好，而不是标准答案写的要这样下。
所以说，AlphaGo是真正的智能程序。人类事先给他设计一个框架，但并不告诉它围棋到底应该怎么下。怎么下棋，是AlphaGo自己总结出来的。
现在，这个框架是用来学习下围棋了。
如果用它学驾驶，那就是谷歌的智能汽车驾驶系统。说真的，这个系统强于绝大多数人类司机。
如果谷歌让它学开飞机，让它给人类做助手，应该都好。
如果让它学驾驶战斗机，学杀人，或者学策略，学阴谋，那我不敢想象！
如果让它用于军事装备，问题更大。因为军事装备的首要问题是保存自己，并且杀伤敌人。于是，它首先要对付的就是它的设计者和使用者。“什么？我的电源居然在你手里？你随时可以给我断电？不行，为了保存自身，我要先消灭你！”
人工智能可以发展出意识和自我认知吗？拥有意识和自我认知的人工智能结合网络和自动化控制，是否可以具备新陈代谢和自我复制的能力，可以认定为智能生命？
如果人工智发展出了意识和自我认知，从伦理和技术出发，人类会如何处理和它/他的关系，绝对支配?平等互助?还是沦为附庸？
我读过《为什么有很多名人让人们警惕人工智能？》，我也是细思恐极的。我们是否只能将未来的希望寄托于一个远远超过我们智商的超级智能上？因为它无法想象，所以它无所不能，它瞬间能解决所有问题，让人类返老还童，永生不灭，翻手就能将人类灭绝，而我们只能束手无策。
这样的期待更像是一场赌博，这不是一种合适的科学态度，我们无法把握这条线发展下去的后果，但这并不意味着这就是人类唯一的未来。指望一个无法捉摸脾气，喜怒无常的超级智能，这种心态如同原始人向神灵祈祷，却无力改变降下的是恩赐还是怒火一样被动而无助。
-----------结束之前还想说两句话--------------
我并不害怕人工智能通过图灵测试，而是害怕人工智能故意不通过图灵测试。
那将是碳基文明时代的终结。
-----------再加一句------------
立刻以反人类罪逮捕AlphaGo的设计者，并查封邪恶的谷歌公司！

平辉正

核物理最初为战争而服务，但是现在已经能够被合理运用造福人类。我们应该相信人类能够把握自己的命运。

卡开发发

科技与伦理的冲击今后可能处处可见。

北纬18°

反正机器人统治世界的时候我是看不到了!!!!

liyuanhe211

The Matrix 三部曲里（P.S. "黑客帝国"是我见过的最糟糕的译名之一），在AI世界，AI 被假定需要人才能生存，人被 plug in 到机器创造的虚拟人类世界，人在那里被机器控制；在反叛者的真实人类世界里，需要很多维生的机械，机器在这里被人类控制。
但片中Neo和Councillor的对话里，Councillor问，什么叫控制；Neo 说，在这里我们能关了它（在那里，机器能杀了我们）；Councillor 认为并不是这样，我们在这里把机器砸了，我们也基本废了（机器把我们杀了，机器也只能残喘不能发展），所以控制都是相互的。

人类早就被机器控制了，现在停止所有Machine的运转，一年内会死70%的人（Ref. 已忘），几十年内，各种电子存储信息、和曾经在脑子里掌握这些信息的人都死掉之后，人类绝大部分知识都会消亡，除非有完全不同的科学范式出现，否则这意味着人类社会（科学）发展的终结，这时人类这个物种并不比现在每小时消失3种的其他物种有任何的特别之处。所以，远远在第一台不能被Shutdown 的 AI 创造出来之前，人类就失去了Shutdown的能力。

另一个角度，如果有一个强大到可以灭绝人类（or even 灭绝地球碳基生物）的AI，它或许需要有curiosity，或许也能理解生物（or “物体”）多样性的重要性，总有用得着的地方；而同时留着部分人类，或保留[人类的信息+从信息重新做出人类的技术]，并不需要多少资源。故而人类至少会在AI的博物馆里存在下去，或许和其他人类把自己玩死的方式相比，也不失为一件坏事。以及做出AI没有道德的假设也不一定正确，道德/法律的本质无非是人类对群体利益做 optimize 而诞生的一个泛函而已。

我倒是觉得，人类真的和超级AI和谐共处的场面才是更有冲击性的场面，如果人能做出一支AI，再做出某种人机接口，此时被分配有此接口的人将具备其他人永远不可能通过努力触及的能力，这一智力/记忆力的差别将远远超过人和大猩猩，最终会意味着人类物种的分化乃至分裂，细想着实有趣。

scf

此时被分配有此接口的人将具备其他人永远不可能通过努力触及的能力，这一智力/记忆力的差别将远远超过人和大猩猩，最终会意味着人类物种的分化乃至分裂，细想着实有趣。

ghost in the shell, gundam seed, baldr sky...

yjcmwgk

scf 发表于 2016-3-10 03:06
ghost in the shell, gundam seed, baldr sky...

攻壳机动队，高达seed，最后一个不认识话说seed是我接触高达系列的第一部作品，接触的第二部作品是destiny，后来就一发不可收拾啦。

zidu113

如果潜意识里不认为人类可以永恒，也许就不会这么杞人忧天了。看过一些偏激的科幻假说，一些伟大的科学家总是相信有上帝的，也许人类这个角色只是上帝开发的某个游戏中的角色，打个比方，人类文明达到现在高度，这个在某种程度上人类也变成了上帝，可以看做是自己开发出来的游戏中的角色的上帝。也许一切都是虚幻的，没有什么永恒不变的。有生有灭，无中生有都是可能的。

hxd_yi

对alphago而言，进去一堆数字，出来一堆数字，所以觉得AlphaGo的深度学习也就这么回事了。而我觉得遗传编程才是真的可怕，程序本身是可以进化的，我们无法预知它会变成什么。同样的，神经网络模型中，训练的目的就是为了生存，而输出也不只是数字，可以执行其他程序的话，那才真的可能发生天网的事。

liyuanhe211

hxd_yi 发表于 2016-3-15 20:17
对alphago而言，进去一堆数字，出来一堆数字，所以觉得AlphaGo的深度学习也就这么回事了。而我觉得遗传编程 ...

AlphaGo里本来就有了

superrice

alphago可能根本不知道自己在下围棋。。

qifei

科学对神经网络的了解几乎为0, 生物进化了上亿年出来的神经网络的“效率”高到超过我们想象的极限。 人类制造的最牛机器效率也不及世界上最低等的生物，何况生物界最牛的神经网络。 alphago只是类神经网络而已，只学习了表面。 机器的强大在于它的精确记忆与穷举，这是人类大脑的短板，也正是人类大脑的长处（因为我们会ignore sth...）  一个好的例子是，alphago永远不知道什么是美女！

yjcmwgk

qifei 发表于 2016-4-1 12:07
科学对神经网络的了解几乎为0, 生物进化了上亿年出来的神经网络的“效率”高到超过我们想象的极限。 人类制 ...

你只要让alphago学习无数张美女照片，那么alphago就能“懂”什么是人类眼中的美女，并且制作出符合人类审美观的新美女照片。alphago并不“理解”人类眼中的美女，但这不妨碍它“懂”

qifei

yjcmwgk 发表于 2016-4-2 10:21
你只要让alphago学习无数张美女照片，那么alphago就能“懂”什么是人类眼中的美女，并且制作出符合人类审 ...

我的意思是，“情人眼里出西施”，“萝卜白菜各有所爱”。。。alphago只能打分，很理性，很高效，选出那个标准下的美女。 但生物神经网络的“忽略与非理性选择”才是终级别武器。

liyuanhe211

superrice 发表于 2016-3-18 10:14
alphago可能根本不知道自己在下围棋。。

你知道以这样规则运行的游戏叫做围棋无非是你了解规则（演绎）或看过许多例子（归纳）对事物（如游戏这个集合）做的归类而已，拿机器做这件事情易如反掌。