失败博物馆 - Hadoop
文章目录
Hadoop 严格来说并不算完全失败了,不像 Mesos 那样,而是人们期待它成为一个大象, 而它却变成了一只兔子。
我刚毕业就开始接触Hadoop, 当时它基本上就是大数据的代名词。在这个光辉的表象之下,研发人原面临的是一个非常不透明,UI丑陋,运行缓慢的系统。当然,技术的狂热周期会让人放弃自己的疑虑,专心地去这座 shit mountain
扒拉东西。另外,也没得选。
同样的情况也发生在 Jenkins, Mesos 身上,当没有对比的时候,人们很难意识到自己面对的东西的优缺点是什么。时至今日,在吃尽了很多苦头之外,我们可以回过头来想想,为什么有的软件成功了?为什么有的失败了?
成功的特性几乎是不言自明的,我们可以列举如下:
- 模块化 / 可扩展性好
- 接口用户友好 (页面,编程语言,API)
- 文档全面
这些就够了。而失败软件在每一方面,几乎都没做好。Hadoop 也是如此。
同时因为这些因素存在,人们从最初的狂热清醒下来之后,便开始想尽一切办法找寻可能的替代品。在数据量不大的时候尽量选择其他工具(pandas, unix tools等等), Spark, Hive, Pig…. 甚至连 Hadoop 第二代的 YARN 都被 Kubernetes 无意打残了。当然,这个现状有一个比较好的词叫生态圈
,但它和 Kuberentes 的生态圈还是很不同的。前者是因为太难用,被肢解,被不断替代。后者是根系稳固,枝叶繁茂。(没写完,待补。)
Links
文章作者 涯余
上次更新 2019-08-31