Hang

失败博物馆 - Hadoop

2019-08-31

Hadoop 严格来说并不算完全失败了,不像 Mesos 那样,而是人们期待它成为一个大象, 而它却变成了一只兔子。

我刚毕业就开始接触Hadoop, 当时它基本上就是大数据的代名词。在这个光辉的表象之下,研发人原面临的是一个非常不透明,UI丑陋,运行缓慢的系统。当然,技术的狂热周期会让人放弃自己的疑虑,专心地去这座 shit mountain 扒拉东西。另外,也没得选。

同样的情况也发生在 Jenkins, Mesos 身上,当没有对比的时候,人们很难意识到自己面对的东西的优缺点是什么。时至今日,在吃尽了很多苦头之外,我们可以回过头来想想,为什么有的软件成功了?为什么有的失败了?

成功的特性几乎是不言自明的,我们可以列举如下:

  • 模块化 / 可扩展性好
  • 接口用户友好 (页面,编程语言,API)
  • 文档全面

这些就够了。而失败软件在每一方面,几乎都没做好。Hadoop 也是如此。

同时因为这些因素存在,人们从最初的狂热清醒下来之后,便开始想尽一切办法找寻可能的替代品。在数据量不大的时候尽量选择其他工具(pandas, unix tools等等), Spark, Hive, Pig…. 甚至连 Hadoop 第二代的 YARN 都被 Kubernetes 无意打残了。当然,这个现状有一个比较好的词叫生态圈,但它和 Kuberentes 的生态圈还是很不同的。前者是因为太难用,被肢解,被不断替代。后者是根系稳固,枝叶繁茂。(没写完,待补。)

Links#

  1. What happened to Hadoop
  2. Don’t use Hadoop - your data isn’t that big
  3. Command-line Tools can be 235x Faster than your Hadoop Cluster
  4. Let’s build a modern Hadoop
  5. 与 Hadoop 对比,如何看待 Spark 技术?
  6. Hadoop再凉凉,前大数据独角兽公司MapR被惠普企业(HPE)收购
  7. 驳「Hadoop 快不行了」
  8. Hadoop 不再权威,开源大数据的未来何去何从?
  9. The dark side of Hadoop