最近工作遇到了个难题:如何对大量的基础数据进行存取和计算。这个难题的难度在于需要控制计算成本、高实时性和高存取效率。

首先是存取技术选取难。如果我们是身经百战,那可能只是从中选择的问题。但是这个项目的用人基本都是新手(起码是存取方面新手),选择起来真心无从下手。初定的方案,被架构组的同事否定了,只能继续想办法解决。心有余而力不足。究竟是分开还是合并,该如何想?

其次是要解决实时计算问题。初定的方案,是沿用之前项目的计算框架,但被否定的路由是这个框架太大了,需要更加轻量的。的确,我们只是做基础数据的整理和递归操作。如果使用如此庞大的事件分发与序列化机制,不一定是性能最好的。翻来覆去又回到原地继续选取实时计算框架。

最后是成本问题。公司对IT部门出了名的抠门,都把钱砸到灰机电商去了。介于最后的机器投资比较小,只能在前面两项下功夫。不过在这种实验性的项目上省钱,不一定是好事。反正打工,将就将就了。