引言 如今移动互联网行业呈爆发式发展，随着业务用户规模和业务逻辑趋向复杂，后端系统的开发和维护变得越来越困难，目前业界涌现出各种各样的技术文章介绍分布式缓存设计、分布式数据库设计、负载均衡、HA策略等等，这些都是支撑分布式数据访问层的基石，不过，本文将从另一个角度探讨分布式数据访问层 (Dat...

英文原文：Parsing Raw Data 平时习惯了在某些特定的数据集合上做实验，简单的tokenization、预处理等步骤就足够了。但是在数据越来越大的年代，数据清洗越来越重要，也越来越复杂。看到Philip J.Guo 的这篇英文文章《Parsing Raw Data》觉得不错，学习并...

古希腊哲学家巴门尼德认为：“人的思想和言语都有一个载体，如果你在这一时间和另外一个时间想到或者谈到同样一件东西，那就说明这件东西在这段时间内没有变化，如有变化的话，你说的就不是同一件东西。”古希腊哲学家：巴门尼德 这让我想起对象的实例。在面向对象设计中，默认情况下并没有约束类的实例是否为可变，...

英文原文： Why is it hard to scale a database, in layman’s terms? Paul King ，Facebook 数据科学家（3.6K 赞） 要扩展数据库有四大挑战：搜索、并发性、一致性和速度。 假设你有一张清单，上面有10个人名。如果你想要...

前言 随着移动互联网的迅速普及，手机淘宝业务在迅速的成长，目前已经发展成为拥有40多个bundle（业务模块）的超大APP产品，在这后面有着数百名的研发人员的努力工作。业务的成长和人员的倍增给技术架构、团队合作、产品的交付都带来了巨大的挑战。本文将会讲述手机淘宝研发团队在两年的时间为了达到高质...

前言 做运维的那么多，快乐的能有几个？ 我们那么努力，为什么总感觉过得那么憋屈、苦闷？做的事情那么多，为什么业务部门、直接领导和公司貌似都那么不领情？怎么做才能自己更加开心些？ 本专栏的主线实际是一个运维人员的十年成长史，从菜鸟到运维总监。但不是基础技术教学，也不会在运维技术的某一方面过深...

什么是工程师文化？在你眼中，怎样的公司才算是有工程师文化的公司？ 以下是来自知乎王一的回答： 一点浅薄见解。请批判着看。 在海外多年，很多媒体追捧的国外的概念，比如什么法制民主人性化诚信素质高之类的，绝大部分是虚的假的 YY 的。但是西方社会有两个东西，我认为真的需要我们去研究、学习，然后...

简介 本系列的 第 3 部分 描述了针对最常见的、经常发生的大数据问题及其解决方案的原子模式和复合模式。本文将推荐可以用于架构大数据解决方案的三个解决方案模式。每个解决方案模式都使用了一个复合模式，该模式由逻辑组件构成（参见第 3 部分的介绍）。在本文末尾处，列出了产品和工具清单，它们可映射到...

简介 本系列的 第 3 部分 介绍了大数据解决方案的逻辑层。这些层定义了各种组件，并对它们进行分类，这些组件必须处理某个给定业务用例的功能性和非功能性需求。本文基于层和组件的概念，介绍了解决方案中所用的典型原子模式和复合模式。通过将所提出的解决方案映射到此处提供的模式，让用户了解需要如何设计组...

概述 这个 “大数据架构和模式” 系列的 第 2 部分 介绍了一种评估大数据解决方案可行性的基于维度的方法。如果您已经使用上一篇文章中的问题和提示分析了自己的情况，并且已经决定开始构建新的（或更新现有的）大数据解决方案，那么下一步就是识别定义项目的大数据解决方案所需的组件。 大数据解决方案的...

简介 在确定投资大数据解决方案之前，评估可用于分析的数据；通过分析这些数据而获得的洞察；以及可用于定义、设计、创建和部署大数据平台的资源。询问正确的问题是一个不错的起点。使用本文中的问题将指导您完成调查。答案将揭示该数据和您尝试解决的问题的更多特征。 尽管组织一般情况对需要分析的数据类型有一...

相关文章： 大数据架构和模式（二）——如何知道一个大数据解决方案是否适合您的组织 大数据架构和模式（三）——理解大数据解决方案的架构层 大数据架构和模式（四）——了解用于大数据解决方案的原子模式和复合模式 大数据架构和模式（五）——对大数据问题应用解决方案模式并选择实现它的产品 概述　...

摘要 多年以来，主搜索的集群架构和排序算法相对比较单一，一定程度上制约了搜索业务的发展。本文主要介绍主搜索最新采用的索引分层技术。这种分层技术把主搜索集群架构从二维扩展到了三维。基于这种三维的新架构，主搜索可以根据不同的应用场景，选择不同的检索和排序算法，从而更好的提升主搜索的检索性能与检索效...

1、做设计为什么还需要看数据？ 很多设计师从来不看数据，要么是因为没有数据可看，要么是根本不想看，但是也一样把设计做的很好啊！设计本来就是有感性的一面，为什么非得要和数据扯上关系呢？我们不妨先看看设计的本质是什么。设计不同于纯粹的艺术，艺术源于艺术家对现实的观察和思考，以及对这种观察和思考的自...

新闻门户网站的评论系统，或者称为跟帖、留言板，是所有门户网站的核心标准服务组件之一。与论坛、博客等其他互联网UGC系统相比，评论系统虽然从产品功能角度衡量相对简单，但是因为需要能够在突发热点新闻事件时，在没有任何预警和准备的前提下支撑住短短几分钟内上百倍甚至更高的访问量暴涨，而评论系统既无法像静...

序言 新浪微博在2014年3月公布的月活跃用户（MAU）已经达到1.43亿，2014年新年第一分钟发送的微博达808298条，如此巨大的用户规模和业务量，需要高可用（HA）、高并发访问、低延时的强大后台系统支撑。 微博平台第一代架构为LAMP架构，数据库使用的是MyIsam，后台用的是php...

引：为什么工程师的效率有那么明显的波峰波谷？为什么会有负面情绪？负面情绪与工作效率有什么关系？ 团队 Leader 应该怎样保证整体的效率输出与大家的成长？为什么醉心于技术的同学做项目总是虎头蛇尾？ 对工程师来说经常会有明显的效率差异，有时一天能搞定好几个模块，顺带加了好几个新的技能点，而有时...

缘起 有用户反馈内部MIS系统慢，页面加载耗时长。前端同学们开组会提及此事，如何解决慢的问题。 最致命的是：偶发！你不能准确知道它抽风的时间点，无法在想要追查问题的时候必现它。这只是一方面，另外，慢的可能实在太多了，那么问题来了，是前端导致的还是后端的问题？ 对慢的定义也有待商榷，多久算慢...

最近一年左右兼职技术管理的经验试总结，核心理念就是以人为本。 小作坊 小项目的构成往往是一个相对有经验的人作为leader，带几个毕业生构成一个三五个人的小作坊。没有达到配置专门的项目管理人员的程度，因此管人管事管技术，三权集中在一个人身上。 对效率上有好的和坏的影响，但也是不错的选择，开...

英文原文：To code quickly, you must quit coding 昨天我做了一些事情使我的编程效率提高了一倍。简单，容易，但使我的生活发生了巨大的变化。 你们中可能有些人已经知道我是怎么做的。对于其他的人，这听起来有些疯狂。 我不持续工作。 或者，我把定时器设置成50...