架构好文编辑


Google Architecture BLOGGoogle架构介绍PPT

Google的系统是伸缩性之王。它的搜索库,数据巨大,却非常快速;它的邮件系统容量可以无限扩展,为什么?它的地图业务,清晰准确,是如何做到的?谜底之一:Googel的架构。

SEDA 架构理论

利用SEDA构件高可伸缩性,可性能的系统地架构理论。

eBay 的Scalability最佳实践

架构师 都比较激动的。 过几天估计 infoQ 中文站就翻译这篇文章了,所以只记录一点自己的想法好了。在其中的 7 个实战经验中,每一条都值得写篇学习笔记,我比较关注面向 DB 的几条。 水平切分 对于 eBay 这样个头的大 Web 应用,如果数据不能分片,就无从谈及扩展。这个话题我之前描述过一点,文章中提及数据库层的切片要比应用层复杂许多,我想其中最大的一个难点就是不同用户 之间的关联数据问题吧,否则就完全可以根据用户范围或者群体划分到不同的 DB 上。现实的应用总是如此复杂,让每个架构师都早生华发啊。 避免分布式事务 其中提到的前 Inktomi 工程师 Eric Brewer 提出的 CAP 定理: Consistency (C), Availability (A), P…

LinkedIn 架构与开发过程

架构信息。最近, LinkedIn 公司的两位工程师在 JavaOne 上做了两个分享。揭示了更多 LinkedIn 架构方面的技术信息。 1) LinkedIn - A Professional Network built with Java Technologies and Agile Practices 这是我看到的 Web 2.0 公司中第一个完全拥抱 SOA 的。这个文档中大致描述了 LinkedIn 开发过程上的一些经验。 | View News Service Architecture 对于国内鲜果这样的 RSS 工具网站或许能有点参考价值。另外一个值得注意的地方是架构的变迁,随着业务的增长,后端 DB 的变化非常明显。 2) LinkedIn Communi…

Yahoo!社区架构

架构“也是个比较过瘾的事情。请参观并收藏这个页面:Architectures you’ve always wondered about。 eBay 的架构和 去年相比基本是换汤不换药,倒是 Yahoo! 的 Ian Flint(这位老兄是 Bix 的运营总监. Bix 已被雅虎收购) 这个 PPT Yahoo! Communities Architecture: Unlikely Bedfellows 挺有意思,披露了一些鲜为人知的信息。 Yahoo! 社区包括我们比较熟悉的 del.icio.us、Flickr、Yahoo!群组、Yahoo! Mail、Bix等。相当于 Yahoo!把这些属性相近的应用放到一起运营。这个思路倒是和盛大对游戏的运营有些相近。 架构特点 有两点值得…

LinkedIn 架构笔记

架构扩展 FeedLounge 使用 PostgreSQL 的经验 Second Life 的数据拾零 评论数量(4)|Add Comments 本文网址:http://www.dbanotes.net/arch/linkedin.html 最近作者还说了什么? Follow Twitter / Fenng!

Tailrank 网站架构

架构的 Todd Hoff 对 Kevin Burton 进行了采访。于是我们能了解一下 Tailrank 架构的 一些信息。每小时索引 2400 万的 Blog 与 Feed,内容处理能力为 160-200Mbps,IO 写入大约在10-15MBps。每个月要处理 52T 之多的原始数据。Tailrank 所用的爬虫现在已经成为一个独立产品:spinn3r。 服务器硬件 目前大约 15 台服务器,CPU 是 64 位的 Opteron。每台主机上挂两个 SATA 盘,做 RAID 0。据我所知,国内很多 Web 2.0 公司也用的是类似的方式,SATA 盘容量达,低廉价格,堪称不二之选。操作系统用的是 Debian Linux 。Web 服务器用 Apache 2.0,Squid 做…

Twitter 的架构扩展: 100 倍性能提升

架构 eBay 的数据层扩展经验 WikiPedia 技术架构学习分享 说说北京奥运购票系统瘫痪这事儿 评论数量(5)|Add Comments 本文网址:http://www.dbanotes.net/opensource/twitter_arch.html

WikiPedia 技术架构学习分享

架构示意图如下: Copy @Mark Bergsma GeoDNS 在我写的这些网站架构的 Blog 中,GeoDNS 第一次出现,这东西是啥? “A 40-line patch for BIND to add geographical filters support to the existent views in BIND”, 把用户带到最近的服务器。GeoDNS 在 WikiPedia 架构中担当重任当然是由 WikiPedia 的内容性质决定的–面向各个国家,各个地域。 负载均衡:LVS WikiPedia 用 LVS 做负载均衡, 是章文嵩博士发起的项目,也算中国人为数不多的在开源领域的骄傲啦。LVS 维护的一个老问题就是监控了,维基百科的技术人员用的是 pyba…

Amazon 的 Dynamo 架构

架构分析(eg: eBay [1], eBay [2]) ,Amazon 一直找不到太多的资料。国庆期间读到了一篇关于 Amazon Dynamo 的论文,非常精彩。Amazon Dynamo 这个高可用、可扩展存储体系支撑了Amazon 不少核心服务. 先看一个示意图: 从上图可以看出,Amazon 的架构是 完全的分布式,去中心化。存储层也做到了分布式。 Dynamo 概述 Dynamo 的可扩展性和可用性采用的都比较成熟的技术,数据分区并用改进的一致性哈希(consistent hashing)方式进行复制,利用数据对象的版本化实现一致性。复制时因为更新产生的一致性问题的维护采取类似 quorum 的机制以及去中心化的复制同步协议。 Dynamo 是完全去中心化的系统,…

Digg 网站架构

架构. 国庆期间又收集了一些关于网站架构的 信息。一直没有进行系统的整理。越来越发现其实都是自我重复的劳动,后续的信息都是嚼别人剩下的甘蔗。–by Fenng Digg 工程师采用 LAMP (Linux, Apache, MySQL and PHP) 模式。这个 Alexa 排名在 100 左右的、自我估价 1.5 亿美金的站点目前有超过 100 台的 PC 服务器(足够少了),可以粗略分成三个部分:数据库服务器,Web 服务器,搜索服务器。 数据库方面,和其他成功的 Web 2.0 站点一样,也是 MySQL,不过 Digg 稍微”激进”一点,用 MySQL 5,而且号称从 MySQL 4 升级到 5 性能没有什么影响。 OLTP 应用用 InnoDB 引擎, OLAP 用 …

YouTube 的架构扩展

& copy作者:Fenng 发布在 dbanotes.net 在西雅图扩展性的技术研讨会上,YouTube 的 Cuong Do 做了关于 YouTube Scalability 的报告。视频内容在 Google Video 上有(地址),可惜国内用户看不到。 Kyle Cordes 对这个视频中的内容做了介绍。里面有不少技术性的内容。值得分享一下。(Kyle Cordes 的介绍是本文的主要来源) 简单的说 YouTube 的数据流量, “一天的YouTube流量相当于发送750亿封电子邮件.”, 2006 年中就有消息说每日 PV 超过 1 亿,现在? 更夸张了,”每天有10亿次下载以及6,5000次上传”, 真假姑且不论, 的确是超乎寻常的海量. 国内的互联网应用,但从…

eBay 的数据库分布扩展架构

架构可不算便宜。Quest 的 Share Plex License 很贵,而且,对于每个结点来说,都需要数据库 License 与硬件费用。但优点也很多:节省了维护成本; 数据库层面的访问也能做到 SOA; 高可用性。 国内的一些厂商比较喜欢给客户推存储级别的解决方案。通过存储底层复制来解决数据分布以及灾备问题。这个思路似乎太传统了,对于互联网企业来说多少有点过时。 BTW: 对 Amazon 的存储架构非常感兴趣,谁/哪里能提供点线索呢? –EOF– 相关文章|Related Articles SI Object Browser 尝试进入中国,正在寻找合作伙伴 eBay 的应用服务器规模 上帝说,要有工具条 eBay 的数据量 评论数量(14)|…

大规模服务设计部署经验谈[上] [转] , 大规模服务设计部署经验谈[中] [转] , 大规模服务设计部署经验谈[上] [转] ,

— 运营方面的良言苦口 —- 引言 本文就设计和开发运营友好的服务的话题进行总结,得出一系列最佳实践。设计和 部署大规模服务是一个高速发展的领域,因而随着时间的流逝,任何最佳实践集合都可能…