dbanotes posted a photo:

dbanotes posted a photo:

dbanotes posted a photo:

dbanotes posted a photo:

dbanotes posted a photo:

dbanotes posted a photo:

作者：Fenng 发布在 dbanotes.net.

明天结婚。是阿里巴巴集团同事的集体婚礼。

和老婆风风雨雨一路走来。大学最后一年相识，毕业后，她在青岛，我在北京。她抛弃很好的工作背景，杀到北京，在北京生活三年，又和我一起来到杭州发展。感激老婆，每次虽然面对的不是什么大决择，也需要很大的勇气，想起来多不容易。这期间尤其令我感到内疚的是在北京期间老婆压力过大导致生病，深深自责。

不管怎么样，祝福我们吧! 我先祝福一下 :)

--EOF--

BTW,我的支付宝账户: dbanotes@gmail.com

相关文章|Related Articles

• 过年回家
• 杭州第一天
• 每天就是一次艰苦的旅行
• 北京出差第一日

评论数量(68)|Add Comments

本文网址：http://www.dbanotes.net/mylife/marry.html
最近作者还说了什么? Follow Twitter / Fenng

作者：Fenng 发布在 dbanotes.net.

继续我的学习笔记之旅。Flickr 的 DBA Dathan Pattishall 在前几天的 MySQL 大会上分享了 Scaling Heavy Concurrent Writes In Real Time (Record every Referral for Flickr Realtime) ，其中介绍了 Flickr Stats 的设计经验。国内好多 Web 站点其实也在设计类似的功能，只是不知道细节罢了。

数据结构原型

字段               数据类型         
Path_query         Varchar(255)        PK         
Domain             Varchar(50)                         
Owner              Bigint                              
When               Date                                
Object-ID          Bigint                              
Object-Type        Tinyint                             
Counts and stuff   Various ints        May be some keys

主键是字符串，开销太大。其他的索引如果做主键，也比较大。当表大小超过内存的时候，插入速度很慢，I/O 能力也上不来。

优化数据结构

数据预处理，通过 CONV(SUBSTR(MD5(Url),0,16),16,10) 把 Path_query 修改为 64 位的 ID (8字节), 主键为 ID+Owner+object+objecg-type，这个统计信息很容易抽象到一个数据对象，这个索引的设计也在于此。

另外补充一点，利用 PHP 的 ip2long() 和 long2ip() 函数对 IP 地址作预处理，耗费的存储空间只为原来地 25%，这是个很有趣的技巧。

数据 Sharding

对于海量的数据，以一个礼拜为间隔，水平分割。按照不同的数据力度每周一个表，每年一个全局表，再加上一个汇总表。数据量越大，InnoDB 存储引擎针对字符串的索引浪费的空间就越大。单个查询的 I/O 也自然大了起来。

所有应用对 DB 的响应要求 是 300 毫秒。但高并发写入的时候响应时间就糟糕起来。Flickr 的 Java 牛人实现了 Referral 队列，每 4000 条做批量处理。这样 IO 拥塞的就解决掉了。

总体的服务器规模过去 介绍过，对专业版用户的数据是永久保留的，而普通用户则只保留几周，为节省空间，采用 MyISAM 引擎，当用户转为专业版时，迁移数据。

补充一下，抓取 URL 是用的 curl 。最后，这篇 PPT 在线观看。

--EOF--

相关文章|Related Articles

• WordPress.com 的数据量
• Fotolog.com 的技术信息拾零
• 《大型 Web2.0 站点构建技术初探 》一文系抄袭
• Digg 网站架构

评论数量(1)|Add Comments

本文网址：http://www.dbanotes.net/mylife/flickr_referral_design.html
最近作者还说了什么? Follow Twitter / Fenng

dbanotes posted a photo:

dbanotes posted a photo:

dbanotes posted a photo:

dbanotes posted a photo:

dbanotes posted a photo:

dbanotes posted a photo:

dbanotes posted a photo:

dbanotes posted a photo:

dbanotes posted a photo:

dbanotes posted a photo:

dbanotes posted a photo:

使用加密的文件系统 (EFS)（这是一种新的 AIX(R) 6.1 安全特性）来保护您的数据，并全面了解 EFS 的配置及其使用。EFS 可以在文件系统级别中采用加密的格式存储文件的内容。如果您是 EFS 的新手，那么本文将是一个很好的起点，以分析 EFS 的必要性、它的特性和最常用的命令。

说实话我在淘宝上买的东西不多。今天计划在淘宝上买4件商品。在几百万的商家找到最适合的商品需要花费很大的精力。要么分别从4个商铺买到最适合的商品，分别支付4份物流的费用。要么再花些时间找到一家商铺能够买到所有的商品，这样就只需要支付一份物流费用了，但是却不能保证所有商品的价格都令人满意。另外，我想没有一家商铺在卖手机的同时还卖内衣的。淘宝因此带动了一大批的物流公司。相信各个公司的前台每天都会收到来自全国各地的快递，小到一包巧克力或者一件内衣。

幸好我今天买的都是衣服，可以在同一家商铺找到。选好衣服，跟商家旺旺沟通之后，商家让我先分别拍下4件衣服，他再修改各件衣服的价格。但是在用网上银行支付的时候，我还是需要分别启动、关闭网银4次才完成了所有的支付，这种用户体验实在让人很不爽！

淘宝已经占领了中国80%的C2C市场，就好像义乌批发市场 - 拥有大量便宜的商品，却令人无法是从，需要花费很多时间去淘，再一一讨价还价去买。当然，也有人以此为乐，我想起我们以前有位女同事，每天都花好几个小时泡在淘宝上，是为一种乐趣；而男同志大多认为买东西是件痛苦的任务。淘宝商城B2C已经开张1个月了，我还没用过，不知道能否在一站式购物和性价比之间找到平衡？

另一方面，国内网站的首页一个比一个眼花缭乱，各网站都恨不得把自家的东西都能放在首页上。而国外的网站首页却很简洁，但顺着某个链接点进去会发现非常丰富的内容。想起几年前，新浪新闻中心的JS广告展现无所不用其极，导致很多用户不能正常打开网页而产生大量的投诉。而现在，各种广告的展现形式依然在网页上上蹿下跳。

我最近发现www.qunar.com，http://www.vancl.com等一些用户体验超酷的网站，细节设计处处为用户考虑。相信这样的网站一定会取得成功，中国的企业已经越来越需要依靠细节取胜了！

在Clipper Group2006年8月发布的”备份技术的发展（The Evolution of Backups）”分析白皮书中，分析师针对提升容量效益部分做出了这样的报告：”重复数据删除技术是备份技术的下一个发展步骤。”在二级存储归档时删除重复数据可以大幅削减存储介质的成本、进一步流畅管理任务，同时最小化复制数据时的带宽需求。

尽管重复数据删除的概念非常先进，但由于识别重复数据、索引唯一数据、将被紧凑的数据恢复到初始状态所需要的处理能力要求的成本太高，致使这项技术的推广非常缓慢。但是，随着技术的发展，处理能力越来越经济高效，重复数据删除技术在近期再次成为市场的焦点。

许多厂商都声称自家提供的是’最佳’的重复数据删除产品，而将辨别真伪和判断哪些因素对企业的业务更为重要的难题留给了迷茫的用户。甚至有些厂商不切实际的大肆渲染自家产品可以巨量删除重复数据，致使很多早期的重复数据删除用户对他们之前选择的解决方案感到非常失望。

企业想要找到可以真正提供经济效益、高性能且无限扩展的长期数据储存的重复数据删除技术，就必须充分考虑到一些关键性因素。本文将有助于那些想要使用重复数据删除技术的用户了解更多背景资料，从而做出明智的购买选择。

重复数据删除成为一项操作需求

由于二级存储卷的不断增加，企业需要一种方法可以极大的减少数据卷。而很多法律法规的变化，也使得企业面临更大的挑战，被迫不得不改变他们原有的数据保护方式。通过消除重复数据，使数据归档时尽可能的紧凑、简洁，不仅极大的削减了企业成本，同时企业还可以将更多的数据在线保留更长时间。很多企业都希望将数据存储环境的成本效益和性能发挥到最优，而重复数据删除正是这样一种技术，因此很快吸引了企业IT主管的眼球。

虽然压缩技术也可以提供平均值为2：1的数据压缩，但这对于企业需要处理的海量数据只不过是很小的部分，实在是杯水车薪。只有重复数据删除技术才能满足企业大量削减数据量的需求。

由于人们对物理搬运磁带的方式所面临的风险（损坏、被窃、丢失等）早已非常明了，而企业在进行远程存储时又特别重视关键信息的保护和风险最小化的问题，电子化传输无疑成为远程传送的最佳选择。在将备份数据以电子传输方式传送到远程站点进行归档时，重复数据删除能够使所需的带宽需求最小化。

优秀的重复数据删除解决方案应该具备的关键性标准

当用户在评估重复数据删除解决方案时，可以将下面的八条标准作为主要评估标准：

• 1 能够解决关键性问题：有效删除重复数据
• 2 能够与当前环境相整合
• 3 VTL容量
• 4 重复数据删除对备份性能的影响
• 5 具备可扩展能力
• 6 支持分布式应用
• 7 能够对存储库提供实时保护
• 8 效率及有效性

1. 能够解决关键性问题：有效删除重复数据

重复数据删除解决方案是否能够真正解决关键问题所在：有效的删除二级存储上的重复数据，是我们首先要考虑的问题。重复的备份数据会造成多次储存需求，只要重复数据不被删除，储存需求就会继续。

ESG集团2007年发布的报告用图表方式说明了备份向新技术发展的必要性。相对于一次全备份来说，增量和差异数据备份也可以减少备份的数据量。

然而，即使是增量备份，在保护基于文件级变化的数据时，还是会备份很多重复的数据。当需要跨越多个站点的多台服务器进行备份时，通过部署重复数据删除解决方案减少存储才是更好的选择。

2. 能够与当前环境相整合

一个高效的重复数据删除解决方案应该对当前IT环境的影响/中断越小越好。许多企业都选择利用VTL备份来避免影响/中断，以在不改变企业当前备份策略、处理或软件的情况下提升备份质量。因此，基于VTL的重复数据删除技术在部署时对环境影响也应该是最小的。它将更多的注意力集中在了备份这个巨大的重复数据存储池上。

基于VTL的t重复数据删除解决方案通常要求使用专用设备，但这并不影响部署的灵活性。一个充分灵活的重复数据删除解决方案应该即可以以软件包形式提供给用户，也可以提供给用户整体的解决方案（Turnkey Appliance），从而最大限度的使用户的现有资源得以利用。

3. VTL容量

如果重复数据删除技术的部署是围绕着VTL进行的，那么VTL自身的容量就必须作为评估的一部分来考虑。重复数据删除节省下的容量是不能解决由于使用不够规格的VTL所引发的问题的。因此，既要全面考虑VTL的功能性、性能、稳定性以及支持能力也要充分考虑重复数据删除的扩展能力。

4. 重复数据删除对备份性能的影响

在哪里、什么时候进行重复数据删除是关系到备份处理性能的非常重要的问题。有些解决方案试图在数据进行备份时删除重复数据，这会使VTL的性能降低多达60%以上，直接造成备份过程太慢和备份窗口太大的严重性能影响。

相比之下，在备份任务完成之后进行重复数据删除的解决方案则不会出现这些问题，而且不会对备份性能带来任何影响。另外，为了最大限度的发挥易管理性，解决方案允许用户依照多种不同的因素，如资源利用、生产进度、创建时间等进行精细（磁带级或磁带组级）的基于策略的重复数据删除。这使得存储经济性轻松实现，同时，也将系统资源的利用发挥到最大。

5. 具备可扩展能力

由于重复数据删除解决方案是用于长期的数据储存的，在容量和性能方面的可扩展能力也是非常重要的考虑因素，而且至少要考虑未来五年甚至更长时间的增长计划。那么，在保证快速访问的前提下，你希望有多少数据保存在磁带上？你需要怎样的数据索引系统呢？

优秀的重复数据删除解决方案提供的架构，无论是在初始部署时，还是面对未来系统的长期增长，都应该能保证最优化（Right-sizing）、最经济的架构规模。集群可以帮助用户满足不断增长的容量需求—即使是N多Petabyte数据增长的环境—而且不会降低重复数据删除的效率或系统的性能。

这个架构还为存储库保护的部分提供了故障切换（Failover）功能。

6. 支持分布式应用

重复数据删除技术，不只是能为单个数据中心带来利益，对于具有多个分支机构或多个站点的大型企业来说，它可以让整个企业的分布式应用受益无穷。一个包含复制和多级重复数据删除的解决方案可以将这一技术的优势发挥到极致。

举例来说，一个企业由1个总部和3个区域代表机构构成，可以在区域代表机构部署一台具备重复数据删除功能的容灾设备，使本地存储及向远程中央站点的复制更为高效。这种解决方案使数据复制到中央站点的带宽需求降到最低，它只不过是用来确定远程的数据是否已经包括在中央的存储库中。所有站点中，只有唯一的数据会被复制到中央站点或是容灾站点，否则所需的带宽就会增大。

7. 能够对存储库提供实时保护

保证对删除重复数据的存储库的访问是非常关键的，因此它不能允许有单点故障发生。一个优秀的重复数据删除解决方案应该包括可以在本地存储故障发生时提供保护的镜像功能，同时也应该具备复制功能以在灾难发生时从提供保护。这种解决方案还应该在出现节点故障时具备故障切换能力，即使是一个集群中的多个节点出现故障，企业也必须能够及时恢复数据同时还要保证业务持续运营。

8. 效率及有效性

与基于文件的重复数据删除方式相比，在SUBFILE或数据块级分析数据的方式删除的冗余数据会更多。比如，一个4MB大小的文件被修改了一行内容，如果是文件级解决方案，整个4MB的文件都必须再被保存，而存储上就需要保存两遍。如果这个文件被发送给多个人（这种情况非常普遍），这种负面的效应也会随之倍增。

大多数SUBFILE重复数据删除处理是通过将大量的数据分割成’块’，就像虚拟磁带匣一样，在相对小尺寸的数据块中搜索重复数据。分割成大块的数据处理速度更快，但发现的重复数据也比较少；而分割成小块的数据可以更轻松的发现更多重复数据，但它在扫描数据时所需的开销也会更高。

如果数据在磁带（或其它应用的数据流）的时候就被分割成’块’，重复数据删除处理在备份软件创建的元数据上就能进行。优秀的解决方案可以分离元数据，从而在分割成’块’的实际数据文件中发现重复数据，这种方式使找到重复数据的机率更高。有些重复数据删除解决方案甚至可以按照所掌握的数据格式来调节分割的’块’的大小。如果能将这些技术结合应用，将使发现的重复数据数量大幅增加。这在重复数据删除解决方案的经济效益标准方面影响重大。

找到最适合的整体解决方案

由于业务应用需要和法律法规的要求，存储的数据量还在不断的增加，重复数据删除也快速上升到至关重要的地位。在大幅消除数据量、削减存储需求、最小化数据保护成本和风险方面，重复数据删除可说是唯一的应对办法。

尽管重复数据删除技术所带来的利益多多，企业还是应该抵御住不时出现的针对这一技术的大肆抄作。无论是哪种方式，重复数据删除的删除比率都可以根据数据自身的格式和保护策略的不同而发生变化。

为了使重复数据删除技术的利益最大化，企业应该从上面提到的几个标准出发，充分考虑，仔细评估，找到真正适合自己的重复数据删除解决方案，而不应该简单的听信于宣传的重复数据删除比率的理论数值。

• VTL搭配磁带面临的四大问题[转] (0)
• VTL存储技术及产品市场分析 (0)
• NetApp A-SIS重复数据删除技术[转] (0)
• 重复数据删除与虚拟容灾相得益彰[转] (0)
• 网格式 重复数据删除备份系统 (0)
• 重复数据删除的经济性[转] (0)

五一期间有个家乡在福建邱武市的大学同学结婚，靠近武夷山旅游风景区，正好去送红包顺便旅游。 29号晚上到的武夷山，本来已经在网上以450的价格定了2天的武夷山邮电宾馆。在武夷山机场碰见一个开的士的野导。我做他出租车去武夷山邮电，他以400块的价格帮我安排好同样的房间。省去了我50元和从机场去宾馆的士费用。大概他能够从宾馆中得到回扣。 30号也包那个野导的车，300元，准备去黄冈山转转。黄冈山据说是当地第一高峰，在网上的评论都不错。当天还去坐青龙峡峡谷皮筏漂流，爬十八寨。当天的门票2个人总共480，地方上的旅游都挺贵的。 武夷山旅游大概分为2个部分，武夷山风景区和武夷山自然保护区。风景区内有九曲竹筏，天游峰，玉女峰等景区。自然保护区有黄冈山，皮筏漂流，十八寨，青龙峡瀑布（可惜没去，被野导cheat）。去保护区要包车，如果不去黄冈山的话，80-100就可以。风景区景点离武夷山度假区非常近，作魔的或者三轮车就可以。 30号温度不高，比较凉，黄冈山顶上雾气蒙蒙,而且特冷。到了山顶什么都看不见。不过从半山腰到山顶可以看到明显的植被变化，山腰上都是高大的树和灌木，山顶上都是杂草，没有高过人的灌木。虽然雾很大，不能远眺，但感觉仍然不错，可以远远看到雾像瀑布一样从两山之间倾泻下来，犹如仙境。 大雾~ 武夷山保护区内有猴子；属于短尾猴。他们比较敏感红色的东西。如果你穿红色的衣服，可能就会有猴子围攻你。我从店家那里花10元买了包红色塑料包装的面包，在山下挥舞着叫喊”猴头猴头”，非常有效果。猴子们大批下山。最后抓住我不放，还要讨要吃的。 武夷山保护区和风景区到处都是山丘，不高，但都被绿色植被覆盖。竹子，茶叶，灌木丛，漫山遍野。山丘下面就是小溪，被周边的绿色也感染成绿色的水面了。我觉得非常美，可能是北方人看多了北方的光秃秃的山。 靠山吃山。山上到处都是宝。蛇，蘑菇，茶叶，竹子都是老百姓的营生。山上看到很多因今冬大学折断的竹子，经济损失是有的. 靠水吃水。游玩了皮筏漂流，100一人，4人一船。刚开始有2个学徒给我们划筏，壮大石头2次。一个学徒头还栽到水里，就两条腿搭在皮筏上，不然就全掉下去了。漂流最后有一个2米左右的落差，还算刺激。坐完皮筏后，浑身衣服都湿透了。玩这个游戏需要事先准备一套衣服。 后来野导还带我去他的熟人家吃饭和品茶。当然不是免费的啦。价格宰人。可见，武夷山的原住人民并不是每一个都纯朴。 后来去了十八寨，有个瀑布。风景不错。就是特别潮湿。还有就是去的时候在下阵雨。一会下，一会不下。有几只被关在笼子里的猴子。我还用飞机上发的花生米和腰果逗喂他们。做不自由的被喂养的猴子凄惨啊。 武夷山晚上没有什么节目。有个吴越风情表演。门票据说要100。没有去。还好没有去。回宾馆看中央三套直播”牛B北京”。邀请了100位知名歌手在太庙演唱”北京 is ready”。宣扬奥运100天倒计时。宣传给我的感觉，奥运会只有北京的事，其他地方包括中国都挨不到边。一个字，牛B.其中，刘德华，成龙，周结伦都是单独演出，可以看到谁是歌坛的大佬，比那些好多人和唱的而且只听见声音看到面的李玉春（非常搞笑，转播的根本没有给超女镜头）牛B多了。我也预祝北京奥运会和谐的举办成功。 来武夷山不坐竹筏等于白来 我的题词；江主席在30号坐的竹筏，我在1号坐的竹筏；江主席还考察提词，我旅游写感触；英雄所见略同。 下午是划竹筏的好时候,6人一筏。给艄公额外消费，艄公就会给划得慢些，而且指点YY出来的风景。秀照片，确实很美。 背后是玉女峰。 最近新出的大片，”功夫王”也有在武夷山取景。大家看喽。 坐在竹筏上，光着脚踩在清凉的水里，比足底按摩都舒服。在我的YUPOO里有更多美丽照片。 还有发现就是武夷山地区苍蝇比较多。嗡嗡的。大概是因为温暖潮湿的原因。 此次旅行花费算上双飞加红包共计5000元。未来2个月要省钱了，四月份CPI还是8%啊。

今年 2 月份的时候，曾提到过 Facebook 将改进个人资料页面布局，当时预计在 4 月初即可完成全面的升级，不过由于其他一些功能应用的改进和升级，被耽搁了一下，不过据内部消息，此次改版近在咫尺。根据最新的消息，多页卡页面包含了五个重要的 Tab：Feed、信息、Wall、相片与 Boxes。Feed 部分除了原本个人在 Facebook 的动态，而生成的 Mini-Feed 之外，还将增强