Tip: 看不到本站引用 Flickr 的图片? 下载 Firefox Access Flickr 插件 | AD: 订阅 DBA notes -- ![]()
2008-07-27 Sun
刚刚从镇江、苏州、南京归来,每到一地,都听到公司倒闭破产的传言。那日在苏州金鸡湖畔,看灯光朦胧妩媚的夜景,突然想到,过去三年每到这个月份,城市景观灯都因电力紧张而关停,现在的灯火辉煌,却证明了工业用电的宽松。今年,电厂的效益肯定大大滑坡。
这个夏天比我想象中的还要艰难,倒闭企业将数以十万计。
三十年,每隔四到五年必有危机周期,这一次的惊恐确乎是大了一点。年底之前信贷恐无调整的时间了。
悲哀的是,2004年,进入重化领域的民企成打压对象,这次支撑了10年“中国制造”神话的中小企业成了牺牲的对象。
政府不救企业也许有它的道理,比如,产业调整云云,那么,失业的工人怎么办?没有听到一点帮助的声音,他们是新的“汶川难民”。从“粮食剪刀差”,到廉价劳工,到土地剥夺,再到无情失业,中国的农村人民一直为中国的进步一次次“献血”。
靠强势的紧缩手腕,危机可能在2009年两会之后就会过去的,但是政府的调控手段之单一和高成本模式不改变,下一次付出的代价会成倍增加。
靠政府的输氧,中国的民间资本集团永无出头之日。
我们需要工会,需要民资银行,需要真正为民间资本发言的学者阶层。
【】
comment
So I’m back from OSCON 2008. As usually it is fun conference to attend. Though I could only come for couple of days (Wed/Thu) as things are too busy here.
Same as previous year I would note the conference is not as much backend and high performance focused as MySQL Conference or even Velocity, though this year there are number of interesting talks for example about Hypertable and lucidDB.
Honestly I could visit less talks than I wanted because I had too many things to do - talk to bunch of people, staff Sphinx .ORG booth (Andrew could not come so that was on me).
Sphinx both turned out particularly interesting - unlike couple of years ago on MySQL Conference there were a lot of people coming by not to ask what Sphinx is but happy users saying thanks for the product. I also had to explain many times why is it so fast - the two orders of magnitude speedups people often experience compared to MySQL build in full text search look too good to be true. I’ve clarified this comes from the design consideration which was built well exactly for the task while full text search in database systems if often afterthought.
At the same time I go a lot of questions about real time index updates - this is the number one feature people are asking about and indeed there is an agreement this is important feature to get. Though it requires a lot of effort to implement right - without sacrificing speed or flexibility.
The MySQL presence on this conference was also very interesting. There was a SUN booth with quite limited MySQL focus (though Monty,Brian,Jay,Colin gathered quite a good crowds). It was also interesting I have seen no MySQL Sales and Marketing guys on this conference just community guys and engineers - Monty, Brian, Steward, Jay, Giuseppe, Colin which is probably good choice. OSCON exhibition had enough Commercial OpenSource and OpenSource crippleware on the show
There also were no big announcements from MySQL on OSCON - the biggest one actually came somewhat outside - the Drizzle - MySQL “community fork” was surely the biggest splash on the conference around MySQL.
Monty’s Maria storage engine was only one which had dedicated session on OSCON (I did session which covered various storage engines) which was fun and very well received.
It was also good the session on MySQL Proxy was presented by Giuseppe and Ronald Bradford - it is good to let bias free independent consultants to speed.
My talk on MySQL Storage Engines was pretty well received and I had interesting crowd attending.
Speaking about MySQL vs PostgreSQL it is worth to say PostgreSQL “owns” OSCON - The PostgreSQL booth had more engineers and large crowd about it, plus EnterpriseDB had very large presence. Interesting enough there is not much of heated discussions going any more - it looks like PostgreeSQL and MySQL are largerly ignoring each other at the conference - PostgreSQL mentions Oracle, DB2 etc as the competitor they are after and MySQL does not put anyone as direct competitor in the talks I’ve heard.
Entry posted by peter | No comment
看到电视里说中国是第一个举办奥运会的发展中国家,决定对这件事情考证一下。
什么是发展中国家不好说,一个简单的指标就是举办国的人均GDP以及当时世界上最富裕国家的人均GDP的差距。当然,通常的情况是,世界上最富裕的国家往往是一些很小的国家,比如说卢森堡,一个变通是干脆以美国为基准。美国一个多世纪以来,应当可以说是无可争议的世界强国,不算一个坏的基准。Augus Maddison有各国GDP的估算,奥运举办城市也很好查,所以我就花了点时间做了张表放在这里。这里的人均GDP全都折合成了1990年的美元,理论上是直接可比的。对有些数据缺失的情况,我就简单的用线性的方法推算一下。
年份/国家 人均GDP 美国人均GDP 比例
1896年希腊雅典 1250 3504 0.36
1900年法国巴黎 2876 4091 0.70
1904年美国圣路易斯 4410 4410 1.00
1908年英国伦敦 4449 4561 0.98
1912年瑞典斯德哥尔摩 3064 5201 0.59
1920年比利时安特卫普 3962 5552 0.71
1924年法国巴黎 4179 6233 0.67
1928年荷兰阿姆斯特丹 5720 6569 0.87
1932年美国洛杉矶 4908 4908 1.00
1936年德国柏林 4451 6204 0.72
1948年英国伦敦 6746 9065 0.74
1952年芬兰赫尔辛基 4674 10316 0.45
1956年澳大利亚墨尔本 8108 10914 0.74
1960年意大利罗马 5916 11328 0.52
1964年日本东京 5688 12773 0.45
1968年墨西哥墨西哥城 4073 14863 0.27
1972年德国慕尼黑 11481 15944 0.72
1976年加拿大蒙特利尔 14902 16975 0.88
1980年前苏联莫斯科 7000(不可靠) 18577 0.38
1984年美国洛杉矶 20123 20123 1.00
1988年韩国汉城 7621 22499 0.34
1992年西班牙巴塞罗那 12414 23298 0.53
1996年美国亚特兰大 25230 25230 1.00
2000年澳大利亚悉尼 21549 28403 0.76
2004年希腊雅典 14200 29550 0.48
2008年中国北京 尚无 尚无 <0.20
再强调一下,所有的数据都是按照购买力平价计算,且折合为1990年的美元,这两件事情都是有很多争议的。但目前为止,这仍然是比较通用的比较各国经济发展水平的做法。
从数据看来,中国的确是所有迄今为止主办奥运会的国家中,人均收入水平距离美国最远的国家。在这之前,墨西哥是距离美国最远的。说中国是唯一主办国奥运会的发展中国家也许有点言过其实,1968年的墨西哥很难算是一个发达国家,1988年的韩国也似乎不是,但中国的确是“最穷”的奥运会主办国。对这件事情怎么解读,那就是见仁见智了。


Hulu, the online video joint venture between NBC and News Corp., launched last October. Today the site has 140 free on-demand movies available to anyone (as long as they are in the U.S.) and 700 total titles (including TV). As of March 2008 they were serving 83 million monthly video streams.
Tonight the site is launching a number of new embeddable widgets that allow third party sites to add Hulu content. We’ve embedded one of the widgets, which let’s users show all episodes of a particular TV show, below (I of course chose the Daily Show).
We also used this announcement as an excuse to interview Hulu CTO Eric Feng, who joined when Hulu acquired his startup Mojiti in 2007. Feng’s team formed the backbone of the Hulu. They started coding in late summer 2007 (Feng says the first line of code was written on August 6) and had the Hulu product out the door by October.
The full interview is below. Feng also demo’s the new widgets near the end.
Crunch Network: MobileCrunch Mobile Gadgets and Applications, Delivered Daily.
Alan.Lee,dba中的帅哥,号称dba中的战斗机呀。
最近他新开了个blog www.dbaleading.com。
非常值得一看,最近我写的技术文章很少了,而我们这边的一些技术问题我都没怎么写,基本上都在他那里。想参观oracle在复杂环境上出现的问题以及bug的,可以移步到那里哟。
现在很多人做产品的时候,都是通过下面几个流程:
- 宣传:包括传单,宣传册,媒体广告之类
- 接受咨询:来电咨询,网络咨询,现场咨询
- 构成交易:当客户对你的产品有了全面了解之后,并且愿意购买的情况下,才会构成交易。
不管是来电咨询、网络资讯、现场咨询,其实技巧都是一样的。
希望大家能在真诚的基础上,合理的使用这些技巧:
一、首次咨询
1、有良好的工作态度,接听电话时要面带微笑,使对方可以感受到你的亲切和热情(现在越来越多的地方提倡接电话的时候也采取立姿)。
2、语速适中,耐心细致的解决咨询者的问题,认真做好记录(除了要有过硬的专业知识外,还需要和来访者保持语速上的协调,他语速快,你也语速快,他语速慢,你也语速慢,这是一个很实用的技巧)
3、回答咨询者提问时尽量简单扼要,目的是要尽量的了解咨询者的需求,而不是自己夸夸其谈。
4、最好能说服咨询者来公司了解情况,因为很多问题不是在电话里或者网络上就能解决的,真正一锤定音的,还是要和咨询者面对面沟通。他不来公司,你就上门拜访。
二、回访技巧
1、回访的时间:首次回访在3天左右,如果想约来周末面询,尽量在周四或者周五上午打电话联系学员,和客户约定时间。第二次以后的回访要看客户的情况来定,一般一周左右。一个客户至少要回访5次左右
具体的时间:每天9:30 -11:00,下午3:00-5:00 。尽量不要选在周一上午或者周五下午打电话,一般公司会利用这个时间开例会
2、电话响4声之内接听最好,如果电话响到5声或者6声要首先说:打扰了
3、电话接通要先确认身份。“你好,请问你是x先生/女士么?”
然后自报家门:我是xxx公司的xxx,你现在接电话方便么?
如果不方便,“抱歉,打扰了,你看什么时间方便,我可以和你电话联系”
4、沟通过程中,最重要的是了解到客户的顾虑,客户在你和其他产品之间做选择的时候,决定他决策的关键因素是什么?然后你要解开客户的顾虑
5、在沟通时,先推销自己,再推销产品
该日志未加标签。相关内容
前言:本文阐述的是一款经过生产环境检验的千万级数据全文检索(搜索引擎)架构。本文只列出前几章的内容节选,不提供全文内容。
在DELL PowerEdge 6850服务器(四颗64 位Inter Xeon MP 7110N处理器 / 8GB内存)、RedHat AS4 Linux操作系统、MySQL 5.1.26、MyISAM存储引擎、key_buffer=1024M环境下实测,单表1000万条记录的数据量(这张MySQL表拥有int、datetime、varchar、text等类型的10多个字段,只有主键,无其它索引),用主键(PRIMARY KEY)作为WHERE条件进行SQL查询,速度非常之快,只耗费0.01秒。
出自俄罗斯的开源全文搜索引擎软件Sphinx,单一索引最大可包含1亿条记录,在1千万条记录情况下的查询速度为0.x秒(毫秒级)。Sphinx创建索引的速度为:创建100万条记录的索引只需3~4分钟,创建1000万条记录的索引可以在50分钟内完成,而只包含最新10万条记录的增量索引,重建一次只需几十秒。
基于以上几点,我设计出了这套搜索引擎架构。在生产环境运行了一周,效果非常不错。有时间我会专为配合Sphinx搜索引擎,开发一个逻辑简单、速度快、占用内存低、非表锁的MySQL存储引擎插件,用来代替MyISAM引擎,以解决MyISAM存储引擎在频繁更新操作时的锁表延迟问题。另外,分布式搜索技术上已无任何问题。
一、搜索引擎架构设计:
1、搜索引擎架构图:

2、搜索引擎架构设计思路:
(1)、调用方式最简化:
尽量方便前端Web工程师,只需要一条简单的SQL语句“SELECT ... FROM myisam_table JOIN sphinx_table ON (sphinx_table.sphinx_id=myisam_table.id) WHERE query='...';”即可实现高效搜索。
(2)、创建索引、查询速度快:
①、Sphinx Search 是由俄罗斯人Andrew Aksyonoff 开发的高性能全文搜索软件包,在GPL与商业协议双许可协议下发行。
Sphinx的特征:
•Sphinx支持高速建立索引(可达10MB/秒,而Lucene建立索引的速度是1.8MB/秒)
•高性能搜索(在2-4 GB的文本上搜索,平均0.1秒内获得结果)
•高扩展性(实测最高可对100GB的文本建立索引,单一索引可包含1亿条记录)
•支持分布式检索
•支持基于短语和基于统计的复合结果排序机制
•支持任意数量的文件字段(数值属性或全文检索属性)
•支持不同的搜索模式(“完全匹配”,“短语匹配”和“任一匹配”)
•支持作为Mysql的存储引擎
②、通过国外《High Performance MySQL》专家组的测试可以看出,根据主键进行查询的类似“SELECT ... FROM ... WHERE id = ...”的SQL语句(其中id为PRIMARY KEY),每秒钟能够处理10000次以上的查询,而普通的SELECT查询每秒只能处理几十次到几百次:

③、Sphinx不负责文本字段的存储。假设将数据库的id、date、title、body字段,用sphinx建立搜索索引。根据关键字、时间、类别、范围等信息查询一下sphinx,sphinx只会将查询结果的ID号等非文本信息告诉我们。要显示title、body等信息,还需要根据此ID号去查询MySQL数据库,或者从Memcachedb等其他的存储中取得。安装SphinxSE作为MySQL的存储引擎,将MySQL与Sphinx结合起来,是一种便捷的方法。
创建一张Sphinx类型表,将MyISAM表的主键ID和Sphinx表的ID作一个JOIN联合查询。这样,对于MyISAM表来所,只相当于一个WHERE id=...的主键查询,WHERE后的条件都交给Sphinx去处理,可以充分发挥两者的优势,实现高速搜索查询。
(3)、按服务类型进行分离:
为了保证数据的一致性,我在配置Sphinx读取索引源的MySQL数据库时,进行了锁表。Sphinx读取索引源的过程会耗费一定时间,由于MyISAM存储引擎的读锁和写锁是互斥的,为了避免写操作被长时间阻塞,导致数据库同步落后跟不上,我将提供“搜索查询服务”的和提供“索引源服务”的MySQL数据库进行了分开。监听3306端口的MySQL提供“搜索查询服务”,监听3406端口的MySQL提供“索引源服务”。
(4)、“主索引+增量索引”更新方式:
一般网站的特征:信息发布较为频繁;刚发布完的信息被编辑、修改的可能性大;两天以前的老帖变动性较小。
基于这个特征,我设计了Sphinx主索引和增量索引。对于前天17:00之前的记录建立主索引,每天凌晨自动重建一次主索引;对于前天17:00之后到当前最新的记录,间隔3分钟自动重建一次增量索引。
(5)、“Ext3文件系统+tmpfs内存文件系统”相结合:
为了避免每3分钟重建增量索引导致磁盘IO较重,从而引起系统负载上升,我将主索引文件创建在磁盘,增量索引文件创建在tmpfs内存文件系统“/dev/shm/”内。“/dev/shm/”内的文件全部驻留在内存中,读写速度非常快。但是,重启服务器会导致“/dev/shm/”内的文件丢失,针对这个问题,我会在服务器开机时自动创建“/dev/shm/”内目录结构和Sphinx增量索引。
(6)、中文分词词库:
我根据“百度早期中文分词库”+“搜狗拼音输入法细胞词库”+“LibMMSeg高频字库”+... 综合整理成一份中文分词词库,出于某些考虑暂不提供。你可以使用LibMMSeg自带的中文分词词库。
二、MySQL+Sphinx+SphinxSE安装步骤:
1、安装python支持(以下针对CentOS系统,其他Linux系统请使用相应的方法安装)
2、编译安装LibMMSeg(LibMMSeg是为Sphinx全文搜索引擎设计的中文分词软件包,其在GPL协议下发行的中文分词法,采用Chih-Hao Tsai的MMSEG算法。LibMMSeg在本文中用来生成中文分词词库。)
以下压缩包“sphinx-0.9.8-rc2-chinese.zip”中包含mmseg-0.7.3.tar.gz、sphinx-0.9.8-rc2.tar.gz以及中文分词补丁。
点击这里下载文件
tar zxvf mmseg-0.7.3.tar.gz
cd mmseg-0.7.3/
./configure
make
make install
cd ../
3、编译安装MySQL 5.1.26-rc、Sphinx、SphinxSE存储引擎
tar zxvf mysql-5.1.26-rc.tar.gz
tar zxvf sphinx-0.9.8-rc2.tar.gz
cd sphinx-0.9.8-rc2/
patch -p1 < ../sphinx-0.98rc2.zhcn-support.patch
patch -p1 < ../fix-crash-in-excerpts.patch
cp -rf mysqlse ../mysql-5.1.26-rc/storage/sphinx
cd ../
cd mysql-5.1.26-rc/
sh BUILD/autorun.sh
./configure --with-plugins=sphinx --prefix=/usr/local/mysql-search/ --enable-assembler --with-extra-charsets=complex --enable-thread-safe-client --with-big-tables --with-readline --with-ssl --with-embedded-server --enable-local-infile
make && make install
cd ../
cd sphinx-0.9.8-rc2/
CPPFLAGS=-I/usr/include/python2.4
LDFLAGS=-lpython2.4
./configure --prefix=/usr/local/sphinx --with-mysql=/usr/local/mysql-search
make
make install
cd ../
mv /usr/local/sphinx/etc/sphinx.conf /usr/local/sphinx/etc/sphinx.conf.old
第二章第3节之后的正文内容不予公布,全文的目录如下(共24页):



Tags - linux , php , mysql , sphinx , search , fulltext , sql , 全文索引 , 全文检索 , 全文搜索 , 搜索引擎 , bash , sh
假设对如下的一批数据作线性回归,可以看到头尾都有两个异常点,其预测值与实际值的偏差实在是太大了。那么,这反映了什么呢?是说明线性回归太粗糙么?我们应该找一根┏┛型曲线来作更准的拟合吗?

接上篇
第七种:Jigsaw Sudoku 不知道怎么翻译好
它不再是九宫格的形式,而是变成不规则的。
第八种,Samurai Sudoku,规则我就不讲了。
第九种,Jigsaw Samurai Sudoku,上面两种数独的结合体。
第十种,Masyu
一种让你来把白点黑点连起来的数独。规则比较多,英文。
第十一种,Hitori
怎么没有地方填数字?这种数独不是填,是画,这里有演示页面。
第十二种,Nurikabe
一眼望过去,这个数独没有唯一解。。。这个还是和上面一样是画的。不是填数字的。这里有演示网页。
第十三种,Habidoku
这个我很喜欢,超级另类的数独。规则嘛,每一条线上的数字是连续的。
最后介绍一个可以在线玩各种奇怪数独的网站:Super Sudoku Generator 要注册。
... 猛击这里参与该话题的热烈讨论,目前已有12人登录火星 »
© sfufoet for 煎蛋, egg, select. |
本文链接 | 给煎蛋爆料 | 投放广告 | 注册好看薄 | 

最近迷上数独了。搜索了一下,发现一些另类的数独。以前我总以为,数独有什么好玩,不就是一个简单的逻辑推理游戏嘛。最近在 ubuntu 下,不小心玩了数独。就彻底迷上了。数独绝对是个不简单的好玩的游戏。有些东西还是要玩一下才知道好不好玩。
在开始之前,先啰嗦一下,什么是数独?来自维基:
数独是一种源自 18 世纪末的瑞士数学家欧拉所创造的拉丁方块游戏。
相传数独源起于拉丁方阵( Latin Square ), 1970 年代在美国发展,改名为数字拼图( Number Place )、之后流传至日本并发扬光大,以数学智力游戏智力拼图游戏发表。在 1984 年一本游戏杂志《パズル通信ニコリ》正式把它命名为数独,意思是“在每一格只有一个数字”。后来一位前任香港高等法院的新西兰籍法官高乐德( Wayne Gould )在 1997 年 3 月到日本东京旅游时,无意中发现了。他首先在英国的《泰晤士报》上发表,不久其他报纸也发表,很快便风靡全英国,之后他用了 6 年时间编写了电脑程式,并将它放在网站上,使这个游戏很快在全世界流行。
香港是在 2004 年 7 月 30 日由《AM730》引入数独。
玩法我就不再啰嗦,请看这里。
首先第一个出场的是数和(维基 英:Cross Sums;日:カックロ)
大概简介一下规则,还是在数独的规则上,有斜线的格子是不用填的。上面的数字代表的是其右边或下边空格所有数字的和。
第二个叫数回(维基 英:slither link;日:スリザーリンク)
其规则是这样的:
- 在相
同点距大 小的棋盘 上,用直 线或横线 将两 相邻点连接起来,目标是要让所有连接线形成一个封闭环圈; - 位于
四点之间 的数字, 表示这四 点所构成 方格 上的边线数目。而没有数字的地方则代表周围的边线数目未知; - 划线时,不能让最后连出来的整条线上出现交叉或分支;
- 也不能出现两个以上的封闭环圈。
看晕了吧?来个动态说明 Flash。在页面的底部有个 Flash,点击 1 就可以开始看了。虽然是日语但配合上面的说明还是很明了的。
第三个叫杀手数独(Killer Sudoku,维基),它结合了数独(Sudoku)和数和(Kakuro)的玩法。
一句话,让颜色区内数字的和等于该区域内事先标记的数字。81 个数字都要你亲手填上。
第四种,迷你数独(Mini Sudoku Puzzle)
规则还是和数独一样,这个名字果然非常贴切,很明显要你填的是 1-6。
第五种:超级数独(Super Sudoku)
规则不用说,里面的 A B C D E F 分别代表 10 11 12 13 14 15, 16 进制的数独。
# 煎蛋终极问题办事处语:还有没有更大的数独?比如一个 25 进制的?还有没有无限大进制的数独存在?
第六种,有十六进制的,就有二进制的。orz,我的 Plurk 好友 mandesk 就贴了这样一个超欠扁的数独:
... 猛击这里参与该话题的热烈讨论,目前已有13人登录火星 »
© sfufoet for 煎蛋, egg, select. |
本文链接 | 给煎蛋爆料 | 投放广告 | 注册好看薄 | 
2008-07-26 Sat
2008-07-25 Fri
AnySQL.net
DBA notes
Oracle & Starcraft
eagle's home
Give you some color to see see!
AnySQL.net English
Oracle Scratchpad
Oracle Life
OracleDBA Blog---Please enjoy the pain which is unable to avoid!
Uploads from dbanotes
Chanel [K]
xzh2000的博客
Oracle Security Blog
ERN空间
Eddie Awad's Blog
MySQL Performance Blog
The Tom Kyte Blog
del.icio.us/fenng/oracle
AIXpert
O'Reilly Databases
Red Hat Magazine
DBASupport
DB2 Magazine 中文版
developerWorks 中国 : 技术文章 , 教程 AIX
Pythian Group Blog » Log Buffer
车东[Blog^2]
blue_prince
玉面飞龙的BLOG
此生 今世
人生就是如此
Orange Tiger 木匠 的 移民生活
生活帮-LifeBang
Hey!! Sky!
dba on unix
Oracle Notes Wiki
Brotherxiao's Home
柔嘉维则@life.oracle.eng
Fenng's shared items in Google Reader
jametong's shared items in Google Reader
缥缈游侠-logzgh
Tanel Poder's blog: Core IT for geeks and pros
DBA Tools
ilonng
yangtingkun
Oracle & Unix
Inside the Oracle Optimizer - Removing the black magic
Ricky's Test Blog
DBA@Taobao
存储部落
Think in 88
Alibaba DBA Team
Oracle Team @SNC
淘宝数据仓库团队
OracleBlog.cn
中国雅虎_站长天下_www.dbaleading.com_原创文章
















