Category: 计算机


chrome同步服务所需链接

*.googleusercontent.com
*.googleapis.com
*.gstatic.com
*.google.com

大数据工程师技能图谱

一、大数据通用处理平台
1、Spark
2、Flink
3、Hadoop

二、分布式存储
1、HDFS

三、资源调度
1、Yarn
2、Mesos

四、机器学习工具
1、Spark Mlib
2、TensorFlow (Google 系)
3、Amazon Machine Learning
4、DMTK (微软分布式机器学习工具)
5、Mahout

五、数据分析/数据仓库(SQL类)
1、Pig
2、Hive
3、kylin
4、Spark SQL,
5、Spark DataFrame
6、Impala
7、Phoenix
8、ELK
8.1ElasticSearch
8.2Logstash
8.3Kibana

六、消息队列
1、Kafka(纯日志类,大吞吐量)
2、RocketMQ
3、ZeroMQ
4、ActiveMQ
5、RabbitMQ

七、流式计算
1、Storm/JStorm
2、Spark Streaming
3、Flink

八、日志收集
1、Scribe
2、Flume

九、编程语言
1、Java
2、Python
3、R
4、Ruby
5、Scala

十、数据分析挖掘
1、MATLAB
2、SPSS
3、SAS

十一、数据可视化
1、R
2、D3.js
3、ECharts
4、Excle
5、Python

十二、机器学习

机器学习基础
1、聚类
2、时间序列
3、推荐系统
4、回归分析
5、文本挖掘
6、决策树
7、支持向量机
8、贝叶斯分类
9、神经网络

十三、算法

一致性
1、paxos
2、raft
3、gossip

数据结构
1、栈,队列,链表
2、散列表
3、二叉树,红黑树,B树
4、图

常用算法
1、排序
插入排序
桶排序
堆排序

2、快速排序
3、最大子数组
4、最长公共子序列
5、最小生成树
最短路径
6.矩阵的存储和运算

十四、云计算

云服务
1、SaaS
2、PaaS
3、IaaS
4、Openstack
5、Docker

JDBC URL连接常用数据库格式

MySQL
MySQL Connector/J Driver
驱动程序包名:MySQL-connector-Java-x.x.xx-bin.jar
驱动程序类名: com.mysql.jdbc.Driver
JDBC URL: jdbc:mysql://:/
默认端口3306,如果服务器使用默认端口则port可以省略
MySQL Connector/J Driver 允许在URL中添加额外的连接属性jdbc:mysql://:/?property1=value1&property2=value2

PostgreSQL
PostgreSQL Native JDBC Driver
驱动程序包名:驱动程序类名: org.postgresql.Driver
JDBC URL: jdbc:postgresql://:/
默认端口5432

Microsoft SQL Server
Microsoft SQL Server JDBC Driver (用来连接 SQLServer 2000)
驱动程序包名:msbase.jar mssqlserver.jar msutil.jar
驱动程序类名: com.microsoft.jdbc.sqlserver.SQLServerDriver
JDBC URL: jdbc:microsoft:sqlserver://:
默认端口1433,如果服务器使用默认端口则port可以省略

Microsoft SQL Server 2005 JDBC Driver(用来连接 SQLServer 2005以上版本)
驱动程序包名:sqljdbc.jar
驱动程序类名: com.microsoft.sqlserver.jdbc.SQLServerDriver
JDBC URL: jdbc:sqlserver://:
默认端口1433,如果服务器使用默认端口则port可以省略

Oracle
Oracle Thin JDBC Driver
驱动程序包名:ojdbc14.jar
驱动程序类名: oracle.jdbc.driver.OracleDriver
JDBC URL:
jdbc:oracle:thin:@//:/ServiceName

jdbc:oracle:thin:@::

IBM DB2
IBM DB2 Universal Driver Type 4
驱动程序包名:db2jcc.jar db2jcc_license_cu.jar
驱动程序类名: com.ibm.db2.jcc.DB2Driver
JDBC URL: jdbc:db2://[:]/

IBM DB2 Universal Driver Type 2

驱动程序包名:db2jcc.jar db2jcc_license_cu.jar
驱动程序类名: com.ibm.db2.jcc.DB2Driver
JDBC URL: jdbc:db2:

Informix
Informix JDBC Driver
驱动程序包名:ifxjdbc.jar
驱动程序类名: com.informix.jdbc.IfxDriver
JDBC URL: jdbc:informix-sqli://{|}:[/]: INFORMIXSERVER=

Sybase
Sybase Adaptive Server Enterprise JDBC Driver
驱动程序包名:jconn2.jar 或jconn3.jar
驱动程序类名: com.sybase.jdbc2.jdbc.SybDriver (com.sybase.jdbc3.jdbc.SybDriver)
JDBC URL: jdbc:sybase:Tds::默认端口5000

Sybase Adaptive Server Anywhere or Sybase IQ JDBC Driver
驱动程序包名:jconn2.jar 或jconn3.jar
驱动程序类名: com.sybase.jdbc2.jdbc.SybDriver (com.sybase.jdbc3.jdbc.SybDriver)
JDBC URL: jdbc:sybase:Tds::?ServiceName=
默认端口2638

Teradata
Teradata Driver for the JDBC Interface
驱动程序包名:terajdbc4.jar tdgssjava.jar gui.jar
驱动程序类名: com.ncr.teradata.TeraDriver
JDBC URL:
Type 4: jdbc:teradata://DatabaseServerName/Param1,Param2,…
Type 3: jdbc:teradata://GatewayServerName:PortNumber
/DatabaseServerName/Param1,Param2,…

Netezza
Netezza JDBC Driver
驱动程序包名:terajdbc4.jar tdgssjava.jar gui.jar
驱动程序类名: org.netezza.Driver
JDBC URL: jdbc:netezza://:/

一、校验数字的表达式

1 数字:^[0-9]*$
2 n位的数字:^d{n}$
3 至少n位的数字:^d{n,}$
4 m-n位的数字:^d{m,n}$
5 零和非零开头的数字:^(0|[1-9][0-9]*)$
6 非零开头的最多带两位小数的数字:^([1-9][0-9]*)+(.[0-9]{1,2})?$
7 带1-2位小数的正数或负数:^(-)?d+(.d{1,2})?$
8 正数、负数、和小数:^(-|+)?d+(.d+)?$
9 有两位小数的正实数:^[0-9]+(.[0-9]{2})?$
10 有1~3位小数的正实数:^[0-9]+(.[0-9]{1,3})?$
11 非零的正整数:^[1-9]d*$ 或 ^([1-9][0-9]*){1,3}$ 或 ^+?[1-9][0-9]*$
12 非零的负整数:^-[1-9][]0-9″*$ 或 ^-[1-9]d*$
13 非负整数:^d+$ 或 ^[1-9]d*|0$
14 非正整数:^-[1-9]d*|0$ 或 ^((-d+)|(0+))$
15 非负浮点数:^d+(.d+)?$ 或 ^[1-9]d*.d*|0.d*[1-9]d*|0?.0+|0$
16 非正浮点数:^((-d+(.d+)?)|(0+(.0+)?))$ 或 ^(-([1-9]d*.d*|0.d*[1-9]d*))|0?.0+|0$
17 正浮点数:^[1-9]d*.d*|0.d*[1-9]d*$ 或 ^(([0-9]+.[0-9]*[1-9][0-9]*)|([0-9]*[1-9][0-9]*.[0-9]+)|([0-9]*[1-9][0-9]*))$
18 负浮点数:^-([1-9]d*.d*|0.d*[1-9]d*)$ 或 ^(-(([0-9]+.[0-9]*[1-9][0-9]*)|([0-9]*[1-9][0-9]*.[0-9]+)|([0-9]*[1-9][0-9]*)))$
19 浮点数:^(-?d+)(.d+)?$ 或 ^-?([1-9]d*.d*|0.d*[1-9]d*|0?.0+|0)$

二、校验字符的表达式

1 汉字:^[u4e00-u9fa5]{0,}$
2 英文和数字:^[A-Za-z0-9]+$ 或 ^[A-Za-z0-9]{4,40}$
3 长度为3-20的所有字符:^.{3,20}$
4 由26个英文字母组成的字符串:^[A-Za-z]+$
5 由26个大写英文字母组成的字符串:^[A-Z]+$
6 由26个小写英文字母组成的字符串:^[a-z]+$
7 由数字和26个英文字母组成的字符串:^[A-Za-z0-9]+$
8 由数字、26个英文字母或者下划线组成的字符串:^w+$ 或 ^w{3,20}$
9 中文、英文、数字包括下划线:^[u4E00-u9FA5A-Za-z0-9_]+$
10 中文、英文、数字但不包括下划线等符号:^[u4E00-u9FA5A-Za-z0-9]+$ 或 ^[u4E00-u9FA5A-Za-z0-9]{2,20}$
11 可以输入含有^%&’,;=?$"等字符:[^%&’,;=?$x22]+
12 禁止输入含有~的字符:[^~x22]+

三、特殊需求表达式

1 Email地址:^w+([-+.]w+)*@w+([-.]w+)*.w+([-.]w+)*$
2 域名:[a-zA-Z0-9][-a-zA-Z0-9]{0,62}(/.[a-zA-Z0-9][-a-zA-Z0-9]{0,62})+/.?
3 InternetURL:[a-zA-z]+://[^s]* 或 ^http://([w-]+.)+[w-]+(/[w-./?%&=]*)?$
4 手机号码:^(13[0-9]|14[5|7]|15[0|1|2|3|5|6|7|8|9]|18[0|1|2|3|5|6|7|8|9])d{8}$
5 电话号码(“XXX-XXXXXXX"、"XXXX-XXXXXXXX"、"XXX-XXXXXXX"、"XXX-XXXXXXXX"、"XXXXXXX"和"XXXXXXXX):^((d{3,4}-)|d{3.4}-)?d{7,8}$
6 国内电话号码(0511-4405222、021-87888822):d{3}-d{8}|d{4}-d{7}
7 身份证号(15位、18位数字):^d{15}|d{18}$
8 短身份证号码(数字、字母x结尾):^([0-9]){7,18}(x|X)?$ 或 ^d{8,18}|[0-9x]{8,18}|[0-9X]{8,18}?$
9 帐号是否合法(字母开头,允许5-16字节,允许字母数字下划线):^[a-zA-Z][a-zA-Z0-9_]{4,15}$
10 密码(以字母开头,长度在6~18之间,只能包含字母、数字和下划线):^[a-zA-Z]w{5,17}$
11 强密码(必须包含大小写字母和数字的组合,不能使用特殊字符,长度在8-10之间):^(?=.*d)(?=.*[a-z])(?=.*[A-Z]).{8,10}$
12 日期格式:^d{4}-d{1,2}-d{1,2}
13 一年的12个月(01~09和1~12):^(0?[1-9]|1[0-2])$
14 一个月的31天(01~09和1~31):^((0?[1-9])|((1|2)[0-9])|30|31)$
15 钱的输入格式:
16 1.有四种钱的表示形式我们可以接受:"10000.00″ 和 “10,000.00″, 和没有 “分" 的 “10000″ 和 “10,000″:^[1-9][0-9]*$
17 2.这表示任意一个不以0开头的数字,但是,这也意味着一个字符"0″不通过,所以我们采用下面的形式:^(0|[1-9][0-9]*)$
18 3.一个0或者一个不以0开头的数字.我们还可以允许开头有一个负号:^(0|-?[1-9][0-9]*)$
19 4.这表示一个0或者一个可能为负的开头不为0的数字.让用户以0开头好了.把负号的也去掉,因为钱总不能是负的吧.下面我们要加的是说明可能的小数部分:^[0-9]+(.[0-9]+)?$
20 5.必须说明的是,小数点后面至少应该有1位数,所以"10."是不通过的,但是 “10″ 和 “10.2″ 是通过的:^[0-9]+(.[0-9]{2})?$
21 6.这样我们规定小数点后面必须有两位,如果你认为太苛刻了,可以这样:^[0-9]+(.[0-9]{1,2})?$
22 7.这样就允许用户只写一位小数.下面我们该考虑数字中的逗号了,我们可以这样:^[0-9]{1,3}(,[0-9]{3})*(.[0-9]{1,2})?$
23 8.1到3个数字,后面跟着任意个 逗号+3个数字,逗号成为可选,而不是必须:^([0-9]+|[0-9]{1,3}(,[0-9]{3})*)(.[0-9]{1,2})?$
24 备注:这就是最终结果了,别忘了"+"可以用"*"替代如果你觉得空字符串也可以接受的话(奇怪,为什么?)最后,别忘了在用函数时去掉去掉那个反斜杠,一般的错误都在这里
25 xml文件:^([a-zA-Z]+-?)+[a-zA-Z0-9]+\.[x|X][m|M][l|L]$
26 中文字符的正则表达式:[u4e00-u9fa5]
27 双字节字符:[^x00-xff] (包括汉字在内,可以用来计算字符串的长度(一个双字节字符长度计2,ASCII字符计1))
28 空白行的正则表达式: s* (可以用来删除空白行)
29 HTML标记的正则表达式:]*>.*?| (网上流传的版本太糟糕,上面这个也仅仅能部分,对于复杂的嵌套标记依旧无能为力)
30 首尾空白字符的正则表达式:^s*|s*$或(^s*)|(s*$) (可以用来删除行首行尾的空白字符(包括空格、制表符、换页符等等),非常有用的表达式)
31 腾讯QQ号:[1-9][0-9]{4,} (腾讯QQ号从10000开始)
32 中国邮政编码:[1-9]d{5}(?!d) (中国邮政编码为6位数字)
33 IP地址:d+.d+.d+.d+ (提取IP地址时有用)
34 IP地址:((?:(?:25[0-5]|2[0-4]\d|[01]?\d?\d)\.){3}(?:25[0-5]|2[0-4]\d|[01]?\d?\d))

我是一个线程IBM刘欣

我是一个线程, 我一出生就被编了个号: 0x3704, 然后被领到一个昏暗的屋子里,这里我发现了很多和我一模一样的同伴。

我身边的同伴0x6900 待的时间比较长, 他带着沧桑的口气对我说:

我们线程的宿命就是处理包裹。 把包裹处理完以后还得马上回到这里,否则可能永远回不来了。

我一脸懵懂,包裹,什么包裹?

”不要着急,马上你就会明白了, 我们这里是不养闲人的。“

果然,没多久,屋子的门开了, 一个面貌凶恶的家伙吼道:

"0x3704 ,出来!"

我一出来就被塞了一个沉甸甸的包裹,上面还有附带着一个写满了操作步骤的纸。

"快去,把这个包裹处理了。"

"去哪儿处理"

"跟着指示走, 先到就绪车间"

果然,地上有指示箭头,跟着它来到了一间明亮的大屋子,这里已经有不少线程了, 大家都很紧张,好像时刻准备着往前冲。

我刚一进来,就听见广播说:“0x3704, 进入车间”

我赶紧往前走, 身后很多人议论说:

”他太幸运了, 刚进入就绪状态就能运行“

”是不是有关系?“

”不是,你看人家的优先级多高啊, 唉“

前边就是车间, 这里简直是太美了, 怪不得老线程总是唠叨着说:要是能一直待在这里就好了。

这里空间大,视野好,空气清新,鸟语花香,还有很多从来没见过的人,像服务员一样等着为我服务。

他们也都有编号, 更重要的是每个人还有个标签,上面写着:硬盘,数据库,内存,网卡...

我现在理解不了,看看操作步骤吧:

第一步:从包裹中取出参数

打开包裹, 里边有个HttpRequest 对象, 可以取到 userName, password两个参数

第二步:执行登录操作

奥,原来是有人要登录啊,我把userName/password 交给 数据库服务员,他拿着数据, 慢腾腾的走了。

他怎么这么慢? 不过我是不是正好可以在车间里多待一会儿? 反正也没法执行第三步。

就在这时,车间里的广播响了: 

“0x3704, 我是CPU , 记住你正在执行的步骤, 马上带包裹离开"

我慢腾腾的开始收拾

”快点, 别的线程马上就要进来了“

离开这个车间, 又来到一个大屋子,这里很多线程慢腾腾的在喝茶,打牌。

”哥们,你们没事干了?“

”你新来的把, 你不知道我在等数据库服务员给我数据啊! ,据说他们比我们慢好几十万倍, 在这里好好歇吧“

”啊? 这么慢? 我这里有人在登录系统, 能等这么长时间吗"

”放心,你没听说过人间一天, CPU一年吗, 我们这里是用纳秒,毫秒计时的, 人间等待一秒,相当于我们好几天呢, 来的及“

干脆睡一会吧 , 不知道过了多久 ,大喇叭又开始广播了:

“0x3704, 你的数据来了,快去执行”

我转身就往CPU车间跑,发现这里的们只出不进!

后面传来阵阵哄笑声:

”果然是新人, 不知道还得去就绪车间等“

于是赶紧到就绪车间, 这次没有那么好运了, 等了好久才被再次叫进CPU车间。

在等待的时候, 我听见有人小声议论:

”听说了吗,最近有个线程被kill掉了“

”为啥啊?“

”这家伙赖在CPU车间不走, 把CPU利用率一直搞成100%,后来就被kill掉了“

”Kill掉以后弄哪儿去了“

”可能被垃圾回收了吧“

我心里打了个寒噤 , 赶紧接着处理, 收下的动作块多了,第二步登录成功了

第三步:构建登录成功后的主页

这一步有点费时间, 因为有很多HTML需要处理, 不知道代码谁写的,处理起来很烦人。

我正在紧张的制作html呢, CPU有开始叫了:

“0x3704, 我是CPU , 记住你正在执行的步骤, 马上带包裹离开"

”为啥啊“

”每个线程只能在CPU上运行一段时间,到了时间就得让别人用了, 你去就绪车间待着,等着叫你吧“

就这样, 我一直在就绪-运行 这两个状态,不知道轮转了多少次, 终于安装步骤清单把工作做完了。

最后顺利的把包含html的包裹发了回去。

至于登录以后干什么事儿 , 我就不管了。

马上就要回到我那昏暗的房间了, 真有点舍不得这里。

不过相对于有些线程, 我还是幸运的, 他们运行完以后就彻底的销毁了,而我还活着!

回到了小黑屋, 老线程0x6900 问:

”怎么样?第一天有什么感觉?“

”我们的世界规则很复杂 , 首先你不知道什么时候会被挑中执行; 第二 ,在执行的过程中随时可能被打断,让出CPU车间;

第三,一旦出现硬盘,数据库这样耗时的操作也得让出CPU,去等待; 第四,就是数据来了,你也不一定马上执行,还得等着CPU挑选“

”小伙子理解的不错啊“

”我不明白为什么很多线程都执行完就死了, 为什么咱们还活着?“

”你还不知道, 长生不老是我们的特权, 我们这里有个正式的名称,叫做 线程池!“

平淡的日子就这么一天天过去, 作为一个线程, 我每天的生活都是取包裹,处理包裹,然后回到我们昏暗的家:线程池。

有一天我回来的时候, 听到有个兄弟说, 今天要好好休息下,明天就是最疯狂的一天。

我看了一眼日历,明天是 11月11号 。

果然,零点刚过,不知道那些人类怎么了, 疯狂的投递包裹, 为了应付蜂拥而至的海量包裹, 线程池里没有一个人能闲下来,全部出去处理包裹,CPU车间利用率超高,硬盘在嗡嗡转, 网卡疯狂的闪, 即便如此, 还是处理不完,堆积如山。

我们也没有办法,实在是太多太多了, 这些包裹中大部分都是浏览页面,下订单,买,买,买。

不知道过了多久, 包裹山终于慢慢的消失了。

终于能够喘口气, 我想我永远都不会忘记这一天。

通过这个事件,我明白了我所处的世界:这是一个电子商务的网站!

我每天的工作就是处理用户的登录,浏览, 购物车,下单,付款。

我问线程池的元老0x6900 : " 我们要工作到什么时候?"

" 要一直等到系统重启的那一刻", 0x6900 说

" 那你经历过系统重启吗?"

" 怎么可能? , 系统重启就是我们的死亡时刻, 也就是世界末日,一旦重启, 整个线程池全部销毁,时间和空间全部消失,一切从头再来”

" 那什么时候会重启?"

" 这就不好说了,好好享受眼前的生活吧….."

其实生活丰富多彩, 我最喜欢的包裹是上传图片,由于网络慢,所以能在就绪车间,CPU车间待很长很长时间,可以认识很多好玩的线程。

比如说上次认识了memecached 线程,他给我说通过他缓存了很多的用户数据, 还是分布式的! 很多机器上都有!

我说怪不得后来的登录操作快了那么多, 原来是不再从数据库取数据了你那里就有啊, 哎对了你是分布式的你去过别的机器没有?

他说怎么可能我每次也只能通过网络往那个机器发送一个GET, PUT命令才存取数据而已, 别的一概不知。

再比如说上次在等待的时候遇到了数据库连接的线程, 我才知道它他那里也是一个连接池, 和我们线程池几乎一模一样。

他说有些包裹太变态了,竟然查看一年的订单数据, 简直把我累死了。

我说拉倒吧你, 你那是纯数据, 你把数据传给我以后,我还得组装成HTML, 工作量不知道比你大多少倍。

他说一定你要和memecached搞好关系,直接从他那儿拿数据,尽量少直接调用数据库,我们JDBC connection也能活的轻松点。

我说好啊好啊, 关键是你得提前把数据搞到缓存啊, 要不然我先问一遍缓存, 没有数据, 我这不还得找你吗?

生活就是这样, 如果你自己不找点乐子,还有什么意思?

有一天我遇到一个可怕的事情, 差一点死在外边,回不了线程池了……

其实这次遇险我应该能够预想到才对, 太大意了。

前几天我处理过一些从http 发来的存款和取款的包裹, 老线程0x6900 特意嘱咐我:

“处理这些包裹的时候要特别小心, 你得一定要先获得一把锁, 在对账户存款或者取款的时候一定要把账户给锁住, 要不然别的线程就会在你等待的时候趁虚而入,搞破坏, 我年轻那会儿很毛糙,就捅了篓子"

为了“恐吓”我, 好心的0x6900还给了我两个表格:

1、没有加锁的情况

2、加锁的情况

我看的胆颤心惊, 原来不加锁会带来这么严重的事故。

从此以后看到存款,取款的包裹就倍加小心, 还好,没有出过事故。

今天我收到的一个包裹是转账, 从某著名演员的账号给某著名导演赚钱, 具体是谁我就不透漏了, 数额可真是不小

我按照老线程的吩咐, 肯定要加锁啊, 先对著名演员账号加锁, 在对著名导演账号加锁。

可我万万没想到的是, 还有一个线程,对,就是0x7954, 竟然同时在从这个导演到往这个演员转账。

于是乎,就出现了这么个情况:

刚开始我还不知道什么情况, 一直坐在等待车间傻等, 可是等的时间太长了, 长达几十秒 ! 我可从来没有经历过这样的事件。

这时候我就看到了线程0x7954 , 他悠闲的坐在那里喝咖啡, 我和他聊了起来:

“哥们, 我看你已经喝了8杯咖啡了, 怎么还不去干活?”

“你不喝了9杯茶了吗?” 0x7954 回敬到。

“我在等一个锁, 不知道哪个孙子一直不释放”

“我也在等锁啊,我要是知道哪个孙子不释放锁我非揍死他不可 ” 0x7954 毫不示弱。

我偷偷的看了一眼, 这家伙怀里不就抱着我正在等的 某导演的锁嘛?

很明显, 0x7954 也发现了我正抱着他正在等待的锁。

很快我们两个就吵了起来, 互不相让:

“把你的锁先给我, 让我先做完"

“不行, 从来都是做完工作才释放锁, 现在绝对不能给你"

从争吵到打起来, 就那么几秒钟的事儿。

更重要的是, 我们俩不仅仅持有这个著名导演和演员的锁, 还有很多其他的锁, 导致等待的线程越来越多, 围观的人们把屋子都挤满了。

最后事情真的闹大了, 我从来没见过终极大boss “操作系统" 也来了。

大Boss毕竟是见多识广, 他看了一眼, 哼了一声 , 很不屑的说:

“又出现死锁了"

“你们俩要Kill掉一个, 来吧, 过来抽签 "

这一下子把我给吓尿了, 这么严重啊!

我战战兢兢的抽了签,打开一看, 是个"活"字。

唉,小命终于保住了。

可怜的0x7954 被迫交出了所有的资源以后, 很不幸的被kill掉, 消失了。

我拿到了导演的锁, 可以开始干活了。

大Boss操作系统如一阵风似的消失了, 身后只传来他的声音:

记住, 我们这里导演>演员, 无论认识情况都要先获得导演的锁

由于不仅仅是只有导演和演员, 还有很多其他人, Boss留下了一个表格, 里边是个算法, 用来计算资源的大小, 计算出来以后,永远按照从大到小的方式来获得锁:

我回到线程池, 大家都知道了我的历险, 围着我问个不停。

凶神恶煞的线程调度员把大Boss的算法贴到了墙上。

每天早上, 我们都得像无节操的房屋中介, 美容美发店的服务员一样, 站在门口,像被耍猴一样大声背诵:

“多个资源加锁要牢记, 一定要按Boss的算法比大小, 然后从最大的开始加锁"

——————————————————–

又过了很多天, 我和其他线程们发现了一个奇怪的事情:包裹的处理越来越简单

不管任何包裹,不管是登录, 浏览,存钱….. 处理的步骤都是一样的, 返回一个固定的html页面

有一次我偷偷的看了一眼, 上面写着:

“本系统将于今晚 00:00 至4:00 进行维护升级, 给你带来的不便我们深感抱歉"

我去告诉了老线程0x6904, 他叹了一口气说:

“唉, 我们的生命也到头了, 看来马上就要重启系统, 我们就要消失了, 再见吧兄弟。"

系统重启的那一刻终于到来了。 

我看到屋子里的东西一个个的不见了, 等待车间,就绪车间,甚至CPU车间都慢慢的消失了。

我身边的线程兄弟也越来越少, 最后只剩我自己了。

我在空旷的原野上大喊: 还有人吗?

无人应答。

我们这一代线程池完成了使命。

下一代线程池将很快重生。

由于windows在使用“L2TP/IPsec预共享密钥的VPN连接模式”情况下下仅支持证书,而对于使用psk连接l2tp/ipsec的时候则会会出现789错误,所以只有修改windows注册表,用如下方式修改:在“运行”中输入:(适用于xp。WIN7因为权限问题,推荐手动方式添加)
reg add “HKLM\SYSTEM\CurrentControlSet\Services\RasMan\Parameters" /v ProhibitIPSec /t REG_DWORD /d 1

或者手动方式添加:(适用于xp和WIN7)
1、单击“开始”,单击“运行”,键入 regedt32,然后单击“确定”。
2、找到并单击以下注册表子项:
HKEY_LOCAL_MACHINE\System\CurrentControlSet\Services\Rasman\Parameters
3、在“编辑”菜单上,单击“添加值”。
4、在“值名称”框中,键入 ProhibitIpSec。
5、在“数据类型”列表中,单击“REG_DWORD”,然后单击“确定”。
6、在“数据”框中,键入 1,然后单击“确定”。
7、退出注册表编辑器,然后重新启动计算机。

另一种方法复制如下内容至“记事本”,并另存为ipsec.reg注册表文件,双击导入即可(适用于xp和WIN7)
Windows Registry Editor Version 5.00

[HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\services\RasMan\Parameters]
“ProhibitIPSec"=dword:00000001

参考
http://support.microsoft.com/kb/240262/zh-cn
http://support2.microsoft.com/default.aspx?scid=kb;en-us;q310109&sd=tech

VPN连接常见错误的原因:

691错误
用户名或密码错误。

619错误
上层路由器不支持GRE协议。您所在网络的路由器不支持,请更换路由器,或者使用L2TP连接。

742错误
服务器不支持加密连接。取消加密即可。

错误678、错误800
服务器未开启vpn服务或远程计算机无响应。

常用公共DNS服务器地址

一、国外DNS服务器地址:

Google Public DNS (8.8.8.8, 8.8.4.4)

OpenDNS (208.67.222.222, 208.67.220.220)

OpenDNS Family (208.67.222.123, 208.67.220.123)

V2EX DNS (199.91.73.222,178.79.131.110)

Comodo Secure (8.26.56.26, 8.20.247.20)

UltraDNS (156.154.70.1,156.154.71.1)

Norton ConnectSafe (199.85.126.10,199.85.127.10)
二、国内DNS服务器地址:

OneDNS (112.124.47.27)

OpenerDNS(42.120.21.30)

aliDNS (223.5.5.5,223.6.6.6)

114DNS (114.114.114.114,114.114.115.115)

114DNS安全版 (114.114.114.119,114.114.115.119)

114DNS家庭版 (114.114.114.110,114.114.115.110)

oracle常用命令

第一章:日志管理

1.forcing log switches
sql>; alter system switch logfile;
2.forcing checkpoints
sql>; alter system checkpoint;
3.adding online redo log groups
sql>; alter database add logfile [group 4]
sql>; (‘/disk3/log4a.rdo’,’/disk4/log4b.rdo’) size 1m;
4.adding online redo log members
sql>; alter database add logfile member
sql>; ‘/disk3/log1b.rdo’ to group 1,
sql>; ‘/disk4/log2b.rdo’ to group 2;
5.changes the name of the online redo logfile
sql>; alter database rename file ‘c:/oracle/oradata/oradb/redo01.log’
sql>; to ‘c:/oracle/oradata/redo01.log’;
6.drop online redo log groups
sql>; alter database drop logfile group 3;
7.drop online redo log members
sql>; alter database drop logfile member ‘c:/oracle/oradata/redo01.log’;
8.clearing online redo log files
sql>; alter database clear [unarchived] logfile ‘c:/oracle/log2a.rdo’;
9.using logminer analyzing redo logfiles
a. in the init.ora specify utl_file_dir = ‘ ‘
b. sql>; execute dbms_logmnr_d.build(‘oradb.ora’,’c:\oracle\oradb\log’);
c. sql>; execute dbms_logmnr_add_logfile(‘c:\oracle\oradata\oradb\redo01.log’,sql>; dbms_logmnr.new);
d. sql>; execute dbms_logmnr.add_logfile(‘c:\oracle\oradata\oradb\redo02.log’,sql>; dbms_logmnr.addfile);
e. sql>; execute dbms_logmnr.start_logmnr(dictfilename=>;’c:\oracle\oradb\log\oradb.ora’);
f. sql>; select * from v$logmnr_contents(v$logmnr_dictionary,v$logmnr_parameters
sql>; v$logmnr_logs);
g. sql>; execute dbms_logmnr.end_logmnr;

第二章:表空间管理

1.create tablespaces
sql>; create tablespace tablespace_name datafile ‘c:\oracle\oradata\file1.dbf’ size 100m,
sql>; ‘c:\oracle\oradata\file2.dbf’ size 100m minimum extent 550k [logging/nologging]
sql>; default storage (initial 500k next 500k maxextents 500 pctinccease 0)
sql>; [online/offline] [permanent/temporary] [extent_management_clause]
2.locally managed tablespace
sql>; create tablespace user_data datafile ‘c:\oracle\oradata\user_data01.dbf’
sql>; size 500m extent management local uniform size 10m;
3.temporary tablespace
sql>; create temporary tablespace temp tempfile ‘c:\oracle\oradata\temp01.dbf’
sql>; size 500m extent management local uniform size 10m;
4.change the storage setting
sql>; alter tablespace app_data minimum extent 2m;
sql>; alter tablespace app_data default storage(initial 2m next 2m maxextents 999);
5.taking tablespace offline or online
sql>; alter tablespace app_data offline;
sql>; alter tablespace app_data online;
6.read_only tablespace
sql>; alter tablespace app_data read only|write;
7.droping tablespace
sql>; drop tablespace app_data including contents;
8.enableing automatic extension of data files
sql>; alter tablespace app_data add datafile ‘c:\oracle\oradata\app_data01.dbf’ size 200m
sql>; autoextend on next 10m maxsize 500m;
9.change the size fo data files manually
sql>; alter database datafile ‘c:\oracle\oradata\app_data.dbf’ resize 200m;
10.Moving data files: alter tablespace
sql>; alter tablespace app_data rename datafile ‘c:\oracle\oradata\app_data.dbf’
sql>; to ‘c:\oracle\app_data.dbf’;
11.moving data files:alter database
sql>; alter database rename file ‘c:\oracle\oradata\app_data.dbf’
sql>; to ‘c:\oracle\app_data.dbf’;

第三章:表

1.create a table
sql>; create table table_name (column datatype,column datatype]….)
sql>; tablespace tablespace_name [pctfree integer] [pctused integer]
sql>; [initrans integer] [maxtrans integer]
sql>; storage(initial 200k next 200k pctincrease 0 maxextents 50)
sql>; [logging|nologging] [cache|nocache]
2.copy an existing table
sql>; create table table_name [logging|nologging] as subquery
3.create temporary table
sql>; create global temporary table xay_temp as select * from xay;
on commit preserve rows/on commit delete rows
4.pctfree = (average row size – initial row size) *100 /average row size
pctused = 100-pctfree- (average row size*100/available data space)
5.change storage and block utilization parameter
sql>; alter table table_name pctfree=30 pctused=50 storage(next 500k
sql>; minextents 2 maxextents 100);
6.manually allocating extents
sql>; alter table table_name allocate extent(size 500k datafile ‘c:/oracle/data.dbf’);
7.move tablespace
sql>; alter table employee move tablespace users;
8.deallocate of unused space
sql>; alter table table_name deallocate unused [keep integer]
9.truncate a table
sql>; truncate table table_name;
10.drop a table
sql>; drop table table_name [cascade constraints];
11.drop a column
sql>; alter table table_name drop column comments cascade constraints checkpoint 1000;
alter table table_name drop columns continue;
12.mark a column as unused
sql>; alter table table_name set unused column comments cascade constraints;
alter table table_name drop unused columns checkpoint 1000;
alter table orders drop columns continue checkpoint 1000
data_dictionary : dba_unused_col_tabs

第四章:索引

1.creating function-based indexes
sql>; create index summit.item_quantity on summit.item(quantity-quantity_shipped);
2.create a B-tree index
sql>; create [unique] index index_name on table_name(column,.. asc/desc) tablespace
sql>; tablespace_name [pctfree integer] [initrans integer] [maxtrans integer]
sql>; [logging | nologging] [nosort] storage(initial 200k next 200k pctincrease 0
sql>; maxextents 50);
3.pctfree(index)=(maximum number of rows-initial number of rows)*100/maximum number of rows
4.creating reverse key indexes
sql>; create unique index xay_id on xay(a) reverse pctfree 30 storage(initial 200k
sql>; next 200k pctincrease 0 maxextents 50) tablespace indx;
5.create bitmap index
sql>; create bitmap index xay_id on xay(a) pctfree 30 storage( initial 200k next 200k
sql>; pctincrease 0 maxextents 50) tablespace indx;
6.change storage parameter of index
sql>; alter index xay_id storage (next 400k maxextents 100);
7.allocating index space
sql>; alter index xay_id allocate extent(size 200k datafile ‘c:/oracle/index.dbf’);
8.alter index xay_id deallocate unused;

第五章:约束

1.define constraints as immediate or deferred
sql>; alter session set constraint[s] = immediate/deferred/default;
set constraint[s] constraint_name/all immediate/deferred;
2. sql>; drop table table_name cascade constraints
sql>; drop tablespace tablespace_name including contents cascade constraints
3. define constraints while create a table
sql>; create table xay(id number(7) constraint xay_id primary key deferrable
sql>; using index storage(initial 100k next 100k) tablespace indx);
primary key/unique/references table(column)/check
4.enable constraints
sql>; alter table xay enable novalidate constraint xay_id;
5.enable constraints
sql>; alter table xay enable validate constraint xay_id;

第六章:LOAD数据

1.loading data using direct_load insert
sql>; insert /*+append */ into emp nologging
sql>; select * from emp_old;
2.parallel direct-load insert
sql>; alter session enable parallel dml;
sql>; insert /*+parallel(emp,2) */ into emp nologging
sql>; select * from emp_old;
3.using sql*loader
sql>; sqlldr scott/tiger \
sql>; control = ulcase6.ctl \
sql>; log = ulcase6.log direct=true

第七章:reorganizing data

1.using export
$exp scott/tiger tables(dept,emp) file=c:\emp.dmp log=exp.log compress=n direct=y
2.using import
$imp scott/tiger tables(dept,emp) file=emp.dmp log=imp.log ignore=y
3.transporting a tablespace
sql>;alter tablespace sales_ts read only;
$exp sys/.. file=xay.dmp transport_tablespace=y tablespace=sales_ts
triggers=n constraints=n
$copy datafile
$imp sys/.. file=xay.dmp transport_tablespace=y datafiles=(/disk1/sles01.dbf, /disk2/sles02.dbf)
sql>; alter tablespace sales_ts read write;
4.checking transport set
sql>; DBMS_tts.transport_set_check(ts_list =>;’sales_ts’ .., incl_constraints=>;true);
在表transport_set_violations 中查看
sql>; dbms_tts.isselfcontained 为true 是, 表示自包含

第八章: managing password security and resources

1.controlling account lock and password
sql>; alter user juncky identified by oracle account unlock;
2.user_provided password function
sql>; function_name(userid in varchar2(30),password in varchar2(30), old_password in varchar2(30)) return boolean
3.create a profile : password setting
sql>; create profile grace_5 limit failed_login_attempts 3
sql>; password_lock_time unlimited password_life_time 30
sql>;password_reuse_time 30 password_verify_function verify_function
sql>; password_grace_time 5;
4.altering a profile
sql>; alter profile default failed_login_attempts 3
sql>; password_life_time 60 password_grace_time 10;
5.drop a profile
sql>; drop profile grace_5 [cascade];
6.create a profile : resource limit
sql>; create profile developer_prof limit sessions_per_user 2
sql>; cpu_per_session 10000 idle_time 60 connect_time 480;
7. view =>; resource_cost : alter resource cost
dba_Users,dba_profiles
8. enable resource limits
sql>; alter system set resource_limit=true;

第九章:Managing users

1.create a user: database authentication
sql>; create user juncky identified by oracle default tablespace users
sql>; temporary tablespace temp quota 10m on data password expire
sql>; [account lock|unlock] [profile profilename|default];
2.change user quota on tablespace
sql>; alter user juncky quota 0 on users;
3.drop a user
sql>; drop user juncky [cascade];
4. monitor user
view: dba_users , dba_ts_quotas

第十章:managing privileges

1.system privileges: view =>; system_privilege_map ,dba_sys_privs,session_privs
2.grant system privilege
sql>; grant create session,create table to managers;
sql>; grant create session to scott with admin option;
with admin option can grant or revoke privilege from any user or role;
3.sysdba and sysoper privileges:
sysoper: startup,shutdown,alter database open|mount,alter database backup controlfile,
alter tablespace begin/end backup,recover database
alter database archivelog,restricted session
sysdba: sysoper privileges with admin option,create database,recover database until
4.password file members: view:=>; v$pwfile_users
5.O7_dictionary_accessibility =true restriction access to view or tables in other schema
6.revoke system privilege
sql>; revoke create table from karen;
sql>; revoke create session from scott;
7.grant object privilege
sql>; grant execute on dbms_pipe to public;
sql>; grant update(first_name,salary) on employee to karen with grant option;
8.display object privilege : view =>; dba_tab_privs, dba_col_privs
9.revoke object privilege
sql>; revoke execute on dbms_pipe from scott [cascade constraints];
10.audit record view :=>; sys.aud$
11. protecting the audit trail
sql>; audit delete on sys.aud$ by access;
12.statement auditing
sql>; audit user;
13.privilege auditing
sql>; audit select any table by summit by access;
14.schema object auditing
sql>; audit lock on summit.employee by access whenever successful;
15.view audit option : view=>; all_def_audit_opts, dba_stmt_audit_opts, dba_priv_audit_opts, dba_obj_audit_opts
16.view audit result: view=>; dba_audit_trail, dba_audit_exists, dba_audit_object, dba_audit_session, dba_audit_statement

第十一章: manager role

1.create roles
sql>; create role sales_clerk;
sql>; create role hr_clerk identified by bonus;
sql>; create role hr_manager identified externally;
2.modify role
sql>; alter role sales_clerk identified by commission;
sql>; alter role hr_clerk identified externally;
sql>; alter role hr_manager not identified;
3.assigning roles
sql>; grant sales_clerk to scott;
sql>; grant hr_clerk to hr_manager;
sql>; grant hr_manager to scott with admin option;
4.establish default role
sql>; alter user scott default role hr_clerk,sales_clerk;
sql>; alter user scott default role all;
sql>; alter user scott default role all except hr_clerk;
sql>; alter user scott default role none;
5.enable and disable roles
sql>; set role hr_clerk;
sql>; set role sales_clerk identified by commission;
sql>; set role all except sales_clerk;
sql>; set role none;
6.remove role from user
sql>; revoke sales_clerk from scott;
sql>; revoke hr_manager from public;
7.remove role
sql>; drop role hr_manager;
8.display role information
view: =>;dba_roles, dba_role_privs, role_role_privs, dba_sys_privs, role_sys_privs, role_tab_privs, session_roles

第十二章: BACKUP and RECOVERY

1. v$sga, v$instance, v$process, v$bgprocess, v$database, v$datafile, v$sgastat
2. Rman need set dbwr_IO_slaves or backup_tape_IO_slaves and large_pool_size
3. Monitoring Parallel Rollback
>; v$fast_start_servers , v$fast_start_transactions
4.perform a closed database backup (noarchivelog)
>; shutdown immediate
>; cp files /backup/
>; startup
5.restore to a different location
>; connect system/manager as sysdba
>; startup mount
>; alter database rename file ‘/disk1/../user.dbf’ to ‘/disk2/../user.dbf’;
>; alter database open;
6.recover syntax
–recover a mounted database
>;recover database;
>;recover datafile ‘/disk1/data/df2.dbf’;
>;alter database recover database;
–recover an opened database
>;recover tablespace user_data;
>;recover datafile 2;
>;alter database recover datafile 2;
7.how to apply redo log files automatically
>;set autorecovery on
>;recover automatic datafile 4;
8.complete recovery:
–method 1(mounted databae)
>;copy c:\backup\user.dbf c:\oradata\user.dbf
>;startup mount
>;recover datafile ‘c:\oradata\user.dbf;
>;alter database open;
–method 2(opened database,initially opened,not system or rollback datafile)
>;copy c:\backup\user.dbf c:\oradata\user.dbf (alter tablespace offline)
>;recover datafile ‘c:\oradata\user.dbf’ or
>;recover tablespace user_data;
>;alter database datafile ‘c:\oradata\user.dbf’ online or
>;alter tablespace user_data online;
–method 3(opened database,initially closed not system or rollback datafile)
>;startup mount
>;alter database datafile ‘c:\oradata\user.dbf’ offline;
>;alter database open
>;copy c:\backup\user.dbf d:\oradata\user.dbf
>;alter database rename file ‘c:\oradata\user.dbf’ to ‘d:\oradata\user.dbf’
>;recover datafile ‘e:\oradata\user.dbf’ or recover tablespace user_data;
>;alter tablespace user_data online;
–method 4(loss of data file with no backup and have all archive log)
>;alter tablespace user_data offline immediate;
>;alter database create datafile ‘d:\oradata\user.dbf’ as ‘c:\oradata\user.dbf"
>;recover tablespace user_data;
>;alter tablespace user_data online
5.perform an open database backup
>; alter tablespace user_data begin backup;
>; copy files /backup/
>; alter database datafile ‘/c:/../data.dbf’ end backup;
>; alter system switch logfile;
6.backup a control file
>; alter database backup controlfile to ‘control1.bkp’;
>; alter database backup controlfile to trace;
7.recovery (noarchivelog mode)
>; shutdown abort
>; cp files
>; startup
8.recovery of file in backup mode
>;alter database datafile 2 end backup;
9.clearing redo log file
>;alter database clear unarchived logfile group 1;
>;alter database clear unarchived logfile group 1 unrecoverable datafile;
10.redo log recovery
>;alter database add logfile group 3 ‘c:\oradata\redo03.log’ size 1000k;
>;alter database drop logfile group 1;
>;alter database open;
or >;cp c:\oradata\redo02.log’ c:\oradata\redo01.log
>;alter database clear logfile ‘c:\oradata\log01.log’;

在"~/.config/google-chrome/Default/Preferences"尾端"serif_font_family"下面另开一行加入

 

“sansserif_font_family": “你自定义的字体名",

1、用 SET 语法来指定,不加 "GLOBAL" 的话就只对本次会话有效。

SET [GLOBAL] character_set_client = utf8; SET [GLOBAL] character_set_connection = utf8; SET [GLOBAL] character_set_database = utf8; SET [GLOBAL] character_set_results = utf8; SET [GLOBAL] character_set_server = utf8;

2、只对本次会话有效。

SET NAMES ‘utf8’;

3、直接修改 my.cnf,[client]和[MySQLd]下面各增加一行内容,然后重启 MySQL,全局生效。

default-character-set = utf8