freespace
wangjin161 · 共 205 篇文章
分组 捕获 引用
分组 捕获 引用 转自:http://blog.csdn.net/hehe9737/article/details/7792653 对于要重复单个字符,非常简单,直接在字符后卖弄加上限定符即可,例如 a+ 表示匹配1个或一个以上的a,a?表示匹配0个或1个a。这些限定符如下所示: X ? X ,一次或一次也没有 X * X ,零次或多次 X + X ,一次或多次 X { n } X ,恰好 n 次 X { n ,} X ,至少 n 次 X { n , m } X ,至少 n 次,但是不超过 m 次 但是我们如果要对多个字符进行重复怎么办呢?此时我们就要用到分组,我们可以使用小括号"()"来指…
2015-12-17 20:44 · php · 评论(0)
PHP中file_get_contents高級用法实例
PHP中file_get_contents高級用法实例 转自:http://www.jb51.net/article/55574.htm 首先解决file_get_contents的超时问题,在超时返回错误后就象js中的settimeout那样进行一次尝试,错误超过3次或者5次后就确认为无法连线伺服器而彻底放弃。 这裡就简单介绍两种解决方法: 一、增加超时的时间限制 注意:set_time_limit只是设定你的PHP程式的超时时间,而不是file_get_contents函数读取URL的超时时间。 我一开始以为set_time_limit也能影响到file_get_contents,后来经…
2015-12-03 11:18 · php · 评论(0)
linux /var/log/sa 日志不断产生
linux /var/log/sa 日志 1./var/log/sa 日志由 sysstat 产生 sysstat 是 Linux 系统中的常用工具包。它的主要用途是观察服务负载,比如CPU和内存的占用率、网络的使用率以及磁盘写入和读取速度等。 sysstat 工具包中包含两类工具: 即时查看工具:iostat、mpstat、sar 累计统计工具:sar 也就是说,sar 具有这两种功能。因此,sar 是 sysstat 中的核心工具。 为了实现 sar 的累计统计,系统必须周期地记录当时的信息,这是通过调用 /usr/lib/ sa/ 中的三个工具实现的: sa1 :收集并存储每天系统动态…
2015-12-01 19:04 · linux · 评论(0)
spark running thrift server
spark running thrift server 1 启动 thrift server cd $SPARK_HOME/ sh sbin/start-thriftserver.sh --hiveconf hive.server2.thrift.port=10000 --hiveconf hive.server2.thrift.bind.host=yf-hive01 --master spark://testnode:7077 --driver-class-path /home/test/hadoop/spark-1.2.0-bin-1.0.3/lib/mysql-connector-ja…
2015-11-27 17:21 · spark · 评论(0)
Maven 工程错误
Maven 工程错误 转自:http://www.cnblogs.com/shihujiang/p/3492864.html Maven 工程错误Failure to transfer org.codehaus.plexus:plexus-io:pom:1.0,Failure to transfer org.codehaus.plexus:plexus-archiver:jar:2.0.1 新换了一台电脑,把老电脑上的开发环境部署到新的电脑上,原本好好的Maven工程却出现了莫名的错误 Failure to transfer org.codehaus.plexus:plexus-archiv…
2015-11-27 10:29 · 构建打包 · 评论(0)
ssh 配置免密登陆
ssh 配置免密登陆 转自:http://blog.csdn.net/hjskl/article/details/8809282 准备工作: 1、确认本机sshd的配置文件(需要root权限) $ gedit /etc/ssh/sshd_config 找到以下内容,并去掉注释符”#“ RSAAuthentication yes PubkeyAuthentication yes AuthorizedKeysFile .ssh/authorized_keys 2、如果修改了配置文件需要重启sshd服务 (需要root权限) $ /sbin/service sshd restart 配置SSH无密…
2015-11-21 14:18 · linux · 评论(0)
hive metastore 报错 binlog mode 不对问题
2015-11-16 16:33:55,701 WARN metastore.HiveMetaStoreClient (HiveMetaStoreClient.java:executeWithRetry(2472)) - Got Unknown Exception: javax.jdo.JDOException: Couldnt o btain a new sequence (unique id) : Binary logging not possible. Message: Transaction level 'READ-COMMITTED' in InnoDB is not safe f…
2015-11-17 10:50 · hive · 评论(0)
linux PAM配置 sshd 白(黑)名单
linux PAM配置 sshd 白(黑)名单 1.pam介绍 PAM 就是 Pluggable Authentication Modules 这几个英文单词的缩写当你在请求服务的时候,具有PAM认证功能的应用程序将与这些.so文件进行交互,以便得知是否可以授权给发起请求的用户来使用服务,比如su, vsftp, httpd,等。如果认证成功了,那么这个用户便可以使用服务或完成命令,如果认证失败了,那么这个用户将不能使用服务,同时,PAM将向指定的log文件写入警告信息 PAM 机制将把多个低级别验证模式集成到高级别 API 中,该 API 将允许以独立于底层验证模式的方式编写使用验证的程序…
2015-11-16 16:29 · linux · 评论(0)
Thirft框架介绍
Thirft框架介绍 1.thrift 概述 Thrift是Apache下的一个子项目,最早是Facebook的项目,后来Facebook提供给Apache作为开源项目,在官网上,Thrift被描述为“Scalable Cross-Language Services Implementation”,说的通俗一些,Thrift具有以下特征: 1)它有自己的跨机器的通信框架,并提供一套库。 2)它是一个代码生成器,按照它的规则,可以生成多种编程语言的通讯过程代码。 3)支持多种语言之间通信(目前支持C++,Java, Python, PHP, Ruby, Erlang, Perl, Haskel…
2015-11-12 11:49 · rpc 框架 · 评论(0)
linux 系统自动关机--排查方法
linux 系统自动关机--排查方法 排查方法 系统日志一般在/var/log/下面 1.查看messages日志,看看有没有CPU温度过高这样的日志。 2.查看cron 日志 3.查看last 命令:查看最后执行的命令 4.查看boot.log是否有异常
2015-10-29 17:25 · linux · 评论(0)
比较两个字符串是否相等的
1.比较字符串 if [ "x$test"x = "xtest" ]; then 多个比 较可以用 -o 这里一个复杂例子 while [ "$status" = "ETL" -o "$status" = "LOADING" -o "$status" = "PENDING" ]; do status="test" status=`echo $status|tr [:lower:] [:upper:]` echo "get status $status time `date +'%Y%m%d %T'`" sleep 1m done 这里的关键有几点: 1) 使用单个等号 2) 注意到等号两边各…
2015-10-28 21:04 · linux · 评论(0)
shell 大小写转换
1.小写转大写 echo "test"|tr [:lower:] [:upper:] 2.大写转小写 echo "test"|tr [:upper:] [:lower:]
2015-10-28 20:52 · linux · 评论(0)
hive insert directory指定分隔符
hive insert directory指定分隔符 1.hive0.11以前的版本 hive0.11以前的版本不支持insert directory 后面指定分隔符,但可以通过concat方式来完成 如: insert overwrite directory 'hdfs://localhost:9000/app/test/' select concat(userid,"\t",mdt,"\t",case when loginfo['id'] is null then '' else loginfo['qid'] end,"\t" ,trim(urlpath),"\t",fr,"\t",lo…
2015-10-27 11:39 · hive · 评论(0)
Hadoop如何计算map数和reduce数
Hadoop如何计算map数和reduce数 原地址:http://www.songyafei.cn/post/a0d5b_140a7cf Hadoop在运行一个mapreduce job之前,需要估算这个job的maptask数和reducetask数。首先分析一下job的maptask数,当一个job提交时,jobclient首先分析job被拆分的split数量,然后吧job.split文件放置在HDFS中,一个job的MapTask数量就等于split的个数。 job.split中包含split的个数由FileInputFormat.getSplits计算出,方法的逻辑如下: 1. 读…
2015-10-15 14:56 · hadoop · 评论(0)