理解正则表达式
理解正则表达式（上）
□文/孟岩在程序员日常工作中，数据处理占据了相当的比重。而在所有的数据之中，文本又占据了相当的比重。文本能够被人理解，具有良好的透明性，利于系统的开发、测试和维护。然而，易于被人理解的文本数据，机器处理起来就不一定都那么容易。文本数据复杂多变，特定性强，甚至是千奇百怪。因此，文本处理程序可谓生存环境恶劣。一般来说，文本处理程序都是特定于应用的，一个项目有一个项目的要求，彼此之间很难抽出共同点，代码很难复用，往往是“一次编码，一次运行，到处补丁”。其程序结构散乱丑陋，谈不上有什么“艺术性”，基本上与“模式”、“架构”什么的无缘。在这里，从容雅致、温文尔雅派不上用场，要想生存就必须以暴制暴。
事实上，几十年的实践证明，除了正则表达式和更高级的parser技术，在这样一场街头斗殴中别无利器。而其中，尤以正则表达式最为常用。所以，对于今天的程序员来说，熟练使用正则表达式着实应该是一种必不可少的基本功。然而现实情况却是，知道的人很多，善于应用的人却很少，而能够洞悉其原理，理智而高效地应用它的人则少之又少。大多数开发者被它的外表吓倒，不敢也不耐烦深入了解其原理。事实上，正则表达式背后的原理并不复杂，只要耐心学习，积极实践，理解正则表达式并不困难。下面列举的一些条款，来自我本人学习和时间经验的不完全总结。由于水平和篇幅所限，只能浮光掠影，不足和谬误之处，希望得到有识之士的指教。
1.了解正则表达式的历史
正则表达式萌芽于1940年代的神经生理学研究，由著名数学家Stephen Kleene第一个正式描述。具体地说，Kleene归纳了前述的神经生理学研究，在一篇题为《正则集代数》的论文中定义了“正则集”，并在其上定义了一个代数系统，并且引入了一种记号系统来描述正则集，这种记号系统被他称为“正则表达式”。在理论数学的圈子里被研究了几十年之后，1968年，后来发明了UNIX系统的Ken Thompson第一个把正则表达式用于计算机领域，开发了qed和grep两个实用文本处理工具，取得了巨大成功。在此后十几年里，一大批一流计算机科学家和黑客对正则表达式进行了密集的研究和实践。在1980年代早期，UNIX运动的两个中心贝尔实验室和加州大学伯克利分校分别围绕grep工具对正则表达式引擎进行了研究和实现。与之同时，编译器“龙书”的作者Alfred Aho开发了Egrep工具，大大扩展和增强了正则表达式的功能。此后，他又与《C程序设计语言》的作者Brian Kernighan等三人一起发明了流行的awk文
本编辑语言。到了1986年，正则表达式迎来了一次飞跃。先是C语言顶级黑客Henry Spencer
以源代码形式发布了一个用C语言写成的正则表达式程序库（当时还不叫open source），从
而把正则表达式的奥妙带入寻常百姓家，然后是技术怪杰Larry Wall横空出世，发布了Perl
语言的第一个版本。自那以后，Perl一直是正则表达式的旗手，可以说，今天正则表达式的标
准和地位是由Perl塑造的。Perl5.x发布以后，正则表达式进入了稳定成熟期，其强大能力已
经征服了几乎所有主流语言平台，成为每个专业开发者都必须掌握的基本工具。
2.掌握一门正则表达式语言
使用正则表达式有两种方法，一种是通过程序库，另一种是通过内置了正则表达式引擎的语
言本身。前者的代表是Java、.NET、C/C++、Python，后者的代表则是Perl、Ruby、JavaScript
和一些新兴语言，如Groovy等。如果学习正则表达式的目标仅仅是应付日常应用，则通过程
序库使用就可以。但只有掌握一门正则表达式语言，才能够将正则表达式变成编程的直觉本能，
达到较高的水准。不但如此，正则表达式语言也能够在实践中提供更高的开发和执行效率。因此，
有心者应当掌握一门正则表达式语言。
3.理解DFA和NFA
正则表达式引擎分成两类，一类称为DFA（确定性有穷自动机），另一类称为NFA（非确
定性有穷自动机）。两类引擎要顺利工作，都必须有一个正则式和一个文本串，一个捏在手里，
一个吃下去。DFA捏着文本串去比较正则式，看到一个子正则式，就把可能的匹配串全标注出
来，然后再看正则式的下一个部分，根据新的匹配结果更新标注。而NFA是捏着正则式去比文
本，吃掉一个字符，就把它跟正则式比较，匹配就记下来：“某年某月某日在某处匹配上了！”，
然后接着往下干。一旦不匹配，就把刚吃的这个字符吐出来，一个个的吐，直到回到上一次匹配
的地方。
DFA与NFA机制上的不同带来5个影响：
1.DFA对于文本串里的每一个字符只需扫描一次，比较快，但特性较少；NFA要翻来覆去吃字符、吐字符，速度慢，但是特性丰富，所以反而应用广泛，当今主要的正则表达式引擎，如Perl、Ruby、Python的re模块、Java和.NET的regex库，都是NFA的。
2.只有NFA才支持lazy和backreference等特性；
3.NFA急于邀功请赏，所以最左子正则式优先匹配成功，因此偶尔会错过最佳匹配结果；DFA则是“最长的左子正则式优先匹配成功”。
4.NFA缺省采用greedy量词（见item4）
5.NFA可能会陷入递归调用的陷阱而表现得性能极差。
我这里举一个例子来说明第3个影响。
例如用正则式/perl|perlman/来匹配文本‘perlman book’。如果是NFA，则以正则式为导向，手里捏着正则式，眼睛看着文本，一个字符一个字符的吃，吃完‘perl’以后，跟第一个子正则式/perl/已经匹配上了，于是记录在案，往下再看，吃进一个‘m’，这下糟了，跟子式/perl/不匹配了，于是把m吐出来，向上汇报说成功匹配‘perl’，不再关心其他，也不尝试后面那个子正则式/perlman/，自然也就看不到那个更好的答案了。
如果是DFA，它是以文本为导向，手里捏着文本，眼睛看着正则式，一口一口的吃。吃到/p/，就在手里的‘p’上打一个钩，记上一笔，说这个字符已经匹配上了，然后往下吃。当看到/perl/之后，DFA不会停，会尝试再吃一口。这时候，第一个子正则式已经山穷水尽了，没得吃了，于是就甩掉它，去吃第二个子正则式的/m/。这一吃好了，因为又匹配上了，于是接着往下吃。直到把正则式吃完，心满意足往上报告说成功匹配了‘perlman’。
由此可知，要让NFA正确工作，应该使用/perlman|perl/模式。
通过以上例子，可以理解为什么NFA是最左子式匹配，而DFA是最长左子式匹配。实际上，如果仔细分析，关于NFA和DFA的不同之处，都可以找出道理。而明白这些道理，对于有效应用正则表达式是非常有意义的。
4.理解greedy和lazy量词
由于日常遇到的正则表达式引擎全都是NFA，所以缺省都采用greedy量词。Greedy量词的意思不难理解，就是对于/.*/、/\w+/这样的“重复n”次的模式，以贪婪方式进行，尽可能匹配更多字符，直到不得以罢手为止。
举一个例子，以/<.*>/模式匹配‘
条款3指出，NFA的模型是以正则式为导向，拿着正则式吃文本。在上面的例子里，当它拿着/.*/这个正则式去吃文本的时候，缺省情况下它就这么一路吃下去，即使碰到‘>’字符也不罢手——既然/./是匹配任意字符，‘>’当然也可以匹配！所以就尽管吃下去，直到吃完遇到结尾（包括\t字符）也不觉得有什么不对。这个时候它突然发现，在正则表达式最后还有一个
/>/，于是慌了神，知道吃多了，于是就开始一个字符一个字符的往回吐，直到吐出倒数第二个字符‘>’，完成了与正则式的匹配，才长舒一口气，向上汇报，匹配字符串从第一个字符‘<’开始，到倒数第二个字符‘>’结束，即‘
Greedy量词的行为有时确实是用户所需要的，有时则不是。比如在这个例子里，用户可能实际上想得到的是‘book’串。怎么办呢？这时候lazy量词就派上用场了。把模式改为/<.*?>/就可以得到‘book’。这个加在‘*’号后面的‘?’把greedy量词行为变成lazy量词行为，从而由尽量多吃变为尽量少吃，只要吃到一个‘>’立刻停止。
问号在正则表达式里用途最广泛，这里是很重要的一个用途。
5.理解backtracking
在条款4的基础上解释backtracking就很容易了。当NFA发现自己吃多了，一个一个往回吐，边吐边找匹配，这个过程叫做backtracking。由于存在这个过程，在NFA匹配过程中，特别是在编写不合理的正则式匹配过程中，文本被反复扫描，效率损失是不小的。明白这个道理，对于写出高效的正则表达式很有帮助。
正则表达式语言 - 快速参考
正则表达式语言?-?快速参考 正则表达式是正则表达式引擎尝试匹配输入文本的一种模式。?模式由一个或多个字符文本、运算符或构造组成。 字符转义 正则表达式中的反斜杠字符?(\)?指示其后跟的字符是特殊字符（如下表所示），或应按原义解释该字符。?有关更多信息，请参见正则表达式中的字符转义。
字符类 字符类与一组字符中的任何一个字符匹配。?字符类包括下表中列出的语言元素。?有关更多信息，请参见正则表达式中的字符类。
定位点 定位点或原子零宽度断言会使匹配成功或失败，具体取决于字符串中的当前位置，但它们不会使引擎在字符串中前进或使用字符。?下表中列出的元字符是定位点。?有关更多信息，请参见正则表达式中的定位点。 分组构造描述了正则表达式的子表达式，通常用于捕获输入字符串的子字符串。?分组构造包括下表中列出的语言元素。?有关更多信息，请参见正则表达式中的分组构造。
限定符 限定符指定在输入字符串中必须存在上一个元素（可以是字符、组或字符类）的多少个实例才能出现匹配项。?限定符包括下表中列出的语言元素。?有关更多信息，请参见正则表达式中的限定符。
反向引用构造 反向引用允许在同一正则表达式中随后标识以前匹配的子表达式。?下表列出了?.NET?Framework?的正则表达式支持的反向引用构造。?有关更多信息，请参见正则表达式中的反向引用构造。 替换构造用于修改正则表达式以启用?either/or?匹配。?这些构造包括下表中列出的语言元素。?有关更多信息，请参见正则表达式中的备用构造。
替换 替换是替换模式中支持的正则表达式语言元素。?有关更多信息，请参见正则表达式中的替代。?下表中列出的元字符是原子零宽度断言。 正则表达式选项 可以指定控制正则表达式引擎如何解释正则表达式模式的选项。?其中的许多选项可以指定为内联（在正则表达式模式中）或指定为一个或多个?RegexOptions?常量。?本快速参考仅列出内联选项。?有关内联和?RegexOptions?选项的更多信息，请参见文章正则表达式选项。 可通过两种方式指定内联选项： 通过使用杂项构造(?imn s x-imn s x)，可以用选项或选项组前的减号?(-)?关闭这些选项。?例如，(?i-mn)?启用不区分大小写
find与grep命令简介及正则表达式
find与grep命令简介及正则表达式写给大家看的Shell脚本编程入门教程索引 两个更为有用的命令和正则表达式 在我们开始学习新的Shell编程知识之前,我们先来看一下两个更为有用的两个命令,这两个命令虽然并不是Shell的一部分,但是在进行Shell编程时却会经常用到.随后我们会来看一下正则表达式. find命令 我们先来看的是find命令.这个命令对于我们用来查找文件时是相当有用的,但是对于Linux新手来说却有一些难于使用,在一定程序是由于他所带的选项,测试,动作类型参数,而且一个参数的执行结果会影响接下来的参数. 在我们深入这些选项和参数之前,我们先来看一个非常简单的例子.假如在我们的机子上有一个文件wish.我们来进行这个操作时要以root身份来运行,这样就可以保证我们可以搜索整个机子： #find/-name wish-print /usr/bin/wish # 正如我们可以想到的,他会打印出搜索到的结果.很简单,是不是? 然而,他却需要一定的时间来运行,因为他也会同时搜索网络上的Window机器上的磁盘.Linux机器会挂载大块的Window机器的文件系统.他也会同时那些位置,虽然我们知道我们要查找的文件位于Linux机器上. 这也正是第一个选项的用武之地.如果我们指定了-mount选项,我们就可以告诉find命令不要搜索挂载的目录.
#find/-mount-name wish-print /usr/bin/wish # 这样我们仍然可以搜索这个文件,但是这一次并没有搜索挂载的文件系统. find命令的完整语法如下： find[path][options][tests][actions] path是一个很简单的部分：我们可以使用绝对路径,例如/bin,或者是使用相对路径,例如..如果我们需要我们还可以指定多个路径,例如find/var/home 主要的一些选项如下： -depth在查看目录本身以前要先搜索目录中的内容 -follow跟随符号链接 -maxdepths N在搜索一个目录时至多搜索N层 -mount(或-xdev)不要搜索其他的文件系统 下面的是一些test的选项.我们可以为find命令指定大量的测试,并且每一个测试会返回真或是假.当find命令工作时,他会考查顺序查找到的文件,并且会在这个文件上按顺序进行他们所定义的测试.如果一个测试返回假,find命令会停止他当前正在考查的文件并继续进行下面的动作.我们在下表中列出的只是一些我们最常用到的测试,我们可以通过查看手册页得到我们可以利用find 命令使用的可能的扩展列表项. -atime NN天以前访问的文件 -mtime NN天以前修改的文件
常用正则表达式
1. 平时做网站经常要用正则表达式，下面是一些讲解和例子，仅供大家参考和修改使用： 2. "^\d+$"//非负整数（正整数+ 0） 3. "^[0-9]*[1-9][0-9]*$"//正整数 4. "^((-\d+)|(0+))$"//非正整数（负整数+ 0） 5. "^-[0-9]*[1-9][0-9]*$"//负整数 6. "^-?\d+$"//整数 7. "^\d+(\.\d+)?$"//非负浮点数（正浮点数+ 0） 8. "^(([0-9]+\.[0-9]*[1-9][0-9]*)|([0-9]*[1-9][0-9]*\.[0-9]+)|([0-9]*[1-9][0-9]*))$"//正浮点数 9. "^((-\d+(\.\d+)?)|(0+(\.0+)?))$"//非正浮点数（负浮点数+ 0） 10. "^(-(([0-9]+\.[0-9]*[1-9][0-9]*)|([0-9]*[1-9][0-9]*\.[0-9]+)|([0-9]*[1-9][0-9]*)))$"//负浮点数 11. "^(-?\d+)(\.\d+)?$"//浮点数 12. "^[A-Za-z]+$"//由26个英文字母组成的字符串 13. "^[A-Z]+$"//由26个英文字母的大写组成的字符串 14. "^[a-z]+$"//由26个英文字母的小写组成的字符串 15. "^[A-Za-z0-9]+$"//由数字和26个英文字母组成的字符串 16. "^\w+$"//由数字、26个英文字母或者下划线组成的字符串 17. "^[\w-]+(\.[\w-]+)*@[\w-]+(\.[\w-]+)+$"//email地址 18. "^[a-zA-z]+://(\w+(-\w+)*)(\.(\w+(-\w+)*))*(\?\S*)?$"//url 19. /^(d{2}|d{4})-((0([1-9]{1}))|(1[1|2]))-(([0-2]([1-9]{1}))|(3[0|1]))$/ // 年-月-日 20. /^((0([1-9]{1}))|(1[1|2]))/(([0-2]([1-9]{1}))|(3[0|1]))/(d{2}|d{4})$/ // 月/日/年 21. "^([w-.]+)@(([[0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}.)|(([w-]+.)+))([a-zA-Z]{2,4}|[0-9]{1,3})(]?)$" //Emil 22. /^((\+?[0-9]{2,4}\-[0-9]{3,4}\-)|([0-9]{3,4}\-))?([0-9]{7,8})(\-[0-9]+)?$/ //电话号码 23. "^(d{1,2}|1dd|2[0-4]d|25[0-5]).(d{1,2}|1dd|2[0-4]d|25[0-5]).(d{1,2}|1dd|2[0-4]d|25[0-5]).(d{1,2}| 1dd|2[0-4]d|25[0-5])$" //IP地址 24. 25. 匹配中文字符的正则表达式：[\u4e00-\u9fa5] 26. 匹配双字节字符(包括汉字在内)：[^\x00-\xff] 27. 匹配空行的正则表达式：\n[\s| ]*\r 28. 匹配HTML标记的正则表达式：/<(.*)>.*<\/\1>|<(.*) \/>/ 29. 匹配首尾空格的正则表达式：(^\s*)|(\s*$) 30. 匹配Email地址的正则表达式：\w+([-+.]\w+)*@\w+([-.]\w+)*\.\w+([-.]\w+)* 31. 匹配网址URL的正则表达式：^[a-zA-z]+://(\\w+(-\\w+)*)(\\.(\\w+(-\\w+)*))*(\\?\\S*)?$ 32. 匹配帐号是否合法(字母开头，允许5-16字节，允许字母数字下划线)：^[a-zA-Z][a-zA-Z0-9_]{4,15}$ 33. 匹配国内电话号码：(\d{3}-|\d{4}-)?(\d{8}|\d{7})? 34. 匹配腾讯QQ号：^[1-9]*[1-9][0-9]*$ 35. 36. 37. 元字符及其在正则表达式上下文中的行为：
正则表达式经典手册
引言 正则表达式（regular expression）就是用一个“表达式”来描述一个特征，然后去验证另一个“字符串”是否符合这个特征。比如表达式“ab+” 描述的特征是“一个 'a' 和任意个'b' ”，那么 'ab', 'abb', 'abbbbbbbbbb' 都符合这个特征。 正则表达式可以用来：（1）验证字符串是否符合指定特征，比如验证是否是合法的邮件地址。（2）用来查找字符串，从一个长的文本中查找符合指定特征的字符串，比查找固定字符串更加灵活方便。（3）用来替换，比普通的替换更强大。 正则表达式学习起来其实是很简单的，不多的几个较为抽象的概念也很容易理解。之所以很多人感觉正则表达式比较复杂，一方面是因为大多数的文档没有做到由浅入深地讲解，概念上没有注意先后顺序，给读者的理解带来困难；另一方面，各种引擎自带的文档一般都要介绍它特有的功能，然而这部分特有的功能并不是我们首先要理解的。 文章中的每一个举例，都可以点击进入到测试页面进行测试。闲话少说，开始。 1. 正则表达式规则 1.1 普通字符 字母、数字、汉字、下划线、以及后边章节中没有特殊定义的标点符号，都是"普通字符"。表达式中的普通字符，在匹配一个字符串的时候，匹配与之相同的一个字符。 举例1：表达式 "c"，在匹配字符串 "abcde" 时，匹配结果是：成功；匹配到的内容是："c"；匹配到的位置是：开始于2，结束于3。（注：下标从0开始还是从1开始，因当前编程语言的不同而可能不同） 举例2：表达式 "bcd"，在匹配字符串 "abcde" 时，匹配结果是：成功；匹配到的内容是："bcd"；匹配到的位置是：开始于1，结束于4。 1.2 简单的转义字符 一些不便书写的字符，采用在前面加 "\" 的方法。这些字符其实我们都已经熟知了。
C#利用正则表达式实现字符串搜索
C#利用正则表达式实现字符串搜索 2005-08-04 22:27 作者：张志远来源：天极网 【简介】 本文给出了在C#下利用正则表达式实现字符串搜索功能的方法，通过对.NET框架下的正则表达式的研究及实例分析，总结了正则表达式的元字符、规则、选项等。 加入收藏设为首页 -------------------------------------------------------------------------------- 3、.NET 框架的正则表达式类 下面通过介绍 .NET 框架的正则表达式类，熟悉一下.NET框架下的正则表达式的使用方法。 3.1 Regex 类表示只读正则表达式 Regex 类包含各种静态方法，允许在不显式实例化其他类的对象的情况下使用其他正则表达式类。以下代码示例创建了 Regex 类的实例并在初始化对象时定义一个简单的正则表达式。请注意，使用了附加的反斜杠作为转义字符，它将 \s 匹配字符类中的反斜杠指定为原义字符。 Regex r; // 声明一个 Regex类的变量 r = new Regex("\\s2000"); // 定义表达式 3.2 Match 类表示正则表达式匹配操作的结果 以下示例使用 Regex 类的 Match 方法返回 Match 类型的对象，以便找到输入字符串中第一个匹配。此示例使用 Match 类的 Match.Success 属性来指示是否已找到匹配。 Regex r = new Regex("abc"); // 定义一个Regex对象实例 Match m = r.Match("123abc456"); // 在字符串中匹配 if (m.Success) {
正则表达式
要想真正的用好正则表达式，正确的理解元字符是最重要的事情。下表列出了所有的元字符和对它们的一个简短的描述。 字符描述 \ 将下一个字符标记为一个特殊字符、或一个原义字符、或一个向后引用、或一个八进制转义符。例如，“\n”匹配字符“n”。“\\n”匹配一个换行符。序列“\\”匹配“\”而“\（”则匹配“（”。 ^ 匹配输入字符串的开始位置。如果设置了RegExp对象的Multiline属性，^也匹配“\n”或“\r”之后的位置。 $ 匹配输入字符串的结束位置。如果设置了RegExp对象的Multiline属性，$也匹配“\n”或“\r”之前的位置。 * 匹配前面的子表达式零次或多次。例如，zo*能匹配“z”以及“zoo”。*等价于{0，}。 + 匹配前面的子表达式一次或多次。例如，“z o+”能匹配“zo”以及“zoo”，但不能匹配“z”。+等价于{1，}。 ? 匹配前面的子表达式零次或一次。例如，“do（es）?”可以匹配“does”或“does”中的“d o”。?等价于{0，1}。 {n} n是一个非负整数。匹配确定的n次。例如，“o{2}”不能匹配“Bob”中的“o”，但是能匹配“food”中的两个o。 {n,} n是一个非负整数。至少匹配n次。例如，“o{2，}”不能匹配“Bob”中的“o”，但能匹配“fo o o ood”中的所有o。“o{1，}”等价于“o+”。“o{0，}”则等价于“o*”。 {n,m} m和n均为非负整数，其中n<=m。最少匹配n次且最多匹配m次。例如，“o{1，3}”将匹配“fooooood”中的前三个o。“o{0，1}”等价于“o?”。请注意在逗号和两个数之间不能有空格。 ? 当该字符紧跟在任何一个其他限制符（*，+，?，{n}，{n，}，{n，m}）后面时，匹配模式是非贪婪的。非贪婪模式尽可能少的匹配所搜索的字符串，而默认的贪婪模式则尽可能多的匹配所搜索的字符串。例如，对于字符串“oooo”，“o?”将匹配单个“o”，而“o+”将匹配所有“o”。 点匹配除“\n”之外的任何单个字符。要匹配包括“\n”在内的任何字符，请使用像“[\s\S]”的模式。
awk正则表达式介绍
awk命令详解 简单使用： awk ：对于文件中一行行的独处来执行操作。 awk -F ：'{print $1,$4}' :使用‘：’来分割这一行，把这一行的第一第四个域打印出来。 详细介绍： AWK命令介绍 awk语言的最基本功能是在文件或字符串中基于指定规则浏览和抽取信息，awk抽取信息 后，才能进行其他文本操作，完整的awk脚本通常用来格式化文本文件中的信息 1.调用awk: 第一种命令行方式，如: awk [-Field-separator] 'commands' input-file(s) 这里commands是真正的awk命令，[-F域分隔符]是可选的，awk默认使用空格分隔， 因此如果要浏览域间有空格的文本，不必指定这个选项，但如果浏览如passwd文件，此文件 各域使用冒号作为分隔符，则必须使用-F选项: awk -F : 'commands' input-file 第二种，将所有awk命令插入一个文件，并使awk程序可执行，然后用awk命令解释器作为脚 本的首行，以便通过键入脚本名称来调用它 第三种，将所有awk命令插入一个单独文件，然后调用，如: awk -f awk-script-file input-file -f选项指明在文件awk-script-file的awk脚本，input-file是使用awk进行浏览 的文件名 2.awk脚本: awk脚本由各种操作和模式组成，根据分隔符(-F选项)，默认为空格，读取的内容依次放置到 对应的域中，一行一行记录读取，直到文件尾 2.1.模式和动作
任何awk语句都是由模式和动作组成，在一个awk脚本中可能有许多语句。模式部分决定动作语句何时触发及触发事件。动作即对数据进行的操作，如果省去模式部分，动作将时刻保持执行状态 模式可以是任何条件语句或复合语句或正则表达式，模式包含两个特殊字段BEGIN和END，使用BEGIN语句设置计数和打印头，BEGIN语句使用在任何文本浏览动作之前，之后文本浏览动作依据输入文件开始执行;END语句用来在awk完成文本浏览动作后打印输出文本总数和结尾状态标志，有动作必须使用{}括起来 实际动作在大括号{}内指明，常用来做打印动作，但是还有更长的代码如if和循环looping 语句及循环退出等，如果不指明采取什么动作，awk默认打印出所有浏览出的记录 2.2.域和记录: awk执行时，其浏览标记为$1，$2...$n，这种方法称为域标记。使用$1，$3表示参照第1和第3域，注意这里使用逗号分隔域，使用$0表示使用所有域。例如: awk '{print $0}' temp.txt > sav.txt 表示打印所有域并把结果重定向到sav.txt中 awk '{print $0}' temp.txt|tee sav.txt 和上例相似，不同的是将在屏幕上显示出来 awk '{print $1,$4}' temp.txt 只打印出第1和第4域 awk 'BEGIN {print "NAME GRADE\n----"} {print $1"\t"$4}' temp.txt 表示打信息头，即输入的内容的第一行前加上"NAME GRADE\n-------------"，同时内容以tab分开 awk 'BEGIN {print "being"} {print $1} END {print "end"}' temp 同时打印信息头和信息尾 2.3.条件操作符: <、<=、==、!=、>=、~匹配正则表达式、!~不匹配正则表达式
正则表达式经典教程
正则表达式是常见常忘，所以还是记下来比较保险，于是就有了这篇笔记。 希望对大家会有所帮助。J 1．什么是正则表达式 简单的说，正则表达式是一种可以用于文字模式匹配和替换的强有力的工具。是由一系列普通字符和特殊字符组成的能明确描述文本字符串的文字匹配模式。 正则表达式并非一门专用语言，但也可以看作是一种语言，它可以让用户通过使用一系列普通字符和特殊字符构建能明确描述文本字符串的匹配模式。除了简单描述这些模式之外，正则表达式解释引擎通常可用于遍历匹配，并使用模式作为分隔符来将字符串解析为子字符串，或以智能方式替换文本或重新设置文本格式。正则表达式为解决与文本处理有关的许多常见任务提供了有效而简捷的方式。 正则表达式具有两种标准： ·基本的正则表达式(BRE – Basic Regular Expressions) ·扩展的正则表达式(ERE – Extended Regular Expressions)。 ERE包括BRE功能和另外其它的概念。 正则表达式目前有两种解释引擎： ·基于字符驱动(text-directed engine) ·基于正则表达式驱动(regex-directed engine) Jeffery Friedl把它们称作DFA和NFA解释引擎。 约定： 为了描述起来方便，在本文中做一些约定： 1. 本文所举例的所有表达时都是基于NFA解释引擎的。 2. 正则表达式，也就是匹配模式，会简写为Regex。 3. Regex的匹配目标，也就是目标字符串，会简写为String。 4. 匹配结果用会用黄色底色标识。 5. 用1\+1=2 括起来的表示这是一个regex。 6. 举例会用以下格式： Regex Target String Description test This is a test 会匹配test，testcase等 2．正则表达式的起源正则表达式的?祖先?可以一直上溯至对人类神经系统如何工作的早期研究。Warren McCulloch 和 Walter Pitts 这两位神经生理学家研究出一种数学方式来描述这些神经网络。 1956 年, 一位叫 Stephen Kleene 的美国数学家在 McCulloch 和 Pitts 早期工作的基础上，发表了一篇标题为?神经网事件的表示法?的论文，引入了正则表达式的概念。正则表达式就是用来描述他称为?正则集的代数?的表达式，因此采用?正则表达式?这个术语。
PHP 常用正则表达式 正则
PHP 常用正则表达式正则 平时做网站经常要用正则表达式，下面是一些讲解和例子，仅供大家参考和修改使用："^\d+$"//非负整数（正整数+ 0） "^[0-9]*[1-9][0-9]*$"//正整数 "^((-\d+)|(0+))$"//非正整数（负整数+ 0） "^-[0-9]*[1-9][0-9]*$"//负整数 "^-?\d+$"//整数 "^\d+(\.\d+)?$"//非负浮点数（正浮点数+ 0） "^(([0-9]+\.[0-9]*[1-9][0-9]*)|([0-9]*[1-9][0-9]*\.[0-9]+)|([0-9]*[1-9][0-9]*))$"//正浮点数"^((-\d+(\.\d+)?)|(0+(\.0+)?))$"//非正浮点数（负浮点数+ 0） "^(-(([0-9]+\.[0-9]*[1-9][0-9]*)|([0-9]*[1-9][0-9]*\.[0-9]+)|([0-9]*[1-9][0-9]*)))$"//负浮点数 "^(-?\d+)(\.\d+)?$"//浮点数 "^[A-Za-z]+$"//由26个英文字母组成的字符串 "^[A-Z]+$"//由26个英文字母的大写组成的字符串 "^[a-z]+$"//由26个英文字母的小写组成的字符串 "^[A-Za-z0-9]+$"//由数字和26个英文字母组成的字符串 "^\w+$"//由数字、26个英文字母或者下划线组成的字符串 "^[\w-]+(\.[\w-]+)*@[\w-]+(\.[\w-]+)+$"//email地址 "^[a-zA-z]+://(\w+(-\w+)*)(\.(\w+(-\w+)*))*(\?\S*)?$"//url /^(d{2}|d{4})-((0([1-9]{1}))|(1[1|2]))-(([0-2]([1-9]{1}))|(3[0|1]))$/ // 年-月-日 /^((0([1-9]{1}))|(1[1|2]))/(([0-2]([1-9]{1}))|(3[0|1]))/(d{2}|d{4})$/ // 月/日/年 "^([w-.]+)@(([[0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}.)|(([w-]+.)+))([a-zA-Z]{2,4}|[0-9]{1,3})(]?)$" //Emil /^((\+?[0-9]{2,4}\-[0-9]{3,4}\-)|([0-9]{3,4}\-))?([0-9]{7,8})(\-[0-9]+)?$/ //电话号码 "^(d{1,2}|1dd|2[0-4]d|25[0-5]).(d{1,2}|1dd|2[0-4]d|25[0-5]).(d{1,2}|1dd|2[0-4]d|25[0-5]).(d{1,2}| 1dd|2[0-4]d|25[0-5])$" //IP地址 匹配中文字符的正则表达式：[\u4e00-\u9fa5] 匹配双字节字符(包括汉字在内)：[^\x00-\xff] 匹配空行的正则表达式：\n[\s| ]*\r 匹配HTML标记的正则表达式：/<(.*)>.*<\/\1>|<(.*) \/>/ 匹配首尾空格的正则表达式：(^\s*)|(\s*$) 匹配Email地址的正则表达式：\w+([-+.]\w+)*@\w+([-.]\w+)*\.\w+([-.]\w+)* 匹配网址URL的正则表达式：^[a-zA-z]+://(\\w+(-\\w+)*)(\\.(\\w+(-\\w+)*))*(\\?\\S*)?$ 匹配帐号是否合法(字母开头，允许5-16字节，允许字母数字下划线)：^[a-zA-Z][a-zA-Z0-9_]{4,15}$ 匹配国内电话号码：(\d{3}-|\d{4}-)?(\d{8}|\d{7})? 匹配腾讯QQ号：^[1-9]*[1-9][0-9]*$ 元字符及其在正则表达式上下文中的行为： \ 将下一个字符标记为一个特殊字符、或一个原义字符、或一个后向引用、或一个八进制转
Excel中使用正则表达式
Excel另类条件化格式 1 前言 我们知道，Excel的条件化格式可以根据单元个的内容来设置整个单元格的格式。如图1中的C列，当单元格的内容为“结束”时，字体颜色为绿色，为“进行中”时，颜色为黄色。但如果我们想把B列的部分特定文字(如日期2012-3-4)设置成不同的字体和颜色， Excel的条件化格式工具是不能实现的，需要另辟蹊径。 图1 2 实现过程 2.1 目标 实现B列单元格中日期字符串的字体设置成“Arial Black”字体，颜色为红色。 2.2 设计思路 Excel的VBA编程功能很强大，可以轻松实现上述目标。程序的设计思路是：找到日期字符串，然后设置字体格式。本例中利用了正则表达式来寻找日期字符串，通过Characters对象的Font属性来设置字符串的格式。 2.3 正则表达式 我们在处理文本时，经常会遇到一些满足某种规则的字符串。比如，一个无符号的整数由一连串的数字构成，本例中的日期是满足“整数-整数-整数”规则的字符串。正则表达式就是用来指定这种规则的。如果某个字符串满足正则表达式指定的规则，则称该字符串为正则表达式的一个“匹配串”。正则表达式中用\d 来匹配单个数字，用\d+来匹配连续的多个数字，这样本例中用"\d+-\d+-\d+"就可以匹配日期字符串。Excel的VBA可以通过引用vbscript中的正则标定式对象"vbscript.regexp"来使用正则表达式。 2.4 Characters函数 语法：Characters(start, length) 参数：Start是指从第几个字符处开始选择，length是要返回的字符数。 返回：Characters对象。用来控件文本中某一范围的字符串。例如，通过Characters对象的Font属性可以设置字符串的字体格式。 2.5程序代码 把FormatClick程序和“更新”按钮的Click事件关联起来，只要点击“更新”按钮就可以更新日期的字体的名称和颜色了。具体程序如下: Sub FormatClick() '声明正则表达式对象 Dim RegEx As Object '引用正则标定式对象 Set RegEx = CreateObject("vbscript.regexp")
正则表达式
多少年来，许多的编程语言和工具都包含对正则表达式的支持，.NET基础类库中包含有一个名字空间和一系列可以充分发挥规则表达式威力的类，而且它们也都与未来的Perl 5中的规则表达式兼容。 此外，regexp类还能够完成一些其他的功能，例如从右至左的结合模式和表达式的编辑等。 在这篇文章中，我将简要地介绍System.Text.RegularExpression中的类和方法、一些字符串匹配和替换的例子以及组结构的详细情况，最后，还会介绍一些你可能会用到的常见的表达式。 应该掌握的基础知识 规则表达式的知识可能是不少编程人员“常学常忘”的知识之一。在这篇文章中，我们将假定你已经掌握了规则表达式的用法，尤其是Perl 5中表达式的用法。.NET的regexp类是Perl 5中表达式的一个超集，因此，从理论上说它将作为一个很好的起点。我们还假设你具有了C#的语法和.NET架构的基本知识。 如果你没有规则表达式方面的知识，我建议你从Perl 5的语法着手开始学习。在规则表达式方面的权威书籍是由杰弗里?弗雷德尔编写的《掌握表达式》一书，对于希望深刻理解表达式的读者，我们强烈建议阅读这本书。 RegularExpression组合体 regexp规则类包含在System.Text.RegularExpressions.dll文件中，在对应用软件进行编译时你必须引用这个文件，例如： csc r:System.Text.RegularExpressions.dll foo.cs 命令将创建foo.exe文件，它就引用了System.Text.RegularExpressions文件。 名字空间简介 在名字空间中仅仅包含着6个类和一个定义，它们是： Capture: 包含一次匹配的结果； CaptureCollection: Capture的序列； Group: 一次组记录的结果，由Capture继承而来； Match: 一次表达式的匹配结果，由Group继承而来； MatchCollection: Match的一个序列； MatchEvaluator: 执行替换操作时使用的代理； Regex: 编译后的表达式的实例。 Regex类中还包含一些静态的方法： Escape: 对字符串中的regex中的转义符进行转义； IsMatch: 如果表达式在字符串中匹配，该方法返回一个布尔值； Match: 返回Match的实例； Matches: 返回一系列的Match的方法； Replace: 用替换字符串替换匹配的表达式； Split: 返回一系列由表达式决定的字符串； Unescape:不对字符串中的转义字符转义。
[VIP专享]经典正则表达式QRegExp的解析
QRegExp正则表达式 2010-03-20 17:00 "^\d+$" //非负整数（正整数 + 0） "^[0-9]*[1-9][0-9]*$" //正整数 "^((-\d+)|(0+))$" //非正整数（负整数 + 0） "^-[0-9]*[1-9][0-9]*$" //负整数 "^-?\d+$" //整数 "^\d+(\.\d+)?$" //非负浮点数（正浮点数 + 0） "^(([0-9]+\.[0-9]*[1-9][0-9]*)|([0-9]*[1-9][0-9]*\.[0-9]+)|([0-9]*[1-9][0-9]*))$" //正浮点数 "^((-\d+(\.\d+)?)|(0+(\.0+)?))$" //非正浮点数（负浮点数 + 0） "^(-(([0-9]+\.[0-9]*[1-9][0-9]*)|([0-9]*[1-9][0-9]*\.[0-9]+)|([0- 9]*[1-9][0-9]*)))$" //负浮点数 "^(-?\d+)(\.\d+)?$" //浮点数 "^[A-Za-z]+$" //由26个英文字母组成的字符串 "^[A-Z]+$" //由26个英文字母的大写组成的字符串 "^[a-z]+$" //由26个英文字母的小写组成的字符串 "^[A-Za-z0-9]+$" //由数字和26个英文字母组成的字符串 "^\w+$" //由数字、26个英文字母或者下划线组成的字符串 "^[\w-]+(\.[\w-]+)*@[\w-]+(\.[\w-]+)+$" //email地址 "^[a-zA-z]+://(\w+(-\w+)*)(\.(\w+(-\w+)*))*(\?\S*)?$" //url "^(d{2}|d{4})-((0([1-9]{1}))|(1[1|2]))-(([0-2]([1-9]{1}))|(3[0|1]))$" // 年-月-日 "^((0([1-9]{1}))|(1[1|2]))/(([0-2]([1-9]{1}))|(3[0|1]))/(d{2}|d{4})$" // 月/日/年 "^([w-.]+)@(([[0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}.)|(([w-]+.)+))([a-zA-Z]{2,4}|[0-9]{1,3})(]?)$" //Email "(d+-)?(d{4}-?d{7}|d{3}-?d{8}|^d{7,8})(-d+)?" //电话号码 "^(d{1,2}|1dd|2[0-4]d|25[0-5]).(d{1,2}|1dd|2[0-4]d|25[0- 5]).(d{1,2}|1dd|2[0-4]d|25[0-5]).(d{1,2}|1dd|2[0-4]d|25[0-5])$" //IP地址 ^([0-9A-F]{2})(-[0-9A-F]{2}){5}$ //MAC地址的正则表达式 ^[-+]?\d+(\.\d+)?$ //值类型正则表达式 QRegExp是Qt的正则表达式类. Qt中有两个不同类的正则表达式. 第一类为元字符.它表示一个或多个常量表达式. 令一类为转义字符,它代表一个特殊字符. 一.元字符 . 匹配任意单个字符.例如, 1.3 可能是1. 后面跟任意字符,再跟3
用正则表达式实现排版助手
用正则表达式实现排版助手（GIDOT TYPESETTER）的部分排版功能 2009年08月06日星期四上午 08:42 副标题：用正则表达式实现段首缩进、修正换行、修正非段落换行、删除行尾空格、删除空行 相信使用过排版助手的人应该都觉得这是一个好软件吧？不过，我对其中的“删除非段落换行”有一个不满的地方 [https://www.sodocs.net/doc/3910126654.html,/gevolution90/blog/item/34cabb7fc2b8710128388ada. html]。于是才引发出这一篇文章。 *如果你还未有在windows下的正则表达式批量替换工具的话，推荐使用TextForever[https://www.sodocs.net/doc/3910126654.html,/stronghorse/software/index.htm#Tex tForever]，很强大的文本整理工具 1.段首缩进： 可以把每行（段）的前面格式化成指定的字符串，比如2个全角空格。 正则：^[ ]*（？=[^\s]） 你可以替换成2个全角空格或4个半角空格或你自己喜欢的任何字符串。 2.修正换行： 有些文章一行紧接着一行，看起来有点不舒服，可以把每段内容段（有文字的段）之间的换行格式化成指定数量的换行比如双换行（两段之间空一行空行）。 正则：[\r\n]+ 你可以替换成2个回车。 3.修正非段落换行： 有点文章很变态的，它从文本内容中实现换行，比如： 第一段的内容，内容，内容 第一段第二行的内容内容内容。 这样的换行，这对于资料的整理有点不利，所以，这个正则就是用来修正这样的换行的，把它们合并成一行，即一个段落。 正则：^（。{25,}[^……“”！！：：？？]）\r\n 替换成：$1 把你认为不是段落结束的标点加入到那个中括号中，大括号中的“25”为作
语法词法生成器
语法词法生成器 一、语法词法生成器Flex 语法扫描器生成器 flex (fast lexical analyser generator) 是Lex的另一个替代品。它经常和自由软件Bison语法分析器生成器一起使用。Flex 最初由Vern Paxson 于1987 年用C语言写成。语法分析生成器JavaCC JavaCC(Java Compiler Compiler) 是一个用JA V A开发的最受欢迎的语法分析生成器。这个分析生成器工具可以读取上下文无关且有着特殊意义的语法并把它转换成可以识别且匹 配该语法的JA VA程序。它还提供JJTree等工具来...语法分析器生成工具YACC 这是一个经典的生成语法分析器的工具，大学的《编译原理》课程里介绍过。词法分析工具ANTLR ANTLR(ANother Tool for Language Recognition)它是Java开发的词法分析工具，它可以接受词文法语言描述,并能产生识别这些语言的语句的程序。作为翻译程序的一部分,你可以使用简单的操作符和动作来参数化你的文法...解析器生成器
Bison GNU bison是一个自由软件，用于自动生成语法分析器程序，实际上可用于所有常见的操作系统。Bison把LALR形式的上下文无关文法描述转换为可做语法分析的C或C++程序。在新近版本中，Bison增加了对GLR语法分析算法的支...词法分析器生成工具Lex 这是一个经典的生成词法分析器的工具语法分析器生成工 具Berkeley Yacc Berkeley Yacc (byacc) 是一个高质量的yacc 变种，其目的是为了避免依赖某个特定的编译器。语法分析生成器JFlex JFlex是一个Java的词法/语法分析生成器。JavaScript解析器Jison JavaScript解析器，Coffee就是使用Jison解析的。Jison 将一个上下文无关语法作为输入，输出对应的JavaScript代码，类似Yacc。词法/语法分析框架chrysanthemum chrysanthemum （中文名“菊花”）是一个由C++写成的小巧
正则表达式在垂直搜索引擎中的应用
作者简介：张斌（1977-），硕士，讲师，研究方向：电子商务专业方向。 收稿日期：2010-05-06 正则表达式在垂直搜索引擎中的应用 张斌 （浙江越秀外国语学院，绍兴312000） 摘要：采用聚焦爬虫可以提高搜索引擎的检索效率，聚焦爬虫经常使用正则表达式来进行有效的信息检索，着重分析了网页检索中常用的正则表达式，为搜索引擎的构建提供帮助。关键词：正则表达式；聚焦爬虫；信息检索中图分类号：TP3 文献标识码：B 文章编码：1672－6251（2010）08－0162－02 Application of Regular Expressions in Vertical Search Engine ZHANG Bin (Zhejiang Yuexiu Foreign Language College,Shaoxing 312000) Abstract:Because focused crawler system can promote the efficiency of search engine and regular expression could used to get quick and efficient search.In this paper,regular expression used in web page index was analyzed for providing useful help for researcher in vertical search engine. Key words:regular expressions;focuses crawler;information retrieval 页面内容提取、分词、自然语言处理是聚焦爬虫的主要工作。在内容提取中采用正则表达可以明显提高效能，已在许多搜索程序中广泛应用。以下列举几个常用的正则表达，并分析其在聚焦爬虫中的应用方法，以供同行参考。 1正则表达式与文档内容提取 正则表达式是一种编程语言中使用的特殊代码模 式，可用其验证、查找、替换与划分文本内容。聚焦爬虫往往通过对主题网页的学习提取主题特征的正则表达式，以指导爬虫过滤与主题不相符的网页文本[4]。正则表达式基本技巧如下： （1）匹配多个字符之一。如匹配拼写错误的fac - tory ，可用:f [ae]ct [ou]ry ； （2）匹配文本行开始与结束。如以c 开始，a 结束，可用:^a.*b$； （3）匹配单词。如找dog ，可用:\bdog\b ； （4）Unicode 字母。如匹配中文，可用:[\u3400- \u4DB5\u4E00-\u9fa5]； （5）分组和捕获。如匹配年月日相同的日期，可用:\b\d\d (\d\d)-\1-\1\b ，其中1表示捕获分组1，即 (\d\d)中的内容，捕获分组可以表示临时存取的区域， 用于引用和替换； （6）重复匹配。完整HTML 文件可用： .*?
.*?TCL+正则表达式参考
正则表达式参考 ——蒋小超 2007-07-23一、介绍 追根溯源，正则表达式是在1956年的时候，人类最早研究神经网络的产物，但随着时间的流逝，几乎所有编程语言都加入了对它的支持，hoho~其实这个东西也是程序员开发中比较有名的一个难点。但是不要以为它只能用于程序开发，在Unix/Linux系统管理中它也有极为广泛的应用。 不要认为正则表达式很可怕，用直白的话来说，正则表达式就是利用26个英文字符与一些特殊符号的配合来进行文字内容比对的方法，绝大部分情况下，26个英文字符都代表它们本身，但在特殊符号的辅助下，这些英文字符也会有其他的含义，正则表达式比较困难的地方，也就在这种字符的2义性上面，这篇文档中对于这种具有字符2义性的地方，都会有专门的标注和说明。 如果用过Dos/Windows/Linux中的通配符，就可以理解正则表达式的作用了，通配符用*号匹配任意多的任意字符，用?号匹配任意的一个字符，正则表达式有更加复杂的一套匹配系统，可以用来匹配几乎所有希望匹配的文字内容。
二、文档约定 本文档中的所有实例，都是在以下环境中调试和运行的： 操作系统： CentOS4.1（Linux 2.6.9-11） 编程语言： TCL8.4文本编辑器： VIM6.3.46文档格式约定：实例的解释性文字，使用华文楷体小四号蓝色字体显示 实例的解释性文字 系统或程序输出，使用浅蓝色底纹表示 特别需要注意和标注的地方，将以笑脸符号专门表示看我可爱吗？ 系统或者程序输出
三、基本正则表达式 正则表达式中，26个英文字符代表它们本身，但是下面表格中的特殊字符则赋予了更多不同的含义，一定要记住它们，因为它们是一切正则表达式的基础 别看基本正则表达式就是这么9个符号，但是想完全理解和用好它们，还是很困难的，为了加深理解，我来详细的说明一下，这也是我自己学习时的理解和心得，请仔细的阅读。 要想完全明白这些符号的作用，必须多方位理解，我大概是根据符号所属的类型以及它们所起的作用这2个方向来理解它们的。