排序加速--Schwatzian变换及Guttman-Rosler变换"><Perl算法小菜>排序加速--Schwatzian变换及Guttman-Rosler变换

   2023-02-09 学习力0
核心提示:原创博客,转载请联系博主!   perl里的数据都是以双精度为单元存储的,也就是相当于C/Cpp中的double型,而正则的解析是由perl内置的正则引擎完成的,那么除了重写一个属于自己的排序方法之外,我们应该怎么做才能加速perl内置的sort方法呢,在下文中你将

原创博客,转载请联系博主!

 

  perl里的数据都是以双精度为单元存储的,也就是相当于C/Cpp中的double型,而正则的解析是由perl内置的正则引擎完成的,那么除了重写一个属于自己的排序方法之外,我们应该怎么做才能加速perl内置的sort方法呢,在下文中你将学到两种前沿的hack级perl排序:

 

(下面示例中将用到的数据的产生方法如下所示)

my $cnt=0;

my @arr;

while($cnt<1000000){
	
	my $key=rand(100000);
	
	my $val=rand(100000);
	
	my $tmp=$key."#".$val;
	
	push @arr,$tmp;
	
	#print $tmp."\n";
	
	$cnt++;
}

  

(1)Schwatzian变换:

 

使用能起到加速作用的最佳条件:

 

1. sort比较代码块中要进行正则匹配捕获

2. sort比较代码块中要进行解/取引用的操作(尤其是解引用)

 

  Schwatzian变换的加速思路是将可能会重置重叠进行的正则匹配捕获操作和对象的解和取操作,提前使用一次map完成,并且将捕获的结果放入一个匿名数组/哈希引用之中,那么在sort的比较块中我们需要做的就是直接在这个匿名数组/哈希中取出提前捕获好的待比较的数据。示例如下所示:

 

my @sorted2=map{$_->[0]} sort{$a->[1]<=>$b->[1]} map{$_=~/\d+.(\d+)/;[$_,$1];}@arr;

  

(2) Guttman-Rosler变换

 

使用能起到加速作用的最佳条件:

1.sort比较代码中要比较的数据长度越长加速效果越明显

 

Guttman-Rosler变换的思路是用perl中一个特殊的方法pack/unpack,之所以说它特殊,是因为pack/unpack方法是直接由二进制C代码完成的,避开了可能会导致代码速度减慢的perl引擎的数据处理过程。首先具体看一下perl中pack/unpack方法的文档:

 

Pack 与unpack使用说明: pack可视为将一系列的片段的数值打包在一起,可用于对dev档案、socket、memory的读写,因为这些需要一块完整的memory,而且需要事先打包成特定格式,而unpack可以视为将将这些完整的 memory切割计算,取得我们所需要各部分的Variable。



用法:

pack/unpack “format_def_str” , "original_str"

返回值: 正常是一个标量代表一个pack/unpack后的产生的数据

 

其中的格式化串的写法/语法如下:

 

    C     char
    d     double
    f     float
    i     int
    I     unsigned int (or unsigned)
    l     long
    L     unsigned long
    s     short
    S     unsigned short

    a :   用空字符(null)补足的字符串
    A :   用空格补足的字符串
    b :   位串,低位在前
    B :   位串,高位在前
    c :   带符号字符(通常-128~127)
    C :   无符号字符(通常8位)
    d :   双精度浮点数
    f :    单精度浮点数
    h :   十六进制数串,低位在前
    H :   十六进制数串,高位在前
    i :    带符号整数
    I :   无符号整数
    l :    带符号长整数
    L :   无符号长整数
    n :   网络序短整数
    N :   网络序长整数
    p :   字符串指针
    s :   带符号短整数
    S :   无符号短整数
    u :   转化成uuencode格式
    v :   VAX序短整数
    V :   VAX序长整数
    x :   一个空字节
    X :   回退一个字节
    @ :   以空字节(null)填充

 

首先来看一下perl中Guttman-Rosler变换的示例代码:

 

my @sorted3=map{ substr $_,4 } sort map { $_=~/\d+#(\d+)/; pack("A*").$_; } @arr;

  

  这一段代码的作用是这样的,首先将原本数组中的每一个元素都用pack打包成pack后的格式,之后用一个连缀符“.” 将格式化后的串和原本字符串连接起来,之后的sort的比较代码块忽略不写(也不能写,哪怕是$a<=>$b也会报fetal error),至于这一块sort比较块不写的原因我真的也就不清楚了,所以说是hack级的写法,这样排序完之后再取出来连接在后面的原本字符串就完成了整个排序的过程!

 

那么排序的加速结果究竟怎么样呢?我测试的结果是这样的:

<Perl算法小菜>排序加速--Schwatzian变换及Guttman-Rosler变换

其中Schwartzian变换的加速效果会有较大程度的波动,但是Guttman-Rosler变换的加速效果大概稳定在5~20倍左右,所以我更推荐后者

 

 
反对 0举报 0 评论 0
 

免责声明:本文仅代表作者个人观点,与乐学笔记(本网)无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
    本网站有部分内容均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责,若因作品内容、知识产权、版权和其他问题,请及时提供相关证明等材料并与我们留言联系,本网站将在规定时间内给予删除等相关处理.

  • Linux下安装Perl和Perl的DBI模块
    今天在虚拟机测试shell脚本的时候,有些命令使用不了。比如说 mysqlhotcopy ,它提示Perl的版本太低。我用的 RedHat9 的Perl才5.8.0版本。。。(2002年以前的)严重过时。所以重新安装了新版本的 Perl,过程记录如下: 1、在官方网站下载新版本的源码包:http:
    03-16
  • Perl 与Form
    说明事项: 這個範例用來說明如何經由網頁上的HTML form 表單元件來呼叫伺服器端的perl 程式。这个范例用来说明如何经由网页上的HTML form 表单元件来呼叫伺服器端的perl 程式。首先在網頁上設計表單元件,這個範例是設計一個按鈕,其原始碼如下:首先在网页
    02-10
  • Perl学习 perl培训
    http://www.sun126.com/perl5/perl5-1.htm翻译: flamephoenix 第一章 概述一、Perl是什么?二、Perl在哪里?三、运行四、注释一、Perl是什么?  Perl是Practical Extraction and Report Language的缩写,它是由Larry Wall设计的,并由他不断更新和维护,用
    02-10
  • - calm_水手">Perl中的箭头符-> - calm_水手
    Perl中的箭头符-2012-05-21 17:14 calm_水手 阅读(623) 评论(0) 编辑 收藏 举报  有两种用法,都和解引用有关。第一种用法,就是解引用。根据 - 后面跟的符号的不同,解不同类型的引用,-[] 表示解数组引用,-{} 表示解散列引用,-() 表示解子程序引
    02-09
  • Regex in Perl
    Regex in Perl
    regex literal   代表正则文字, 就是 m/regex/ 部分中的 regex, 这部分有自己的解析规则. 用 Perl 的行话就是 "表示正则含义的双引号字符串(regx-aware double-quoted string)", 及处理后传递给正则引擎的结果. 正则文字支持的特性:  1. 变量插值.    
    02-09
  • perl脚本语言学习 perl脚本调用perl脚本
    来公司的第二个星期便看了一下perl语言,发现掌握一门脚本语言还是非常有用的。到现在为止已经入职两个月,用perl脚本做了这些活:1. 修改了公司的一个爬取网页源代码的脚本2. 改进了一个出特征库的脚本,根据svn status的状态,来优化,将只需要添加的DB的数
    02-09
  • Perl模块的安装方法 perl 安装模块
    1. 下载离线安装包 *.tar.gz的形式解包后,#perl Makefile.PL#make#make install2. 在联网的情况下,通过CPAN安装# perl -MCPAN -e shellcpan install PAR::Packer 
    02-09
  • Perl像C一样强大,像awk、sed等脚本描述语言一
    Perl是由Larry Wall设计的,并由他不断更新和维护的编程语言。Perl具有高级语言(如C)的强大能力和灵活性。事实上,你将看到,它的许多特性是从C语言中借用来的。Perl与 脚本语言一样,Perl不需要编译器和链接器来运行代码,你要做的只是写出程序并告诉Perl
    02-09
  • 27-Perl 进程管理
    1.Perl 进程管理Perl 中你可以以不同的方法来创建进程。本教程将讨论一些进程的管理方法。你可以使用特殊变量 $$ 或 $PROCESS_ID 来获取进程 ID。%ENV 哈希存放了父进程,也就是shell中的环境变量,在Perl中可以修改这些变量。exit() 通常用于退出子进程,主
    02-09
  • 在perl中简单的正则匹配 正则匹配或的使用
    (一)、在perl中关于元字符的匹配元字符代表含义点号( .)匹配处换行符以外的任何单字符星号(*)匹配前面的内容零次或多次反斜线屏蔽元字符的特殊含义。\\代表\,\.匹配点号.*匹配所有的字符串加号(+)匹配前一个条目一次以上问号(?)表示前面一个条目可
    02-09
点击排行