冲Caffe的Large Margin Softmax Loss的实现(上)

小喵的唠叨话:在形容了上同不行的博客之后,已经过去了2单月之时空,小喵在此期间,做了大气之尝试工作,最终在运的DeepID2的法门后,取得了充分对的结果。这次也,主要讲述一个比较新的舆论中之方式,L-Softmax,据说单model在LFW上会及98.71%底相当错误率。更着重之凡,小喵看这个点子和DeepID2并无冲突,如果双方可以填补,或许单model达到99%+将非是可望。

  转载自:http://114.xixik.com/regex/

 

  正则表达式(英文:Regular Expression)在处理器对中,是靠一个用来
描述还是配合同多样符合某个句法规则的字符串的单个字符串。

再推销一下~

平、常用正则表达式

小喵的博客网址是: http://www.miaoerduo.com

  • 正则表达式用于字符串处理、表单验证等场所,实用高效。现用有些常用的发表
    式收集于斯,以备不时之得。
  • 用户名:/^[a-z0-9_-]{3,16}$/   
  • 密码:/^[a-z0-9_-]{6,18}$/
  • 十六前行制值:/^#?([a-f0-9]{6}|[a-f0-9]{3})$/
  • 电子邮箱:/^([a-z0-9_\.-]+)@([\da-z\.-]+)\.([a-z\.]{2,6})$/
  • URL:/^(https?:\/\/)?([\da-z\.-]+)\.([a-z\.]{2,6})([\/\w
    \.-]*)*\/?$/
  • IP 地址:
    /^(?:(?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.){3}(?:25[0-5]|2[0-4][
    0-9]|[01]?[0-9][0-9]?)$/
  • HTML
    标签:/^<([a-z]+)([^<]+)*(?:>(.*)<\/\1>|\s+\/>)$/
  • Unicode 编码中的方块字范围:/^[u4e00-u9fa5],{0,}$/
  • 匹配中文字符之正则表达式: [\u4e00-\u9fa5]
    • 评注:匹配汉语还当真是独头疼的事,有了这个表达式就吓惩治了
  • 匹配双配节约字符(包括汉字在内):[^\x00-\xff]
    • 评注:可以为此来测算字符串的长度(一个双字节字符长度计 2,ASCII
      字符计 1)
  • 相当配空白行的正则表达式:\n\s*\r
    • 评注:可以为此来删除空白行
  • 相当配 HTML
    标记的正则表达式:<(\S*?)[^>]*>.*?</\1>|<.*?
    />

    • 评注:网上流传的版太糟糕,上面这吧只能够配合有,对于复杂的嵌套标记依旧无法
  • 配合配首尾空白字符的正则表达式:^\s*|\s*$

    • 评注:可以就此来删除行首行尾的空白字符(包括空格、制表符、换页符等等),非
      常有用之表达式
  • 配合 Email 地址的正则表达式:
    \w+([-+.]\w+)*@\w+([-.]\w+)*\.\w+([-.]\w+)*

    • 评注:表单验证时那个实用
  • 匹配网址 URL 的正则表达式:[a-zA-z]+://[^\s]*
    • 评注:网上传的版本效果异常有限,上面这核心可满足急需
  • 配合帐号是否合法(字母开头,允许 5-16 字节,允许字母数字下划线):
    ^[a-zA-Z][a-zA-Z0-9_]{4,15}$

    • 评注:表单验证时老实用
  • 配合国内电话号码:\d{3}-\d{8}|\d{4}-\d{7}
    • 评注:匹配形式而 0511-4405222 或 021-87888822
  • 配合配腾讯 QQ 号:[1-9][0-9]{4,}
    • 评注:腾讯 QQ 号从 10000 开始
  • 匹配中国新大陆邮政编码:[1-9]\d{5}(?!\d)
    • 评注:中国地邮政编码为 6 各类数字
  • 配合身份证:\d{15}|\d{18}
    • 评注:中国地的身份证也 15 位或 18 位
  • 匹配 ip 地址:\d+\.\d+\.\d+\.\d+
    • 评注:提取 ip 地址时有用
  • 匹配特定数字:
    • ^[1-9]\d*$ //匹配正整数
    • ^-[1-9]\d*$ //匹配负整数
    • ^-?[1-9]\d*$  //匹配整数
    • ^[1-9]\d*|0$   //匹配非负整数 (正整数 + 0)   
    • ^-[1-9]\d*|0$  //匹配非正整数(负整数 + 0)
    • ^[1-9]\d*\.\d*|0\.\d*[1-9]\d*$   //匹配正浮点数
    • ^-([1-9]\d*\.\d*|0\.\d*[1-9]\d*)$ //匹配负浮点数
    • ^-?([1-9]\d*\.\d*|0\.\d*[1-9]\d*|0?\.0+|0)$
      //匹配浮点数
    • ^[1-9]\d*\.\d*|0\.\d*[1-9]\d*|0?\.0+|0$
      //匹配非负浮点数(正浮点数 + 0)
    • ^(-([1-9]\d*\.\d*|0\.\d*[1-9]\d*))|0?\.0+|0$
      //匹配非正浮点数(负浮 点数 + 0)
    • 评注:处理大量多少时有用,具体以时注意修正

博客原文:  http://www.miaoerduo.com/deep-learning/基于caffe的large-ma…ftmax-loss的实现(上).html 

 

 

  • 相当特定字符串:

    • ^[A-Za-z]+$  //匹配由 26 个英文字母组成的字符串
    • ^[A-Z]+$      //匹配由 26 个英文字母的非常写组成的字符串
    • ^[a-z]+$       //匹配由 26 只英文字母的略写组成的字符串
    • ^[A-Za-z0-9]+$ //匹配由数字和 26 个英文字母组成的字符串
    • ^\w+$ //匹配由数字、26 个英文字母或者下划线组成的字符串

与达到同首博客一样,小喵对读者做了之类的如果:

  二、表达式全集

  1. 问询Deep Learning的基本知识。
  2. 细心读过L-Softmax的舆论,了解其中的数学推理。
  3. 使Caffe作为教练框架。
  4. 不畏不饱上述3漫漫,也能够始终如一的上学。

  正则表达式有多种不同的品格。下表是以 PCRE
中首家字符及其于正则表达式上下 文中的所作所为之一个完好列表:

L-Softmax的论文:Large-Margin Softmax Loss for Convolutional Neutral
Networks

字符 描述
\ 将下一个字符标记为一个特殊字符、或一个原义字符、或一个向后引用、或一个八进制转义符。例如,“n”匹配字符“n”。“\n”匹配一个换行符。序列“\\”匹配“\”而“\(”则匹配“(”。
^ 匹配输入字符串的开始位置。如果设置了RegExp对象的Multiline属性,^也匹配“\n”或“\r”之后的位置。
$ 匹配输入字符串的结束位置。如果设置了RegExp对象的Multiline属性,$也匹配“\n”或“\r”之前的位置。
* 匹配前面的子表达式零次或多次。例如,zo*能匹配“z”以及“zoo”。*等价于{0,}。
+ 匹配前面的子表达式一次或多次。例如,“zo+”能匹配“zo”以及“zoo”,但不能匹配“z”。+等价于{1,}。
? 匹配前面的子表达式零次或一次。例如,“do(es)?”可以匹配“do”或“does”中的“do”。?等价于{0,1}。
{n} n是一个非负整数。匹配确定的n次。例如,“o{2}”不能匹配“Bob”中的“o”,但是能匹配“food”中的两个o。
{n,} n是一个非负整数。至少匹配n次。例如,“o{2,}”不能匹配“Bob”中的“o”,但能匹配“foooood”中的所有o。“o{1,}”等价于“o+”。“o{0,}”则等价于“o*”。
{n,m} m和n均为非负整数,其中n<=m。最少匹配n次且最多匹配m次。例如,“o{1,3}”将匹配“fooooood”中的前三个o。“o{0,1}”等价于“o?”。请注意在逗号和两个数之间不能有空格。
? 当该字符紧跟在任何一个其他限制符(*,+,?,{n},{n,},{n,m})后面时,匹配模式是非贪婪的。非贪婪模式尽可能少的匹配所搜索的字符串,而默认的贪婪模式则尽可能多的匹配所搜索的字符串。例如,对于字符串“oooo”,“o+?”将匹配单个“o”,而“o+”将匹配所有“o”。
. 匹配除“\n”之外的任何单个字符。要匹配包括“\n”在内的任何字符,请使用像“[.\n]”的模式。
(pattern) 匹配pattern并获取这一匹配。所获取的匹配可以从产生的Matches集合得到,在VBScript中使用SubMatches集合,在JScript中则使用$0…$9属性。要匹配圆括号字符,请使用“\(”或“\)”。
(?:pattern) 匹配pattern但不获取匹配结果,也就是说这是一个非获取匹配,不进行存储供以后使用。这在使用或字符“(|)”来组合一个模式的各个部分是很有用。例如“industr(?:y|ies)”就是一个比“industry|industries”更简略的表达式。
(?=pattern) 正向预查,在任何匹配pattern的字符串开始处匹配查找字符串。这是一个非获取匹配,也就是说,该匹配不需要获取供以后使用。例如,“Windows(?=95|98|NT|2000)”能匹配“Windows2000”中的“Windows”,但不能匹配“Windows3.1”中的“Windows”。预查不消耗字符,也就是说,在一个匹配发生后,在最后一次匹配之后立即开始下一次匹配的搜索,而不是从包含预查的字符之后开始。
(?!pattern) 负向预查,在任何不匹配pattern的字符串开始处匹配查找字符串。这是一个非获取匹配,也就是说,该匹配不需要获取供以后使用。例如“Windows(?!95|98|NT|2000)”能匹配“Windows3.1”中的“Windows”,但不能匹配“Windows2000”中的“Windows”。预查不消耗字符,也就是说,在一个匹配发生后,在最后一次匹配之后立即开始下一次匹配的搜索,而不是从包含预查的字符之后开始
x|y 匹配x或y。例如,“z|food”能匹配“z”或“food”。“(z|f)ood”则匹配“zood”或“food”。
[xyz] 字符集合。匹配所包含的任意一个字符。例如,“[abc]”可以匹配“plain”中的“a”。
[^xyz] 负值字符集合。匹配未包含的任意字符。例如,“[^abc]”可以匹配“plain”中的“p”。
[a-z] 字符范围。匹配指定范围内的任意字符。例如,“[a-z]”可以匹配“a”到“z”范围内的任意小写字母字符。
[^a-z] 负值字符范围。匹配任何不在指定范围内的任意字符。例如,“[^a-z]”可以匹配任何不在“a”到“z”范围内的任意字符。
\b 匹配一个单词边界,也就是指单词和空格间的位置。例如,“er\b”可以匹配“never”中的“er”,但不能匹配“verb”中的“er”。
\B 匹配非单词边界。“er\B”能匹配“verb”中的“er”,但不能匹配“never”中的“er”。
\cx 匹配由x指明的控制字符。例如,\cM匹配一个Control-M或回车符。x的值必须为A-Z或a-z之一。否则,将c视为一个原义的“c”字符。
\d 匹配一个数字字符。等价于[0-9]。
\D 匹配一个非数字字符。等价于[^0-9]。
\f 匹配一个换页符。等价于\x0c和\cL。
\n 匹配一个换行符。等价于\x0a和\cJ。
\r 匹配一个回车符。等价于\x0d和\cM。
\s 匹配任何空白字符,包括空格、制表符、换页符等等。等价于[\f\n\r\t\v]。
\S 匹配任何非空白字符。等价于[^\f\n\r\t\v]。
\t 匹配一个制表符。等价于\x09和\cI。
\v 匹配一个垂直制表符。等价于\x0b和\cK。
\w 匹配包括下划线的任何单词字符。等价于“[A-Za-z0-9_]”。
\W 匹配任何非单词字符。等价于“[^A-Za-z0-9_]”。
\xn 匹配n,其中n为十六进制转义值。十六进制转义值必须为确定的两个数字长。例如,“\x41”匹配“A”。“\x041”则等价于“\x04&1”。正则表达式中可以使用ASCII编码。.
\num 匹配num,其中num是一个正整数。对所获取的匹配的引用。例如,“(.)\1”匹配两个连续的相同字符。
\n 标识一个八进制转义值或一个向后引用。如果\n之前至少n个获取的子表达式,则n为向后引用。否则,如果n为八进制数字(0-7),则n为一个八进制转义值。
\nm 标识一个八进制转义值或一个向后引用。如果\nm之前至少有nm个获得子表达式,则nm为向后引用。如果\nm之前至少有n个获取,则n为一个后跟文字m的向后引用。如果前面的条件都不满足,若n和m均为八进制数字(0-7),则\nm将匹配八进制转义值nm。
\nml 如果n为八进制数字(0-3),且m和l均为八进制数字(0-7),则匹配八进制转义值nml。
\un 匹配n,其中n是一个用四个十六进制数字表示的Unicode字符。例如,\u00A9匹配版权符号(?)。

Google一下,第一漫长应该就是舆论的地址,鉴于大家时刻少,小喵将原文地址也粘出来了,但非保证长期有效。http://jmlr.org/proceedings/papers/v48/liud16.pdf
这里我们也用全系列分几有来讲。

  以下是因 PHP 的语法所描绘的示范

一、margin与lambda

margin和lambda这半只参数是咱们就篇博客的要。也是整篇论文的关键。对于分类的职责,每个样本还见面有N的出口的分数(N的花色),如果在教练中,人为的假设科学类别的得分变多少,也就是说加大了区别正确类别的难度,那么网就是见面念有又发生分别能力的特点,并且加大类间的偏离。作者选用的加大难度的艺术就是是转最后一个FC层中之weight和特征之间的角度值,角度增大的倍数就是margin,从而使特定项目的得分变多少。而第二只参数lambda是以避免网络不毁灭而设定的,我们今后会称到。

为促成者功效,我们需要规划一个初的层,large_margin_inner_product_layer。这个层与一般的inner_product_layer很一般,但是大多矣一定项目削弱的功效。
考虑到之层是来参数的,我们要在caffe.proto(caffe_home/src/caffe/proto/caffe.proto)中做片修改。这里的概念是本protobuf的语法写的,简单的改动要照着其他的参数来改写就哼。
首先定义我们的此层的参数。

 1 message LargeMarginInnerProductParameter {
 2   optional uint32 num_output = 1; // The number of outputs for the layer
 3   optional bool bias_term = 2 [default = true]; // whether to have bias terms
 4   optional FillerParameter weight_filler = 3; // The filler for the weight
 5   optional FillerParameter bias_filler = 4; // The filler for the bias
 6 
 7   // The first axis to be lumped into a single inner product computation;
 8   // all preceding axes are retained in the output.
 9   // May be negative to index from the end (e.g., -1 for the last axis).
10   optional int32 axis = 5 [default = 1];
11   // Specify whether to transpose the weight matrix or not.
12   // If transpose == true, any operations will be performed on the transpose
13   // of the weight matrix. The weight matrix itself is not going to be transposed
14   // but rather the transfer flag of operations will be toggled accordingly.
15   optional bool transpose = 6 [default = false];
16   optional uint32 margin = 7 [default = 1];
17   optional float lambda = 8 [default = 0];
18 }

参数的定义及InnerProductParameter非常相像,只是多矣片只参数margin和lambda。
之后以LayerParameter添加一个可选参数(照在InnerProductParameter写就好)。

optional LargeMarginInnerProductParameter large_margin_inner_product_param = 147;

这时候,喵粉可能那个以了这个147凡怎么回事。其实也,在protobuf被,每个组织中之变量都需要一个id,只要保证不更即可。我们以LayerParameter的极度初步好见见如此一行注释:

证下一个卓有成效之id是147。这里我们新加之参数就决然占用了之id。

修改之后,建议把注释改一下(不要人为的打通坑): LayerParameter next
available layer-specific ID: 148 (last added:
large_margin_inner_product_param)

免以后再新加层的早晚发题目。

工作了,我们不怕得于train_val.prototxt中之所以这种方法使这新层了(具体的使用,后面再说):

 1 layer {
 2   name: "fc2"
 3   type: "LargeMarginInnerProduct"
 4   bottom: "fc1"
 5   bottom: "label"
 6   top: "fc2"
 7   param {
 8     lr_mult: 1
 9     decay_mult: 1
10   }
11   param {
12     lr_mult: 0
13     decay_mult: 0
14   }
15   large_margin_inner_product_param {
16     num_output: 10000
17     margin: 2
18     lambda: 0
19     weight_filler {
20       type: "xavier"
21     }    
22   }
23 }

 

  验证字符串是否只有含有数字与英文,字符串长度并以 4~16 只字符中

仲,运筹帷幄的成员变量

我们正好于caffe.proto中,添加了初参数的概念。而实际,我们尚并未是层的切实落实。这部分,主要介绍我们需要之旋变量。
首先,我们只要清理一切计算的流程。

先期押前馈。

率先步,需要求有W和x的夹角的余弦值:

\[\cos(\theta_j)=\frac{W_j^Tx_i}{\|W_j\|\|x_i\|}\]

亚步,计算m倍角度的余弦值:

\[\cos(m\theta_i)=\sum_n(-1)^n{C_m^{2n}\cos^{m-2n}(\theta_i)\cdot(1-\cos(\theta_i)^2)^n},
(2n\leq m)\]

其三步,计算前馈:

\[f_{y_{i}}=(-1)^k\cdot\|W_{y_{i}}\|\|x_{i}\|\cos(m\theta_i)-2k\cdot\|W_{y_i}\|\|x_i\|\]

k是根据$\cos(\theta)$的取值决定的。

后馈比前馈要复杂一些,不过用的变量也是相同的。
因此我们得编写好之条文件了。

 1 #ifndef CAFFE_LARGE_MARGIN_INNER_PRODUCT_LAYER_HPP_
 2 #define CAFFE_LARGE_MARGIN_INNER_PRODUCT_LAYER_HPP_
 3 
 4 #include <vector>
 5 
 6 #include "caffe/blob.hpp"
 7 #include "caffe/layer.hpp"
 8 #include "caffe/proto/caffe.pb.h"
 9 
10 namespace caffe {
11 
12 template <typename Dtype>
13 class LargeMarginInnerProductLayer : public Layer<Dtype> {
14  public:
15   explicit LargeMarginInnerProductLayer(const LayerParameter& param)
16       : Layer<Dtype>(param) {}
17   virtual void LayerSetUp(const vector<Blob<Dtype>*>& bottom,
18       const vector<Blob<Dtype>*>& top);
19   virtual void Reshape(const vector<Blob<Dtype>*>& bottom,
20       const vector<Blob<Dtype>*>& top);
21 
22   virtual inline const char* type() const { return "LargeMarginInnerProduct"; }
23   // edited by miao
24   // LM_FC层有两个bottom
25   virtual inline int ExactNumBottomBlobs() const { return 2; }
26   // end edited
27   virtual inline int ExactNumTopBlobs() const { return 1; }
28 
29  protected:
30   virtual void Forward_cpu(const vector<Blob<Dtype>*>& bottom,
31       const vector<Blob<Dtype>*>& top);
32   virtual void Forward_gpu(const vector<Blob<Dtype>*>& bottom,
33       const vector<Blob<Dtype>*>& top);
34   virtual void Backward_cpu(const vector<Blob<Dtype>*>& top,
35       const vector<bool>& propagate_down, const vector<Blob<Dtype>*>& bottom);
36   virtual void Backward_gpu(const vector<Blob<Dtype>*>& top,
37       const vector<bool>& propagate_down, const vector<Blob<Dtype>*>& bottom);
38 
39   int M_;
40   int K_;
41   int N_;
42   bool bias_term_;
43   Blob<Dtype> bias_multiplier_;
44   bool transpose_;  ///< if true, assume transposed weights
45 
46   // added by miao
47 
48   // 一些常数
49   Blob<Dtype> cos_theta_bound_;   // 区间边界的cos值
50   Blob<int> k_;                   // 当前角度theta所在的区间的位置
51   Blob<int> C_M_N_;               // 组合数
52   unsigned int margin;            // margin
53   float lambda;                   // lambda
54 
55   Blob<Dtype> wx_;                // wjT * xi
56   Blob<Dtype> abs_w_;             // ||wj|| 
57   Blob<Dtype> abs_x_;             // ||xi||
58   Blob<Dtype> cos_t_;             // cos(theta)
59   Blob<Dtype> cos_mt_;            // cos(margin * theta)
60 
61   Blob<Dtype> dydw_;              // 输出对w的导数
62   Blob<Dtype> dydx_;              // 输出对x的导数
63   // end added
64 };
65 
66 }  // namespace caffe
67 
68 #endif  // CAFFE_LARGE_MARGIN_INNER_PRODUCT_LAYER_HPP_

此主要是复制了inner_product_layer.hpp,然后做了一些改。具体是充实了几乎只分子变量,同时转了ExactNumBottomBlobs的返值,因为咱们的是层磁带bottom需要少单,前同叠的feature和范本的label。

1 <?php
2 
3 $str = 'a1234';
4 if (preg_match("^[a-zA-Z0-9]{4,16}$", $str)) {
5 echo "驗證成功"; } else {
6 
7 echo "驗證失敗"; }
8 
9 ?>

简易的台湾身份证字号验证

1 <?php
2 
3 $str = 'a1234';
4 if (preg_match("/^\w[12]\d{8}$/", $str)) {
5 echo "驗證成功"; } else {
6 
7 echo "驗證失敗"; }
8 
9 ?>

其三、内存和常量的初始化

立马片,主要被咱们的依次成员变量分配内存,同时深受几个常量进行初始化。这里吧是依照在inner_product_layer.cpp来描写的,在setup的时,增加了一些用于初始化的代码,并去了forward_cpu和backwark_cpu的有血有肉落实。

修改之后的代码如下:

  1 #include <vector>
  2 #include <cmath>
  3 
  4 #include "caffe/filler.hpp"
  5 #include "caffe/layers/large_margin_inner_product_layer.hpp"
  6 #include "caffe/util/math_functions.hpp"
  7 
  8 #define PI 3.14159265
  9 
 10 namespace caffe {
 11 
 12 int factorial(int n) {
 13   if (0 == n) return 1;
 14   int f = 1;
 15   while (n) {
 16     f *= n;
 17     -- n;
 18   }
 19   return f;
 20 }
 21 
 22 template <typename Dtype>
 23 void LargeMarginInnerProductLayer<Dtype>::LayerSetUp(const vector<Blob<Dtype>*>& bottom,
 24       const vector<Blob<Dtype>*>& top) {
 25 
 26   const int axis = bottom[0]->CanonicalAxisIndex(
 27       this->layer_param_.large_margin_inner_product_param().axis());
 28   // added by miao
 29   std::vector<int> wx_shape(1);
 30   wx_shape[0] = bottom[0]->shape(0);
 31   this->wx_.Reshape(wx_shape);
 32   this->abs_w_.Reshape(wx_shape);
 33   this->abs_x_.Reshape(wx_shape);
 34   this->k_.Reshape(wx_shape);
 35   this->cos_t_.Reshape(wx_shape);
 36   this->cos_mt_.Reshape(wx_shape);
 37 
 38   std::vector<int> cos_theta_bound_shape(1);
 39   this->margin = static_cast<unsigned int>(this->layer_param_.large_margin_inner_product_param().margin());
 40   cos_theta_bound_shape[0] = this->margin + 1;
 41   this->cos_theta_bound_.Reshape(cos_theta_bound_shape);
 42   for (int k = 0; k <= this->margin; ++ k) {
 43     this->cos_theta_bound_.mutable_cpu_data()[k] = std::cos(PI * k / this->margin);
 44   }
 45   this->C_M_N_.Reshape(cos_theta_bound_shape);
 46   for (int n = 0; n <= this->margin; ++ n) {
 47     this->C_M_N_.mutable_cpu_data()[n] = factorial(this->margin) / factorial(this->margin - n) / factorial(n);
 48   }
 49 
 50   // d size
 51   std::vector<int> d_shape(2);
 52   d_shape[0] = bottom[0]->shape(0);
 53   d_shape[1] = bottom[0]->count(axis);
 54   this->dydw_.Reshape(d_shape);
 55   this->dydx_.Reshape(d_shape);
 56 
 57   this->lambda = this->layer_param_.large_margin_inner_product_param().lambda();
 58   // end added
 59 
 60   transpose_ = false; // 坚决不转置!
 61 
 62   const int num_output = this->layer_param_.large_margin_inner_product_param().num_output();
 63   bias_term_ = this->layer_param_.large_marin_inner_product_param().bias_term();
 64   N_ = num_output;
 65   
 66   // Dimensions starting from "axis" are "flattened" into a single
 67   // length K_ vector. For example, if bottom[0]'s shape is (N, C, H, W),
 68   // and axis == 1, N inner products with dimension CHW are performed.
 69   K_ = bottom[0]->count(axis);
 70   // Check if we need to set up the weights
 71   if (this->blobs_.size() > 0) {
 72     LOG(INFO) << "Skipping parameter initialization";
 73   } else {
 74     if (bias_term_) {
 75       this->blobs_.resize(2);
 76     } else {
 77       this->blobs_.resize(1);
 78     }
 79     // Initialize the weights
 80     vector<int> weight_shape(2);
 81     if (transpose_) {
 82       weight_shape[0] = K_;
 83       weight_shape[1] = N_;
 84     } else {
 85       weight_shape[0] = N_;
 86       weight_shape[1] = K_;
 87     }
 88     this->blobs_[0].reset(new Blob<Dtype>(weight_shape));
 89     // fill the weights
 90     shared_ptr<Filler<Dtype> > weight_filler(GetFiller<Dtype>(
 91         this->layer_param_.large_margin_inner_product_param().weight_filler()));
 92     weight_filler->Fill(this->blobs_[0].get());
 93     // If necessary, intiialize and fill the bias term
 94     if (bias_term_) {
 95       vector<int> bias_shape(1, N_);
 96       this->blobs_[1].reset(new Blob<Dtype>(bias_shape));
 97       shared_ptr<Filler<Dtype> > bias_filler(GetFiller<Dtype>(
 98           this->layer_param_.inner_product_param().bias_filler()));
 99       bias_filler->Fill(this->blobs_[1].get());
100     }   
101 
102   }  // parameter initialization
103   this->param_propagate_down_.resize(this->blobs_.size(), true);
104 }
105 
106 template <typename Dtype>
107 void LargeMarginInnerProductLayer<Dtype>::Reshape(const vector<Blob<Dtype>*>& bottom,
108       const vector<Blob<Dtype>*>& top) {
109   // Figure out the dimensions
110   const int axis = bottom[0]->CanonicalAxisIndex(
111       this->layer_param_.large_margin_inner_product_param().axis());
112   const int new_K = bottom[0]->count(axis);
113   CHECK_EQ(K_, new_K)
114       << "Input size incompatible with large margin inner product parameters.";
115   // The first "axis" dimensions are independent inner products; the total
116   // number of these is M_, the product over these dimensions.
117   M_ = bottom[0]->count(0, axis);
118   // The top shape will be the bottom shape with the flattened axes dropped,
119   // and replaced by a single axis with dimension num_output (N_).
120   vector<int> top_shape = bottom[0]->shape();
121   top_shape.resize(axis + 1);
122   top_shape[axis] = N_;
123   top[0]->Reshape(top_shape);
124 }
125 
126 template <typename Dtype>
127 void LargeMarginInnerProductLayer<Dtype>::Forward_cpu(const vector<Blob<Dtype>*>& bottom,
128     const vector<Blob<Dtype>*>& top) {
129   // not implement
130 }
131 
132 template <typename Dtype>
133 void LargeMarginInnerProductLayer<Dtype>::Backward_cpu(const vector<Blob<Dtype>*>& top,
134     const vector<bool>& propagate_down,
135     const vector<Blob<Dtype>*>& bottom) {
136   // not implement
137 }
138 
139 #ifdef CPU_ONLY
140 STUB_GPU(LargeMarginInnerProductLayer);
141 #endif
142 
143 INSTANTIATE_CLASS(LargeMarginInnerProductLayer);
144 REGISTER_LAYER_CLASS(LargeMarginInnerProduct);
145 
146 }  // namespace caffe

至此,large_margin_inner_product_layer的备选工作就是召开截止了。下一致篇博客,我们来详细的议论前馈的现实贯彻。

 

倘您看本文对君来拉,那请小喵喝杯茶吧O(∩_∩)O
小喵为了写公式,还专门学习了$\LaTeX$。

 

转载请注明出处~

 

以下示例是因此 Perl 语言写的,与地方的演示功能雷同

print $str = “a1234” =~ m:^[a-zA-Z0-9]{4,16}$: ? “COMFIRM” :
“FAILED”;

print $str = “a1234″ =~ m”^\w[12]\d{8}$” ? “COMFIRM” : “INVAILD”;

其三、如何勾勒起大效率的正则表达式

  如果纯粹是为了挑战自己之正则水平,用来贯彻部分特效(例如利用正则表达式
计算质数、解线性方程),效率不是问题;如果所勾画的正则表达式只是以满 足
一两次等、几十不成的周转,优化与否区别吗非绝老。但是,如果所形容的正则表达式
会百万破、千万糟地运转,效率就是殊怪的题材了。我这边总结了几乎修提升正则
表 达式运行效率的经验(工作中学至的,看书学来之,自己之体味),贴在及时
里。如果你发出其它的经验而这里没有提及,欢迎赐教。

 为行文方便,先定义两个概念。

  误匹配:指正则表达式所匹配的始末范围超了所要限制,有些公文明明不符
合要求,但是让所写的正则式“击中了”。例如,如果使用\d{11}来配合配 11 位
的手机号,\d{11}不单能匹配正确的手机号,它还见面配合配 98765432100 这样的明
显不是手机号的字符串。我们将如此的匹配称之邪无心匹配。

  漏匹配:指正则表达式所匹配的情所确定之限定最狭隘,有些公文确实是所用
要的,但是所写的正则没有拿这种状态包括在内。例如,使用\d{18}来配合配 18
位的身份证号码,就见面挂一漏万结尾是许母 X 的情。

  写来同长达正则表达式,既可能只出现误匹配(条件写得无比宽松,其范围超目标
文本),也或独自现出渗漏匹配(只描述了靶文本中强情形种的一致种植),还可
能既出无意匹配又闹漏匹配。例如,使用\w+\.com 来配合配.com 结尾的域名,既会
误匹配 abc_.com 这样的字串(合法的域名中未带有下划线,\w 包含了下划线这种
情况),又会落 ab-c.com 这样的域名(合法域名被而因含有被写道,但是\w 不
匹配中写道)。

  精准的正则表达式意味着既是无误匹配且无漏匹配。当然,现实中设有这么的状:
只能观个别数量之公文,根据这些文件写规则,但是这些规则以会晤因此到海 量
的文书中。这种状况下,尽可能地(如果非是意地)消除误匹配与漏匹配,
并提升运作效率,就是我们的对象。本文所提出的经验,主要是针对性这种景象。

  掌握语法细节。正则表达式在各种语言中,其语法大致相同,细节各出千秋。明
确所利用语言的正则的语法的底细,是摹写来正确、高效正则表达式的根基。例如,
perl 中及\w 等效的相当范围是[a-zA-Z0-9_];perl
正则式不支持肯定逆序环视 中动用可变的双重(variable repetition inside
lookbehind,例如 (?<=.*)abc),但是.Net
语法是支撑即时无异于表征的;又要,JavaScript 连逆序环
视(Lookbehind,如(?<=ab)c) 都未支持,而 perl 和 python
是支撑之。《精通 正则表达式》第 3
章《正则表达式的特性以及门户概览》明确地排有了各大山头正
则的异同,这首文章为简要 地排列有了几乎种常用语言、工具被正好则的于。对于
具体使用者而言,至少该详细了解在利用的那种工作语言里正则的语法细
节。

  先小后精,先加后减。使用正则表达式语法对于目标文本进行描述和范围,可以
像画素描一样,先盖勾勒出框架,再慢慢以局步实现细节葡京赌场网址。仍举刚才底无绳电话机号
的事例,先界定\d{11},总不会见错;再细化为 1[358]\d{9}, 就于前面迈出了同等死
步(至于第二位是勿是
3、5、8,这里无意深究,只举这样一个例,说明逐步细化的历程)。这样做的目的是预先祛除漏匹配(刚开先行尽可能多
地兼容,做
加法),然后重新一点一点地铲除误匹配(做减法)。这样有先有后,在考虑时才
不易出错,从而为“不误不渗透”这个目标奋进。

  留有后路。所能够来看底公文 sample
是少的,而需匹配检验的公文是海量的,
暂时不可见的。对于如此的情况,在描写正则发表 式时如果跳出所能够望的文书的
圈子,开拓思路,作出“战略性前瞻”。例如,经常收到这么的废料短信:“发
*票”、“发#流产”。如果如写规则屏蔽这样烦人的垃 圾短信,不但要能写来可
以相当当前文件的正则表达式 发[*#](?:票|漂),还要能够想到
发.(?:票|漂|
飘)之类可能出现的“变种”。这当实际的天地可能会来针对的规则,不多言。
这样做的目的是解除漏匹配,延长正则表达式的生命周期。

  明确。具体说来,就是当心用点号这样的元字符,尽可能不用星号和加号这样的
任意量词。只要能确 定范围之,例如\w,就不要因此点号;只要能预测还次
数的,就绝不因此任意量词。例如,写析取 twitter 信之本子,假要同一修信息之
xml 正文部分了 构是<span
class=”msg”>…</span>且正文中管尖括号,那么 <span
class=”msg”>[^<]{1,480}</span>这种写法的笔触使好为<span
class=”msg”>.*</span>,原因有次:一凡是用[^<],它保证了文本的限量未
会超出下一个低于号所当的职;二凡是判长度限制,{1,480},其根据是同一长条
twitter 消息大致会之字符长度限制。当然,480 这个长度是否科学还而推敲,
但是这种思路是值得借鉴之。说得狠一点,“滥用点号、星号和加号是勿环保、
不负责任的做法”。

  不要让谷草压死骆驼。每使用一个屡见不鲜括号()而非是勿捕获型括号(?:…),就见面
保留部分内存等着你还访问。这样的正则表达式、无限次地运转次数,无异
于同一完完全全根稻草的堆加,终于会用骆驼压死。养成合理施用(?:…)括号的习惯。

  宁简勿繁。将一如既往久复杂的正则表达式拆分为零星长条或多长简单的正则表达式,编程
难度会下降,运行效率会提升。例如用来清除行首和行尾空白字符的正则表达式
s/^\s+|\s+$//g;,其运作效率理论及而小于 s/^\s+//g; s/\s+$//g;
。这个例
子出自《精通正则表达式》第五章,书被对它们的品是“它几乎连接最抢之,而
且显然太易懂”。既快并且易于了解,何乐而不为?工作中我们尚闹外的理
由而用 C==(A|B)这 样的正则表达式拆吗 A 和 B 片修表达式分别行。例如,虽
然 A 和 B 这片栽状况如果发生雷同栽能拍中所要之文件模式就是见面成匹配,但是
如果只要发生相同便条表达式 (例如 A)会来误匹配,那么不论其它的子表达式
(例如 B)效率如何的大,范围如何精准,C 的完全精准度也会盖 A 而受震慑。

  巧妙定位。有时候,我们需要相当的 the,是作单词的 the(两限有空格),
而无是作单词一部分的 t-h-e 的平稳排列(例如 together 中之 the)。在适
当的下用上^,$,\b 等等定位锚点,能行提升找到成功匹配、淘汰不成功
匹配的频率。