精通Python网络爬虫-第一章-什么是网络爬虫

大数据时代，自动高效地获取互联网中感兴趣的信息并为我所用，这是爬虫解决的问题。

通常爬虫分两类，通用网络爬虫和聚焦网络爬虫。前者信息从高质量网页中爬取；后者根据检索和需求定位信息。

1.1 初识网络爬虫

网络爬虫算法：浏览信息的时候制定的规则。

爬虫离我们并不遥远，相反很近很近，每天用到的爬虫结果，如百度蜘蛛，360Spider，Sogouspider，Bingbot。

1.2 为什么学网络爬虫

  • 私人订制搜索引擎，并对采集原理深层次理解。采集信息-存储／处理-在采集回来的信息中检索。有些人的工作是搜索采集特定的信息，效率低下，所以可以考虑多了解一点搜索原理；学完之后，希望我能给出一些帮助。
  • 大数据时代，按目的采集数据源，去掉无关数据（数据清理）。
  • 了解搜索引擎原理，有助SEO。
  • 爬虫工程师人才紧缺。
more >>

展开全文 >>

回归

关于文章的内容和结构

想到什么写什么，平常有什么想法，当时云笔记上记下，回去再扩展扩展，可能不成体系，您就勉强看吧。

通过前几篇的实践，发现无论自己如何小心谨慎，检查好几遍还是会犯错。只能趋于完善，但并非完美。不断学习的过程吧。

说几个事。

买书

关于买书，不要吝啬，该买就买；当然像我这样的穷人，赶上打折季一次囤个够也是可以的，跟人合买能省不少。

more >>

展开全文 >>

写在父亲节

道歉

昨天发的文章格式上有许多不足之处-字体太小、链接失败、对手机屏幕的展示效果认识不足，新手刚上路，望谅解。

父亲节

今天是父亲节，在外面浪了一天，老爸在家里拆屋，打电话只说了京东买冰箱的事情，“父亲节快乐”这句话我还是没有说出口，默默的在心里祝愿老爸身体健康。

在朋友圈看到很多朋友发的祝福语，同时也看到一句话，『你老爸不在朋友圈，在家里。』这位朋友的意思很明白，如果可以的话，多回家看看老爸老妈，多做些让他们高兴的事情，比在朋友圈发多少条祝福语都实在。当然，在朋友圈表达心情也是可以理解的。中国人含蓄，不会直接的表达。例如弟弟在朋友圈说了感谢爸爸的话，看到了也是很感动的。

more >>

展开全文 >>

也谈兴趣

阅读时间：约等于 5 min。

本篇由来

想写一下这个话题，因为最近的两件事。

第一件事，前段妹妹暑假想学画画，叔父电询我的意见，担心暑假不用来补习功课，下学期会掉队。

能学感兴趣的东西是一件很幸福的事情，因此我希望叔父同意。同时也发了信息给妹妹，表达支持，同时劝说不要哭闹，好好跟家人商量，学画画也不能丢下课业（这点我倒不担心）。

普通家庭又非天赋超群的孩子在艺术之路上取得不错的成就，还是鲜有的。

more >>

展开全文 >>

摘抄-把时间当朋友

把时间当作朋友：运用心智获得解放 (李笑来) - 来自 Kindle 伴侣

把时间当作朋友：运用心智获得解放 (李笑来) 125

越是勤奋的人越输不起，越是输不起的人越勤奋

标注 #103-103 2017年1月24日 星期二 上午7:44:41

我自己也是在写作的过程中才清楚地意识到“管理时间”的说法有多么荒谬。人是没办法管理时间的，时间也不听从任何人的管理，它只会自顾自一如既往地流逝。“

标注 #158-159 2017年1月24日 星期二 上午7:53:57
more >>

展开全文 >>

JavaScriptCore使用 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59

//直接执行js代码
- (void)evaluateScript {
    //定义一个js并执行函数
    JSValue *exeFunction1 = [self.jsContext evaluateScript:@"function hi(){ return 'hi' }; hi()"];
    //执行一个闭包js
    JSValue *exeFunction2 = [self.jsContext evaluateScript:@"(function(){ return 'hi' })()"];
    
    //更多的应用场景使用网络或者本地文件加载一段js代码，充分利用其灵活性
    NSString * path = [[NSBundle mainBundle] pathForResource:@"core" ofType:@"js"];
    NSString * html = [NSString stringWithContentsOfFile:path encoding:NSUTF8StringEncoding error:nil];
    JSValue *constructor = [self.jsContext evaluateScript:html];
}

//Native注册方法给js调用
- (void)regiestJSFunction {
    //注册一个函数
    [self.jsContext evaluateScript:@"var hello = function(){ return 'hello' }"];
    //调用
    JSValue *value1 = [self.jsContext evaluateScript:@"hello()"];
    
    //注册一个匿名函数
    JSValue *jsFunction = [self.jsContext evaluateScript:@" (function(){ return 'hello objc' })"];
    //调用
    JSValue *value2 = [jsFunction callWithArguments:nil];
}

//注册js方法给Native调用
- (void)regiestNativeFunction {
    //注册一个objc方法给js调用
    self.jsContext[@"log"] = ^(NSString *msg){
        NSLog(@"js:msg:%@",msg);
    };
    //另一种方式，利用currentArguments获取参数
    self.jsContext[@"log"] = ^() {
        NSArray *args = [JSContext currentArguments];
        for (id obj in args) { NSLog(@"%@",obj); }
    };
    //使用js调用objc
    [self.jsContext evaluateScript:@"native_log('hello,i am js side')"];
}

//注册js错误处理
- (void)jsExceptionHandler {
    self.jsContext.exceptionHandler = ^(JSContext *con, JSValue *exception) {
        NSLog(@"%@", exception);
        con.exception = exception;
    };
}

//JSExprot协议使用
- (void)useJSExprot {
    Person *p = [[Person alloc]init];
    self.jsContext[@"person"] = p;
    
    JSValue *value = [self.jsContext evaluateScript:@"person.whatYouName()"];
    
}

more >>

展开全文 >>

iOS中bundle的使用

将图片文件夹的后缀改名为：xxx.bundle

VC获得bundle中的资源

1
2
3
NSString * bundlePath = [[ NSBundle mainBundle] pathForResource: @ "MyBundle" ofType :@ "bundle"];
NSBundle *resourceBundle = [NSBundle bundleWithPath:bundlePath];
UIViewController *vc = [[UIViewController alloc] initWithNibName:@"vc_name" bundle:resourceBundle];

UIImageView获得bundle中的资源

1
2
3
UIImageView *imgView=[[UIImageView alloc] initWithFrame:CGRectMake(50, 50, 50, 50)];
UIImage *image = [UIImage imageNamed:@"MyBundle.bundle/img_collect_success"];
[imgView setImage:image];

展开全文 >>

iOS绘图

Path:路径

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
//指定当前点为 current point，Quartz会跟踪current point一般执行完一个相关函数后，current point都会相应的改变。
CGContextMoveToPoint (
    CGContextRef c,
    CGFloat x,
    CGFloat y
);

Lines：线
//从当前点 画到点,current point 会变化
void CGContextAddLineToPoint (
    CGContextRef c,
    CGFloat x,
    CGFloat y
);
<!-- more -->

//添加多个路径
void CGContextAddLines (
CGContextRef c,
const CGPoint points[],
size_t count
);

Arcs：弧线

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
void CGContextAddArc (
    CGContextRef c,    
    CGFloat x,             //圆心的x坐标
    CGFloat y,    //圆心的y坐标
    CGFloat radius,   //圆的半径 
    CGFloat startAngle,    //开始弧度
    CGFloat endAngle,   //结束弧度
    int clockwise          //0表示顺时针，1表示逆时针
 );

void CGContextAddArcToPoint(
    CGContextRef c, 
    CGFloat x1,  //端点1的x坐标
    CGFloat y1,  //端点1的y坐标
    CGFloat x2,  //端点2的x坐标
    CGFloat y2,  //端点2的y坐标
    CGFloat radius //半径
)；

Curves 
 三次曲线函数
 void CGContextAddCurveToPoint (
    CGContextRef c,
    CGFloat cp1x, //控制点1 x坐标
    CGFloat cp1y, //控制点1 y坐标
    CGFloat cp2x, //控制点2 x坐标
    CGFloat cp2y, //控制点2 y坐标
    CGFloat x,  //直线的终点 x坐标
    CGFloat y  //直线的终点 y坐标
 );

 二次曲线函数
 void CGContextAddQuadCurveToPoint (
    CGContextRef c,
    CGFloat cpx,  //控制点 x坐标
    CGFloat cpy,  //控制点 y坐标
    CGFloat x,  //直线的终点 x坐标
    CGFloat y  //直线的终点 y坐标
 );

画椭圆，矩形

1
2
3
4
5
6
7
8
9
10
void CGContextAddEllipseInRect (
    CGContextRef context,
    CGRect rect  //一矩形
);

void CGContextAddRect (
    CGContextRef c,
    CGRect rect
);

Path：路径

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
CGContextMoveToPoint设置起点
CGContextClosePath 连接起点和当前点
CGPathCreateMutable 类似于 CGContextBeginPath
CGPathMoveToPoint 类似于 CGContextMoveToPoint
CGPathAddLineToPoint 类似于 CGContextAddLineToPoint
CGPathAddCurveToPoint 类似于 CGContextAddCurveToPoint
CGPathAddEllipseInRect 类似于 CGContextAddEllipseInRect
CGPathAddArc 类似于 CGContextAddArc
CGPathAddRect 类似于 CGContextAddRect
CGPathCloseSubpath 类似于 CGContextClosePath
CGContextAddPath函数把一个路径添加到graphics 

路径填充和描边：
Stroking ：画出路径
Filling ：填充路径的封闭区域

路径和填充的效果
 
//配置样式
//笔触颜色
CGContextSetStrokeColorWithColor(context, [UIColor greenColor].CGColor);
//笔触宽度
CGContextSetLineWidth(context, 20);
//join 拐点样式
//    enum CGLineJoin {
//        kCGLineJoinMiter, //尖的，斜接
//        kCGLineJoinRound, //圆
//        kCGLineJoinBevel //斜面
//    };
CGContextSetLineJoin(context, kCGLineJoinRound);

//Line cap 线的两端的样式
//    enum CGLineCap {
//        kCGLineCapButt,
//        kCGLineCapRound,
//        kCGLineCapSquare
//    };
CGContextSetLineCap(context, kCGLineCapSquare);

//虚线线条样式
CGFloat lengths[] = {10,10};
CGContextSetLineDash(context, 0, lengths, 2);



//路径填充

CGContextStrokePath(ctx); //描出路径
CGContextFillPath(ctx)  使用非零绕数规则填充当前路径
CGContextDrawPath    两个参数决定填充规则，kCGPathFill表示用非零绕数规则，kCGPathEOFill表示用奇偶规则，kCGPathFillStroke表示填充，kCGPathEOFillStroke表示描线，不是填充
CGContextEOFillPath  使用奇偶规则填充当前路径
CGContextFillRect    填充指定的矩形
CGContextFillRects   填充指定的一些矩形
CGContextFillEllipseInRect   填充指定矩形中的椭圆

参考

ios绘图基础
http://liuyanwei.jumppo.com/2015/07/25/ios-draw-base.html

ios绘图demo,做一个涂鸦板(上)
http://liuyanwei.jumppo.com/2015/07/26/ios-draw-Graffiti.html

ios绘图demo,做一个涂鸦板(下)
http://liuyanwei.jumppo.com/2015/09/02/ios-draw-Graffiti-2.html

IOS绘制圆,直线,弧线,矩形,扇形,三角形,贝塞尔等图形:
http://blog.csdn.net/chocolateloveme/article/details/17246887

IOS开发UI篇—Quartz2D使用（绘图路径）
http://www.cnblogs.com/wendingding/p/3782679.html

Paths
http://donbe.blog.163.com/blog/static/138048021201052093633776/

IOS 使用Quartz 2D画虚线
http://blog.csdn.net/zhangao0086/article/details/7234859

展开全文 >>

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia-plus根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true