分享一个 Go 实现的小爬虫程序

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

已注册用户请登录

The Go Programming Language

http://golang.org/

Go Projects

Revel Web Framework

这是一个创建于 2753 天前的主题，其中的信息可能已经有所发展或是发生改变。

项目地址：

https://github.com/wusuopubupt/go_spider

适合新手练习，用了 goroutine, channel, select, waitGroup, mutex 做并发

9 条回复 2019-01-02 13:19:52 +08:00

lepig

2018-04-03 16:01:52 +08:00

楼主请教一下新手如何系统点学习 go
看到接口这里有点看不懂了通道还没看。有点迷

wusuopuBUPT

2018-04-03 17:25:28 +08:00

@lepig 多练习吧，通过项目来积累

hzm0318hzm

2018-04-03 17:46:43 +08:00

棒棒的，star 下学习了

wusuopuBUPT

2018-04-03 19:19:43 +08:00

@hzm0318hzm 欢迎拍砖&PR

Norie

2018-04-04 09:16:18 +08:00

2 years ago

lepig

2018-04-09 10:07:51 +08:00

想请教一下学习方法
我是从 main 里面一步一步跟着读。看到项目里用到了各种标准库方法，我现在是看到一个查一个。感觉很慢。
所以想问问是不是应该把标准库的方法大概过一眼后在来看项目呢。

谢谢

wusuopuBUPT

2018-04-09 22:30:35 +08:00

@lepig 建议先有个大概的了解，然后走读代码，会比较容易些

Allianzcortex

2019-01-02 11:59:55 +08:00 via iPhone

感觉加锁意义不大..多个 goroutine 访问同一个网页一开始看就没有几率，并且就算是有影响也很小，不像全局计数器那么不能允许任何误差。要我去写一个无限循环的 reveiver 我应该也是用 select+break 外围 loop 的方式

Allianzcortex

2019-01-02 13:19:52 +08:00 via iPhone

@Allianzcortex 或者保险起见只在 map 读写的时候加锁，整个函数都加锁负担太大了