PGO前瞻
原文在这里。
(相关资料图)
原文发布于2023年2月8日
在构建Go二进制文件时,Go编译器会进行优化,以尽可能生成性能最佳的二进制文件。例如,常量传播可以在编译时对常量表达式进行求值,避免了运行时的计算开销;逃逸分析可以避免对局部作用域对象进行堆分配,从而减少了垃圾回收的负担;内联则将简单函数的代码体复制到调用处,通常能够进一步优化调用处的代码(例如额外的常量传播或更好的逃逸分析)。
Go在发布的每个版本中都会改进优化,但这并不总是一项容易的任务。某些优化是可调节的,但编译器不能对每个函数都进行过度激进的优化,因为过于激进的优化实际上可能会损害性能或导致过长的构建时间。其他优化要求编译器对函数中的“常见”和“不常见”路径进行判断。编译器必须根据静态启发式规则进行最佳猜测,因为它无法在运行时知道哪些情况将是常见的。
但现在编译器可以在运行时知道哪些情况是常见的了。
在没有关于代码在生产环境中如何使用的确切信息的情况下,编译器只能对包的源代码进行操作。但是我们确实有一种工具来评估生产行为:性能分析。如果我们向编译器提供一个性能分析文件,它就可以做出更明智的决策:对最常用的函数进行更积极的优化,或更准确地选择常见情况。
使用应用程序行为的性能分析文件进行编译器优化的方法被称为基于性能分析的优化(Profile-Guided Optimization,简称PGO,也被称为反馈导向优化(Feedback-Directed Optimization,简称FDO))。
PGO/FDO通过收集和分析运行时的性能数据,使得编译器能够更准确地了解代码的执行特性,从而进行更精细的优化。通过结合静态分析和动态运行时数据,PGO/FDO可以产生更优化的代码,提高程序的性能和效率。这种技术在提高大型复杂应用程序的性能方面非常有用,特别是对于高度频繁执行的代码路径进行优化。
Go 1.20中包含了PGO的初步支持,作为预览版本提供。请参阅profile-guided optimization user guide以获取完整的文档。尽管距离在生产环境中使用还有一段距离,但仍希望大家在工作中使用,并反馈遇到的问题或意见。
示例
以Markdown转HTML服务为例:用户通过/render
上传Markdown文件,然后接收转换后的HTML文件。这里使用gitlab.com/golang-commonmark/markdown。
创建项目
$ go mod init example.com/markdown $ go get gitlab.com/golang-commonmark/markdown
main.go
内容:
package mainimport ("bytes""io""log""net/http"_ "net/http/pprof""gitlab.com/golang-commonmark/markdown")func render(w http.ResponseWriter, r *http.Request) {if r.Method != "POST" {http.Error(w, "Only POST allowed", http.StatusMethodNotAllowed)return}src, err := io.ReadAll(r.Body)if err != nil {log.Printf("error reading body: %v", err)http.Error(w, "Internal Server Error", http.StatusInternalServerError)return}md := markdown.New(markdown.XHTMLOutput(true),markdown.Typographer(true),markdown.Linkify(true),markdown.Tables(true),)var buf bytes.Bufferif err := md.Render(&buf, src); err != nil {log.Printf("error converting markdown: %v", err)http.Error(w, "Malformed markdown", http.StatusBadRequest)return}if _, err := io.Copy(w, &buf); err != nil {log.Printf("error writing response: %v", err)http.Error(w, "Internal Server Error", http.StatusInternalServerError)return}}func main() {http.HandleFunc("/render", render)log.Printf("Serving on port 8080...")log.Fatal(http.ListenAndServe(":8080", nil))}
启动服务:
$ go build -o markdown.nopgo$ ./markdown.nopgo2023/06/25 11:27:13 Serving on port 8080...
使用Go项目的README来进行测试:
$ curl -o README.md -L "https://raw.githubusercontent.com/golang/go/c16c2c49e2fa98ae551fc6335215fadd62d33542/README.md" $ curl --data-binary @README.md http://localhost:8080/render The Go Programming Language
Go is an open source programming language that makes it easy to build simple,reliable, and efficient software.
... Note that the Go project uses the issue tracker for bug reports andproposals only. See https://go.dev/wiki/Questions for a list ofplaces to ask questions about the Go language.
性能分析
现在我们来采集一个profile文件,再使用PGO来重新构建服务,看看性能能提升多少。
在main.go
中,我们导入了net/http/pprof
包,它会自动为服务器添加一个/debug/pprof/profile
地址,用于获取CPU分析数据。
通常情况下,我们都是从生产环境中收集性能分析数据,以便编译器能够获取在实际生产环境中的行为情况。但这个示例没有一个真实的“生产”环境,我们将创建一个简单的程序来生成负载,同时收集性能分析数据。将该程序的源码复制到load/main.go
,并启动负载生成器(确保服务器仍在运行!)。
$ go run example.com/markdown/load
下载性能分析文件:
$ curl -o cpu.pprof "http://localhost:8080/debug/pprof/profile?seconds=30"
下载完成后,关闭服务。
启用PGO
我们可以使用go build
命令的-pgo
标志要求Go工具链使用PGO进行构建。-pgo
标志可以接受以下两种参数:
- 指定要使用的性能分析文件的路径
- 使用"auto",它将使用主包目录中的default.pgo文件
我们建议将default.pgo
性能分析文件提交到你的代码仓库中。将性能分析文件与源代码放在一起,可以确保用户只需获取代码仓库(无论是通过版本控制系统还是通过go get
命令),就能自动获得性能分析文件,并且构建过程仍然可重现。在Go 1.20中,默认的-pgo
选项是off
,因此用户仍需要添加-pgo=auto
选项,但预计将来的Go版本将把默认值改为-pgo=auto
,这样任何构建该二进制文件的人都将获得PGO的好处。
构建:
$ mv cpu.pprof default.pgo$ go build -pgo=auto -o markdown.withpgo
性能对比
我们将使用一个基于Go的基准测试版本的负载生成器来评估PGO对性能的影响。将这个基准测试的代码复制到load/bench_test.go文件中。
首先没有使用PGO的情况下进行测试:
$ ./markdown.nopgo
进行测试:
$ go test example.com/markdown/load -bench=. -count=100 -source ../README.md > nopgo.txt
然后启用PGO:
$ ./markdown.withpgo
进行测试:
$ go test example.com/markdown/load -bench=. -count=100 -source ../README.md > withpgo.txt
运行结束后进行结果对比:
$ go install golang.org/x/perf/cmd/benchstat@latest $ benchstat nopgo.txt withpgo.txtgoos: linuxgoarch: amd64pkg: example.com/markdown/loadcpu: Intel(R) Core(TM) i7-6700HQ CPU @ 2.60GHz │ nopgo.txt │ withpgo.txt │ │ sec/op │ sec/op vs base │Load-8 445.1µ ± 4% 408.6µ ± 2% -8.21% (p=0.000 n=100)
新版本大约快了8.2%!在Go 1.20
中,通过启用PGO,可以获得2%到4%的CPU使用率提升。性能分析文件包含了关于应用程序行为的丰富信息,而Go 1.20
仅仅开始利用这些信息进行内联优化。未来的发布版本将继续改进性能,因为编译器的更多部分将利用PGO带来的好处。
原文中效率提升了2.6%
文中的代码可以在这里找到。
声明:本作品采用署名-非商业性使用-相同方式共享 4.0 国际 (CC BY-NC-SA 4.0)进行许可,使用时请注明出处。Author: mengbinblog: mengbinGithub: mengbin92cnblogs: 恋水无意
关键词:
相关阅读
-
PGO前瞻
原文在[这里](https: go dev blog pgo-preview)。>原文发布于2023年2 -
苍穹巨灵·大别山篇
大别山自西北向东南横卧于我国中部它是长江和淮河的分水岭山南麓的水流 -
石油土豪79亿投资蔚来,腾讯从中套现26亿
蔚来抱上中东土豪大腿!6月20日,阿布扎比投资机构CYVNHoldings和蔚来 -
每日信息:端午假期北京市公园纳客326万人次
中工网讯(工人日报-中工网记者徐新星)记者从北京市园林绿化局获悉,6 -
环球微速讯:中国忍痛放弃!FIFA规定世...
足球报消息,在国际足联决定首届新版世俱杯的过程中,其实率先和中国方 -
「 爱车空间 」岚图梦想家荣获2023全...
2023全国智能驾驶测试赛(长三角赛区)于日前在浙江省湖州市德清县举办
精彩放送
-
PGO前瞻
原文在[这里](https: go dev blog pgo-preview)。>原文发布于2023年2 -
苍穹巨灵·大别山篇
大别山自西北向东南横卧于我国中部它是长江和淮河的分水岭山南麓的水流 -
石油土豪79亿投资蔚来,腾讯从中套现26亿
蔚来抱上中东土豪大腿!6月20日,阿布扎比投资机构CYVNHoldings和蔚来 -
每日信息:端午假期北京市公园纳客326万人次
中工网讯(工人日报-中工网记者徐新星)记者从北京市园林绿化局获悉,6 -
环球微速讯:中国忍痛放弃!FIFA规定世...
足球报消息,在国际足联决定首届新版世俱杯的过程中,其实率先和中国方 -
「 爱车空间 」岚图梦想家荣获2023全...
2023全国智能驾驶测试赛(长三角赛区)于日前在浙江省湖州市德清县举办 -
全球消息!今日pd950钯金回收价格查询(...
今日pd950钯金多少钱一克回收价格(2023年06月25日)每日更新 -
球探:文-贝克二世将代表雄鹿出战夏联 ...
球探:文-贝克二世将代表雄鹿出战夏联其父曾在NBA征战过13年,夏联,雄鹿 -
蔚来 ES8 配置升级:签名版车型起售价...
蔚来汽车宣布全新ES8车型配置再次升级,新增智能车载冰箱及22英寸锻造 -
天天微动态丨端午节期间日均132.1万人次...
中新网6月25日电据国家移民管理局25日消息,2023年端午节期间全国边检