Mickir的魔法笔记

北京博物馆通票——西藏文化博物馆+奥运博物馆

Mon, 15 Jul 2024 21:29:18 +0800

西藏文化博物馆

在四环路上，距离还挺近的。也是免费的博物馆，但是进去强制存包，也没看到想要看到的比较猎奇的内容，感觉不太值得。

蜡像太真了，让人吓一跳。

有风格的。

好涩

活佛转世要中央批准，还能找到的转世灵童中央不认，重新转世的说法。

还真会考验转世正确与否的。

馆里还有另一个展来着，这书法还有点意思。

和我想看的东西沾点边的，以前藏传佛教还是呃呃啊。

奥运博物馆

撞上五月天演唱会了，但是还好虽然鸟巢入场那边查得严，这边博物馆还是能进的。还有一群老外旅行团来看。

逛完发现我走反了，应该从左边开始绕，我直接右拐了。结果就是完全倒序看展了。

很多体感游戏，体验器材啥的，遛娃好去处。我也想玩，没好意思跟小朋友们抢

奥运奖牌。

回来才发现照片没拍几张。其实还不错的，尤其还有游戏玩。

北京博物馆通票——紫檀博物馆、科举匾额博物馆

Thu, 11 Jul 2024 22:21:15 +0800

下雨天。跟着公司团建到了通惠河边，在这儿转了俩博物馆。

紫檀博物馆

博物馆门票价 50 块（也可能涨价了，60 了？）通票可以免票一次。

整个博物馆都是馆长陈丽华的私产，之后百度了下，感觉不好评。她是满族正黄旗人。馆里还有一个巨大的陈列各种捐赠证书等等东西的区域。

博物馆里有包括紫檀、黄花梨、乌木等等各种木制家具、雕刻艺术品。

金柜

皇位，二楼还有复刻的养心殿。

最近她做了一个用紫檀等木材复刻老北京旧城门的计划，貌似已经完成了。结合百度百科她发家路上就从北京拆迁开始的，emmm，很难评。

天安门

她还是肖像爱好者，馆里墙上到处挂着她的肖像，基本都是别人送的。

有宫崎骏《你想活出怎样的人生》里那只鸟的神韵。

这几进的屋子

巨型西游记根雕作品，内容丰富，值得仔细看。

这是？

馆里还有各种巨构，清明上河图复刻到很多个木画屏上，巨大的城门、四合院，天坛祈年殿啥的。

她后来老公是迟重瑞。这儿有个悟空。

小结：东西还是好的

北京励志堂科举匾额博物馆

门口躺着块碑

票价 40，通票也免票一次。正门进去有个感应门铃，甚至没有专人售票啥的。过来的是个讲解员，给热情讲了几分钟，突然说他是收费的，只好自己看了。听他讲了两个东西，一个是院子里有个李莲英的碑，据说很少见；一个是金朝科举门，一般都叫“龙门”、“禹门”，金朝人就叫科举门，结果这成了稀有文物。

馆里东西确实不少，各种各样的匾额排排放着，也没啥保护措施，感觉可能来的人也不多吧。

贡院，里头考生住的地方很小，一平米多一点。

貌似这儿还上课

小学生（没考中）水平的八股文？就是废话文学。

比较喜欢的一块匾

小结：东西很多，到处是各种匾额，但是吸引人的东西不多。展出的水平也不太行。

北京博物馆通票——园林博物馆

Thu, 20 Jun 2024 23:47:05 +0800

园林博物馆

好远，实际上是园博园扣了一块建的博物馆。直接现场预约或者带身份证就能进，免费的。人没有很多，但是旁边的园博园停车都是个大问题。
博物馆分室内和室外部分，室内部分主要是园林的历史发展、北京的园林、外国园林介绍，还有复刻的苏州畅园、广州余荫山房、扬州片石山房。
室内部分乏善可陈，就是锅碗瓢盆和各种瓦当、石砖、山水园林画，还很多复制品、仿制品。

秦代一块铭文砖写的“海内皆臣，岁登成熟，道毋饥人”，汉代的铭文砖就写“海内皆臣，岁登成熟，道毋饥人，践此万岁”，果然汉承秦制啊！
还展了一桌石头的盛宴

复刻的南方园林都在室内，罩着玻璃，但是各种树木竹子还是状态不好，各种黄叶，可能刚过冬的影响？
余荫山房

鸟瞰畅园

花和假山

室内部分虽然差点意思，室外还是很棒的，毕竟是春天嘛！很多花开着，珊珊可爱。
一棵开花的树

贴梗海棠

后面还有个小山，山顶有棵樱花树，可惜樱花都谢了。

小结：春天来还不错，园博园逛完了可以来园林博物馆啊~海棠确实好看，路上看到颜色高级的花，几乎就是海棠。

博物馆通票地图

Mon, 17 Jun 2024 13:33:02 +0800

北京博物馆通票——工艺美术博物馆（非物质文化遗产馆）、国家动物博物馆

Thu, 13 Jun 2024 22:42:25 +0800

中国工艺美术馆——非物质文化遗产馆

在奥森东面，和党史展览馆共享同一个大广场（但是全被那边占了），也是直接现场预约现场进，刷身份证或者刷码就行。

基本都是现代工艺品，现代非物质文化遗产工艺品。就感觉里面礼品店卖的东西和展出的东西差不太多。

奥特曼

玉雕

水晶菩萨

牙雕

牙雕和骨雕的区别是，牙雕可以有很细的细丝，骨雕、木雕等等就做不出来。

瓷器

石雕

独山玉雕

衣服

国潮进口棒棒糖…

小结：展馆很大，很多层，但是好几层都完全不开或者没啥东西。都是现代工艺品。

国家动物博物馆

免票一次。里面非常非常多动物标本，各种哺乳动物摆了一大片，各种鸟类摆了好几墙，各种蝴蝶、蛾子、甲虫摆了好几墙。

猫科

犬科

鹿们

鸟们，这样的好几面墙。鸦科、鸡鸭鹅雁对比起来都好大。

蝴蝶

天牛

小结：建议现场看。对爱好者来说应该大饱眼福。感觉我走马观花地看有点暴殄天物了。

北京博物馆通票——北京工艺美术博物馆

Tue, 04 Jun 2024 23:03:49 +0800

北京工艺美术博物馆

在新奥购物中心对面，拿着年卡获得了儿童票的折扣，￥59。送了个手工小礼包，给小孩用的。

在展的是北京的各种工艺，玉雕、牙雕、景泰蓝、雕漆。
牙雕

玉雕

很有匠心的济公

雕漆

蝈蝈

超大的旧北京和新北京，非常值得细看

教员

大鼎

超巨大牙雕，《九州欢腾》

小结：看到这么多牙雕感觉值回票价了。还有很多雕漆、景泰蓝、玉雕以及金属花丝镶嵌的首饰啥的。仔细看的话不是很亏。（感兴趣的同学可以报考北京工艺美术高级技工学校😄，上面那个《九州欢腾》就是现代做的。）另外，博物馆空间虽然不大，人更少。全程只有一对母女在手工区域做手工。整个博物馆几乎就是我独享的，这个感觉很好。

北京博物馆通票——古观象台、海关博物馆

Fri, 31 May 2024 00:12:24 +0800

北京古观象台

建国门立交桥西南，明朝开建的，原来是个城墙角楼。

一些仪器

就是一些兼具美感和实用性的仪器吧，包括什么赤道经纬仪、黄道经纬仪、玑衡抚辰仪、地平纬仪、地平经仪、天体仪等等。可惜不能实操一下，体会一下具体原理。
下面院子里还有别的仪器，要不就是日晷、圭表这种一眼能看明白的，要不就是浑天仪、简仪这种看不太明白的。
楼下紫薇殿里也有些展览。原来很久以前的古人就能看到太阳黑子了，怀疑所谓的金乌，实际上就是人们对太阳黑子的一种想象。还有水运仪象台的模型，北宋发明的三层楼高的齿轮传动结构，看着模型还是挺震撼的。
水运仪象台模型

蹭了下给小学生讲解圭表日晷的讲解。

中国海关博物馆

从观象台出来拐个弯就到了，很近。
逛之前没啥太大期待的，逛之后只能说非常超值，非常值得一去！

刷身份证免票，但是没带身份证也可以旁边登记个姓名就能进（是的，只登记姓名）。开头是各种博物馆惯例的历史介绍，从春秋战国时期的通关凭证开始，第一次见到了字不好看的古代资料。不过这都不关键，海关的历史好像没啥有趣的地方，还是海关的现在更有趣。其中让人不虚此行的，有海关缉私查出来的各种走私品、各国赠送给海关的礼物和海关 902艇！

早就在应用的夹带技术

海关查获的的孔子鸟化石

查获的危险植物（才知道有假高粱等等植物存在）

中华枯叶蝶

各种动物标本

以及牙雕

巨大的牙雕

精细的牙雕

彩色的牙雕

皮草

熊皮

雪豹

等等

虎皮

文物

海关战士的离婚信，“最后，祝你幸福。…是真心的”

各国送给海关的礼物（选了两个好看的）

出博物馆右拐就是海关 902 艇的展厅

服役 20 年来，“海关 902”艇先后查获 1000 多起海上走私案件，总案值达 3.5 亿元，是一艘战功卓著的“英雄艇”；它先后接送邓小平、江泽民、杨尚昆、万里、习仲勋、李鹏、乔石等党和国家领导人 45 次，为党中央、国务院领导同志视察特区工作、指导改革开放，作出独有的贡献，是一艘荣誉等身的“光荣艇”；1992 年 1 月 23 日，邓小平同志乘坐该艇从深圳前往珠海，在 45 分钟的航程中发表了著名的南方谈话的一部分，为改革开放指明了前进的方向，该艇因而铸入了中华民族伟大复兴的光辉史诗，成为见证历史的“功勋艇”。

下面全是水，里面湿度很大。这个艇还能上去
餐厅

船屁股

小结非常值得一去的博物馆，而且还免费，看起来不用预约。在里面逛的时候，还有一些小学生在讲解~

北京博物馆通票——石刻艺术博物馆

Mon, 27 May 2024 00:07:58 +0800

作为本格宅男，2023 年除了公司团建，周末节假日几乎没出过门，一般周末两天时间手环不超过一百步。所以前些日子买了一本《北京博物馆通票》，希望可以靠“不去看就亏了”的心理督促我自己在周末多出门看看，呼吸下新鲜空气。

基本去哪看啥都是心血来潮，也没提前做啥作业。反正免票额度一般都是俩人的，我又单身，碰到喜欢的可以后面再去一趟

北京石刻艺术博物馆（五塔寺）

24 年 3 月 3 号来的。中间路过了一个看起来像胡同的胡同——大慧寺南路，应该是没开发成景区也没拆迁的胡同？

正门

这个博物馆原来是真定寺，清朝的时候避讳雍正胤禛改成了正定寺，因为现在里头属于寺的东西只剩下个金刚宝座了，这宝座有五个尖，所以现在又叫五塔寺。位置在北京动物园西北角。

门票 20 块，通票免费。
主要看点就是那个金刚宝座，宝座可以进，里面正对着是释迦摩尼，东边是药师佛，西边是燃灯佛，但是燃灯早就丢了，现在摆的是十世班禅捐赠的。（回来查了一下又不太对，说是里面有 4 个佛，难道我少看了一个佛？少看了个阿弥陀佛？）
其他的石刻啥的都是别的地方搬过来的，有别人墓碑搬过来的，有各种敕建重修的碑记搬过来的，还有坟里用的各种石刻搬过来的；有一些书法碑文，看到有人在拍照，应该是书法爱好者吧？
另外的看点是这里很多高龄银杏树，秋天来应该很好看，现在来就全是光秃秃的。感觉全绿色的时候是最俗的；现在这样光秃秃的再加上有乌鸦在飞，有乌鸦在叫，也别有一番风味。

金刚宝座（近处是银杏树

超过 600 年的银杏树

有猫

不怕人的，开撸（照片拍出来有点秃头

一些藏品

总结：秋天来可能更好看。

大模型的不本质学习笔记

Fri, 12 Apr 2024 18:39:19 +0800

只看了 llama2，想来别的模型也差不太多。
所谓不本质学习，其实就是只关注具体计算，不去研究啥原理之类的本质问题；大概目标是看完了能用喜欢的语言实现一个自己的 llama.cpp。
Transformer 的参考 blog

整体原理

模型的功能是输入一句话转换成的 $n$ 个 token 数组 $t_0, t_1, …, t_{n-1}$，输出预测的 $n$ 个 token $t_1,t_2,…,t_n$。模型的一个特点是它有记忆，所谓记忆即通过缓存部分中间输出，后续模型运行就不需要重复输入了——即预测好 $n$ 个 token 后，可以在模型里输入新得到的 $t_n$，输出 $t_{n+1}$。
因此实际计算分成两步，第一步姑且叫 fill，第二步叫 generate，实际是同一个模型。在 fill 的时候，输入是 prompt 包括用户输入的 $n$ 个 token，得到第 $n+1$ 个 token $t_{n}$，并把相关记忆缓存住。在 generate 的时候，就是一个自回归的操作，输入之前得到的 token $t_n$，输出新的预测 $t_{n+1}$。这样就能不断输出新的 token，就像模型在说话一样，直到输出代表结束的 token。

fill 的时候
$t_1, t_2,...,t_n = predict(t_0, t_1, ..., t_{n-1})$
generate 的时候
$t_{n+1}=predict(t_n)$
其实有了 generate 的递推了，第一步 fill 是可有可无的；但是 fill 的计算访存比更高，可以更充分利用算力，所以要有 fill 这步。

token: 单词转换成的无符号数表示
prompt: 提示词，包括系统 prompt 和用户给的 prompt

配置参数

参数	示例值	config.json	含义
$d$	4096	hidden_size	隐含层维数
$H$	11008	intermediate_size	FFN 中间层维数，具体是 $d\times\frac83$ 对齐到 128
$h$	32	num_attention_heads	多头注意力的头数
$l$	32	num_hidden_layers	隐含层层数
$h_{kv}$	32	num_key_value_heads	多头注意力 KV 的头数（GHA 的时候与 $h$ 不同）
$V$	32000	vocab_size	词表长度

每个隐含层的参数量大约是 $4\frac{h_{kv}}{h}d^2+3Hd+2d$，输入输出的 token embed 矩阵大小都是 $Vd$。所以一个大模型整体的参数量大概是 $(4\frac{h_{kv}}{h}d^2+3Hd+2d)l+2Vd$。

具体计算

输入是 N 个 token。

tokenizer

分词，从大小是 (V, d) 的 embeding 矩阵里 gather 对应的词向量表示，得到的结果形状是 (N, d)。

graph TD
input["input: 'Today is '"]-->|"Tokenizer"| t["[0, 123, 345]"]
t -->|"Gather"| output["hidden_state[N, d]"]

layer

就是 Transformer 里的一个 DecoderLayer。具体组成是两部分，SelfAttention 和 FFN（FeedFrowardNetwork，也叫 MLP）。
SelfAttention 的操作就是经典的 Attention is all you need :

\[Attention(\mathbf{Q,K,V})=Softmax(\frac{\mathbf{QK}^T}{\sqrt{d_k}})\mathbf{V}\]

这里 $d_k=\frac{d}{h}$ 是多头注意力里一个头的隐含层维数。
输入先做 RMSNorm，然后经过 Linear （实际就是 FC）生成 $\mathbf{QKV}$ 。其中 $\mathbf{KV}$ 需要做相对位置编码(RoPE)，$\mathbf{QK}^T$ 的结果还要加上一个掩码，以表示输入 $N$ 个 token 是有先后顺序的。结果再做一次 Linear，与输入相加（残差块），就是 SelfAttention 的全部操作了。

\[\mathbf{X}=RMSNorm(\mathbf{X}_{in})\] \[\mathbf{Q}_i=XW_{Qi}\quad W_{Qi}\in\mathbb{R}^{d\times d_k}\] \[\mathbf{K}_i=XW_{Ki}\quad W_{Ki}\in\mathbb{R}^{d\times d_k}\] \[\mathbf{V}_i=XW_{Vi}\quad W_{Vi}\in\mathbb{R}^{d\times d_k}\] \[\mathbf{O}_i=Softmax(\operatorname{MASK}(\frac{\mathbf{Q}\operatorname{RoPE}(\mathbf{K}^T)}{\sqrt{d_k}})\operatorname{RoPE}(\mathbf{V})\] \[\mathbf{O}=concat(\mathbf{O}_i)\quad \mathbf{O}\in\mathbb{R}^{N\times d}\] \[res=\mathbf{X}_{in}+\operatorname{concat}(\mathbf{O}_i)W_O\]

整体计算流图如下

graph TD
in["hidden_state[N, d]"] -->|"RMSNorm"| n["hidden_state[N, d]"]
n -->|fc, dxd| Q["Q[h, N, d_k]"]
n -->|fc, dxd| K["K[h, N, d_k]"]
n -->|fc, dxd| V["V[h, N, d_k]"]
Q --> a["Multi Head Attention"]
K --> a
V --> a
a --> b["[N, d]"]
b -->|fc, dxd| o["O[N, d]"]
in --> add["Add"]
o --> add
add --> res["hidden_state[N, d]"]

多头注意力中的一个头的计算流图是

graph TD
K["K[N, d_k]"] -->|RoPE| Kr["K[N, d_k]"]
Kr -->|KCache| Krc["K[N', d_k]"]
Q["Q[N, d_k]"] -->|RoPE| Qr["Q[N, d_k]"]
Qr --> MatMul
Krc --> MatMul
MatMul --> QK["QK[N, N']"]
QK -->|MASK| QK_mask["QK[N, N']"]
QK_mask -->|Softmax| QK_soft["QK[N, N']"]
QK_soft --> matmul1["MatMul"]
V["V[N, d_k]"] -->|VCache| Vc["V[N', d_k]"]
Vc --> matmul1["MatMul"]
matmul1 --> QKV["QKV[N, d_k]"]

FFN 的部分也很简单，就是一个残差块，里面是三个 Linear 操作。数学上是这样的

\[X' = RMSNorm(X)\] \[Y = X + (silu(X'W_{gate})\otimes(X'W_{up}))W_{down}\]

其中 $W_{gate},W_{up}\in\mathbb{R}^{d\times H}\quad W_{down}\in\mathbb{R}^{H\times d}$

graph TD
input["hidden_state[N, d]"] -->|RMSNorm| norm["hidden_state[N, d]"]
norm -->|fc, dxH| gate["gate[N, H]"]
norm -->|fc, dxH| up["up[N, H]"]
gate -->|Silu| gate_["gate[N, H]"]
gate_ --> Mul
up --> Mul
Mul -->|fc, Hxd| out["hidden_state[N, d]"]
out --> Add
input --> Add
Add --> o["hidden_state[N, d]"]

RMSNorm

全名叫 RootMeanSquare Norm，就是认为输入 $\mathbf{X}$ 的均值为 $0$ 的普通 LayerNorm

\[\bar X=\frac{\mathbf{X}}{\sqrt{\frac1n\sum x_i^2}}\times\mathbf{\alpha}+\beta\]

里头 $\alpha$ 和 $\beta$ 是可训练的，不过 llama2 里 $\beta$ 是 $0$ 。

RoPE

全名叫 Rotray Position Embeding 旋转位置编码，十分钟读懂旋转编码（RoPE）

\[f(x_m,m)=\mathbf{R}^d_{\Theta,m}\mathbf{x}_m\]

这里的 $\mathbf{R}^d_{\Theta, m}$ 是这样的矩阵

\[\mathbf{R}^d_{\Theta, m}= \begin{pmatrix} \cos m\theta_0&-\sin m\theta_0&0&0&\cdots&0&0\\ \sin m\theta_0&\cos m\theta_0&0&0&\cdots&0&0\\ 0&0&\cos m\theta_1&-\sin m\theta_1&\cdots&0&0\\ 0&0&\sin m\theta_1&\cos m\theta_1&\cdots&0&0\\ \vdots&\vdots&\vdots&\vdots&\ddots&\vdots&\vdots\\ 0&0&0&0&\cdots&\cos m\theta_{d_k/2-1}&-\sin m\theta_{d_k/2-1}\\ 0&0&0&0&\cdots&\sin m\theta_{d_k/2-1}&\cos m\theta_{d_k/2-1} \end{pmatrix}\] \[\Theta=\left\{\theta_i=10000^{-2(i-1)/d},i\in[1,2,...,d/2]\right\}\]

其实就是 $d_k/2$ 个旋转矩阵凑一起了。这里的 $m$ 指的是当前 token 的序号，比如 0，1，2，3 等等；在 generate 过程中这个序号也是逐渐增加的。
根据 $\mathbf{R}^d_{\Theta, m}$ 的稀疏性，实际计算可以按

\[f(x_m,m)= \begin{pmatrix}x_0\\x_1\\x_2\\x_3\\\vdots\\x_{d_k-2}\\x_{d_k-1}\end{pmatrix} \otimes \begin{pmatrix}\cos m\theta_0\\\cos m\theta_0\\\cos m\theta_1\\\cos m\theta_1\\\vdots\\\cos m\theta_{d_k/2-1}\\\cos m\theta_{d_k/2-1}\end{pmatrix}+ \begin{pmatrix}-x_1\\x_0\\-x_3\\x_2\\\vdots\\-x_{d_k-1}\\x_{d_k-2}\end{pmatrix} \otimes \begin{pmatrix}\sin m\theta_0\\\sin m\theta_0\\\sin m\theta_1\\\sin m\theta_1\\\vdots\\\sin m\theta_{d_k/2-1}\\\sin m\theta_{d_k/2-1}\end{pmatrix}\]

在实际计算中，输出 $Q$ $K$ 的 Linear 操作已经重排了输出结果的顺序，所以在实际计算中，并不是 $x_0\cos m\theta_0 - x_1\sin m\theta_0$，而是 $x_0\cos m\theta_0 - x_{d_k/2}\sin m\theta_0$

所以实际计算是这样的

y[..., :dk//2] = x[..., :dk//2] * cos_param - x[..., dk//2:] * sin_param
y[..., dk//2:] = x[..., dk//2:] * cos_param + x[..., :dk//2] * sin_param

KV-Cache

在多头注意力的地方，$\mathbf{KV}$ 的输入都有一步 K-cache 和 V-cache 的操作，这实际上就是大模型所谓『记忆』的地方，不管是 fill 还是 generate 环节，中间 Linear 得到的 $\mathbf{KV}$ 都会缓存到一个地方，然后继续计算的时候是和之前缓存的 $\mathbf{KV}$ 进行 Concat 之后做的。这里的 N' 其实就是 N+lastN，lastN 是已经处理的 token 总数。
因为 KV-cache 的存在，随着模型处理的总 token 数增长，cache 需要的空间也是线性增长的，同时这部分计算量是 $2NN'd$ 也是线性增长的，实际上计算访存比是 $1$。这也是大模型优化的一个比较关键的节点吧。

Mask

Mask 的功能是帮助模型了解 token 的时间先后关系，所以实际上只在 $N\ne1$ 即 fill 的时候有用。Mask 矩阵是一个左下角包括对角线都是 $1$ 的矩阵，含义就是后一个 token 知道它自己和之前的 token 的信息，不知道它之后的 token 的信息。

\[MASK=\begin{pmatrix} 1&0&0&\cdots&0\\ 1&1&0&\cdots&0\\ \vdots&\vdots&\vdots&\ddots&\vdots\\ 1&1&1&\cdots&1 \end{pmatrix}\]

Softmax

功能是把一个向量映射成和为 $1$ 的类似概率密度分布的形式。

\[Softmax(x)=\frac{ {e}^{x_i}}{\sum{e^{x_i}}}\]

在实际操作中，会使用更加数值稳定的计算方法

\[Softmax(x)=\frac{ {e}^{x_i-x_{max}}}{\sum{e^{x_i-x_{max}}}}\]

post

后处理有三步：

第一步是 (N, d) 的隐含层在 $d$ 维度上做 RMSNorm；
第二步是乘一个 (d, V) 维度的矩阵，最后得到的是 $N$ 个维度数是 $V$ 的向量；
第三步是对输出计算 $Softmax$ ，得到的就是 $V$ 个维度就是概率密度。

graph TD
input["hidden_state[N, d]"] -->|"RMSNorm"| t0["hidden_state[N, d]"]
t0 -->|"FC, dxV"| t1["hidden_state[N, V]"]
t1 -->|"Softmax"| t2["prob[N, V]"]

token generate

概率密度有了，实际上就直接根据概率随机得到一个 token 值就可以了。为了输出的稳定性、计算效率等等因素，还有一些后处理方式：

topK，典型值 20。只取概率最高的 $k$ 个概率，然后重新归一化进行随机
topP，典型值 0.9。将概率从高到低排序，只在前 $p$ 概率里随机，避免随机到小概率事件，导致输出前言不搭后语的。
temperature，典型值 0.9。其实是在上一步的 $Softmax$ 之前做的，就是对结果做一个除法，把值放大一点，这样 $Softmax$ 之后的概率会更集中，也就是文本生成更连续。

C++一个神奇的bug

Wed, 05 Aug 2020 21:35:02 +0800

struct foo{
  int a;
  int b;
  foo operator+(int i){
    foo res;
    res.a = a + i;
    return res;
  }
};
int main() {
  foo bar = bar + 1;
  return 0;
}

上面这段代码，很明显有一个问题，就是 foo bar = bar + 1这里，bar还没init就用了。但是g++不会报任何warning。使用来自这里的warning设置，即-pedantic -Wall -Wextra -Wcast-align -Wcast-qual -Wctor-dtor-privacy -Wdisabled-optimization -Wformat=2 -Winit-self -Wlogical-op -Wmissing-declarations -Wmissing-include-dirs -Wnoexcept -Wold-style-cast -Woverloaded-virtual -Wredundant-decls -Wshadow -Wsign-conversion -Wsign-promo -Wstrict-null-sentinel -Wstrict-overflow=5 -Wswitch-default -Wundef -Werror -Wno-unused 依旧没有任何warning。

不过clang++是会报warning的。

-> % clang++ test.cpp
test.cpp:44:13: warning: variable 'bar' is uninitialized when used within its own initialization [-Wuninitialized]
  foo bar = bar + 1;
      ~~~   ^~~
1 warning generated.