damaoooo's blog

Transformer 计算相关也是惭愧，早就该补上这一课的，做CS336的大作业才把这个给搞明白。 本文假设读者已经懂了什么是Transformer基础架构，以及对应的基础知识 参数量计算我们这里就用CS 336里面的架构为例 这里我们可以看到LLM看着大，其实很大一部分是Transformer Block的重复，一个Transformer Block 里面又有3个主要的模块，Multi Head Attention (MHA), Feed Forward Network (FFN) 以及RMSNorm，接下来我们先从Transformer Block开始来计算参数量，然后再考虑其他部分。这里简单提及一下常见的缩写 $B$ = Batch size, $S$ = Seqence Length, $H = d$ = Hidden Layer Size, $V$ = Vocabulary size $d_{ff} = \frac{8}{3}H$ Transformer BlockRMSNorm首先我们要知道RMSNorm的公式， 这里$X \in R^{1\times d} = { ...

通过KVM 安装黑群晖并获取独立IP事情的起因是，实验室多了4块机械盘，想要做NAS，所以叫老板买了个NAS，但是我眼睛花了买到了一个DAS，这玩意只有USB并没有网口，更别说系统了，就是一个大号移动硬盘，好在支持USB3.0，而USB 3.0 5Gbps对于4块机械硬盘RAID0来说完全够了。因此打算基于这个配置弄一个虚拟化的NAS 弄一个虚拟化的NAS + 黑群晖的首要要求就是要有独立IP，因此想到了虚拟机。 目前虚拟机有以下几种选择： KVM + 块设备直通 + virtio-scsi VMware + 硬盘直通 Hyper-V + 硬盘直通 本文采用第一种方法。方案2的性能损耗太大，而方案3只能支持带有扩展卡的，我并没有扩展卡，就一个USB硬盘，自然不可能 安装KVM并配置桥接12sudo apt updatesudo apt install qemu-kvm bridge-utils 由于我是Ubuntu 22.04，用不是netplan而是NetworkManager 来管理网络的, 因此网上很多教程都不适用，需要重新配置 1234nmcli connection ...

许久没有提笔写长文，这一篇就是送给让我破防破口大骂的简中互联网的。 互联网精神的黄金时代笔者一开始接触互联网的时间约为06年，那个时候我暂且称之为互联网精神的黄金时代。那个年代国内还是可以访问谷歌的，移动互联网还没有兴起，手机上网用的还是移动梦网，动感地带之类。彼时的互联网没有那么抽象，网上要个资源也是随便能找到。那个时候的血还是红色的不是绿色的，什锦八宝表情包还是可以发的，圣诞节也是可以庆祝的。与如今相去甚远，当时人们还在比较百度和谷歌的搜索结果谁好，音乐也有网页播放，不需要强制跳转APP。贴吧和论坛也成了许多人开眼看世界的平台。但是Good old days 也只是old days，水果自然变质是个不可逆的过程。 生态护城河移动互联网的兴起，再加上规范的缺乏，导致引流现象越发严重。由于国人软件付费意识的淡薄，绝大部分软件都只能免费才能获得基础流量。但是羊毛出在羊身上，免费的往往是最贵的。程序员花了时间写软件要钱，租服务器运行也要钱，既然用户不为软件付费，软件就得想办法从用户身上榨取利益。其中最直接的就是广告了，广告的浏览量，点击率，转化率，都是现金流的保障，因此用户的流量就变成了硬 ...

IDA 如何恢复strip后binary的符号信息如何恢复strip之后的binary符号信息仍然是一个学术界研究的项目。因为给定源代码，不同的编译器/优化选项/CPU支持的指令集/目标架构 都会对变异过后的二进制文件产生影响。而且有些没有被引用的静态包并不会被引入二进制文件里面。所以这仍旧是一个难以解决的问题。 FLAIRPros: 官方支持，使用简单 Cons: 仅支持静态系统库，如libc等。仅支持函数签名，且需要手动解决conflict FLAIR已经被官方支持了，如果你下载的是7.7版本的话，就会有FLAIR套件，没有的话网上也有一大堆如何安装FLAIR的东西。 https://github.com/mandiant/flare-ida 但是函数签名并不是万能的，因为strip过后的库函数有很多相同的函数签名， RIZZO基于二进制bytes的比较，同时也支持上面的FLAIR所有功能，支持Call Graph + 常数搜索 + 函数签名，看上去是个不错的选项。 函数签名容易撞车，Call Graph 容易被function inline干掉，Constant Search能够 ...

众所周知，由于X11设计上的原因，在网络条件不佳的情况下，其质量巨差，但是有时候在linux中又会不可避免的用到GUI，这个时候xrdp似乎成了一个更好的选择，本文将讲述如何使用xrdp在linux-server上进行远程桌面连接 1. XRDP就像是windows的rdp一样的好用，但是xrdp是基于x11的，GUI的响应速度之比x11要好一些 1. 安装xrdp和xfce41234567sudo apt install xfce4sudo update-alternatives --config x-session-manager# 选xfce4-sesion 回车sudo apt install xrdpsudo systemctl restart xrdp# 开机自启，看情况开启sudo systemctl enable xrdp 一般来说，这样就可以直接连接了，但是，如果遇到了问题，就继续下面的步骤 2. 配置key权限1sudo adduser xrdp ssl-cert 3. 关闭主显示器的GUI这一步你主显示器的GUI就没了 12sudo systemctl ...