这周疯狂调参+改来改去ai模型结构，顺便去补了一下基础知识，真的是慢慢在排坑

从刚开始模型跑起来，然后，每修一次bug，loss都好看一点，

重构了两次模型，第一次是因为构思错误所以优化不了，重构好了以后，然后更改了无数次细节，优化器什么的全都试过，学习率和步长、层的结构、dropout等等，好像能换的都换过，加减层次和更改维度也尽量试过了，后面梯度不需要裁剪也降下来了，但还是有莫名其妙的”噪声“；然后第二次是因为接近最优时会有震荡的噪声，今天，终于把这种噪声消掉了——batch归一化必须按官方的来，不能自己写，不然这种做法的梯度计算不会参与到模型里，还会引入噪声