<?xml version="1.0" encoding="UTF-8"?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom">
  <channel>
    <title>Jarvis&apos; Blog (总有美丽的风景让人流连)</title>
    <description>My blog. </description>
    <link>https://www.jarvis73.com/</link>
    <atom:link href="https://www.jarvis73.com/feed.xml" rel="self" type="application/rss+xml"/>
    <pubDate>Sun, 21 Dec 2025 17:28:56 +0800</pubDate>
    <lastBuildDate>Sun, 21 Dec 2025 17:28:56 +0800</lastBuildDate>
    <generator>Jekyll v3.10.0</generator>
    
      <item>
        <title>序列平均值的统一表示 (Unified Representation of Sequence Averages)</title>
        <description>
一个序列的&lt;strong&gt;算术平均值&lt;/strong&gt;和&lt;strong&gt;指数滑动平均值&lt;/strong&gt;之间可以用一套公式来表述。

</description>
        <pubDate>Tue, 16 Dec 2025 19:39:00 +0800</pubDate>
        <link>https://www.jarvis73.com/2025/12/16/Average/</link>
        <guid isPermaLink="true">https://www.jarvis73.com/2025/12/16/Average/</guid>
        
        
        <category>数学</category>
        
      </item>
    
      <item>
        <title>变分下界与VAE (Variantional Lower Bound and VAE)</title>
        <description>
变分下界是变分推断 (Variational Inference, VI) 中的一个重要概念，它为我们提供了一种优化概率模型参数的可行方法。VAE 是 Kingma 和 Welling 在 2013 年发表的文章 &lt;a href=&quot;https://arxiv.org/abs/1312.6114&quot;&gt;Auto-Encoding Variational Bayes&lt;/a&gt; 中提出的一种生成模型，它结合了变分推断和自动编码器的思想，通过最大化变分下界来学习数据的潜在表示，从而同时实现数据的生成和重构。

</description>
        <pubDate>Mon, 15 Dec 2025 11:56:00 +0800</pubDate>
        <link>https://www.jarvis73.com/2025/12/15/VAE/</link>
        <guid isPermaLink="true">https://www.jarvis73.com/2025/12/15/VAE/</guid>
        
        
        <category>深度学习</category>
        
        <category>生成模型</category>
        
      </item>
    
      <item>
        <title>大模型(三): 多模态大模型 (Multimodal Models)</title>
        <description>
收集整理生成和理解多模态大模型.

</description>
        <pubDate>Tue, 12 Nov 2024 16:20:00 +0800</pubDate>
        <link>https://www.jarvis73.com/2024/11/12/Foundation-Models/</link>
        <guid isPermaLink="true">https://www.jarvis73.com/2024/11/12/Foundation-Models/</guid>
        
        
        <category>大模型</category>
        
      </item>
    
      <item>
        <title>大 Batch Size 训练模型(Large Batch Training)</title>
        <description>
在阅读 OpenAI 的 Scaling Laws 一文时, 看到了关于 batch size 的讨论. 这引导我们回来考古一下 2018 年 OpenAI 的一篇文章&lt;a href=&quot;http://arxiv.org/abs/1812.06162&quot;&gt;《An Empirical Model of Large-Batch Training》&lt;/a&gt;, 当时已经发现模型可以有效地用大 batch 训练, 而该文章发现不同 domain 下选择的 batch 可能会差几个数量级. 那么一个自然的问题是: 当我们有比较充足的计算资源, 并且希望充分且高效的利用这批计算资源时, 如何选择合适的 batch size 呢? 这篇文章为解决这个问题提出了 &lt;strong&gt;gradient noise scale&lt;/strong&gt; 的概念.

</description>
        <pubDate>Sun, 07 Jul 2024 16:13:00 +0800</pubDate>
        <link>https://www.jarvis73.com/2024/07/07/Large-Batch-Training/</link>
        <guid isPermaLink="true">https://www.jarvis73.com/2024/07/07/Large-Batch-Training/</guid>
        
        
        <category>大模型</category>
        
        <category>深度学习</category>
        
      </item>
    
      <item>
        <title>大模型(二): DeepMind 的 Scaling Laws 有什么不同?</title>
        <description>
大模型时代, 在数十亿到数千亿的数据上训练一个十亿到千亿级别的模型成本是非常高的, 任何一次实验都意味着数百万的投入, 因此实验效果的可靠预测是一个绕不开的目标. 我们在训练一个大模型的时候, 往往需要回答下面的这些问题:

&lt;ol&gt;
  &lt;li&gt;模型的效果对哪些变量是强依赖的?&lt;/li&gt;
  &lt;li&gt;如果给你 X 张 GPU, Y 个月的时间, 你能训出一个什么效果的模型?&lt;/li&gt;
  &lt;li&gt;如果给你把计算资源翻倍, 你能把效果提升到什么水平? 模型需要扩到多大? 数据需要加多少?&lt;/li&gt;
  &lt;li&gt;模型训练多久就可以停下了?&lt;/li&gt;
&lt;/ol&gt;

这些问题 OpenAI 在《Scaling Laws for Neural Language Models》中做了详细的实验和解答, 这些实验和想法为我们提供了非常多的研究思路.

</description>
        <pubDate>Sun, 30 Jun 2024 10:57:00 +0800</pubDate>
        <link>https://www.jarvis73.com/2024/06/30/Scaling-Laws-2/</link>
        <guid isPermaLink="true">https://www.jarvis73.com/2024/06/30/Scaling-Laws-2/</guid>
        
        
        <category>大模型</category>
        
      </item>
    
      <item>
        <title>大模型(一): Scaling Laws - OpenAI 提出的科学法则</title>
        <description>
大模型时代, 在数十亿到数千亿的数据上训练一个十亿到千亿级别的模型成本是非常高的, 任何一次实验都意味着数百万的投入, 因此实验效果的可靠预测是一个绕不开的目标. 我们在训练一个大模型的时候, 往往需要回答下面的这些问题:

&lt;ol&gt;
  &lt;li&gt;模型的效果对哪些变量是强依赖的?&lt;/li&gt;
  &lt;li&gt;如果给你 X 张 GPU, Y 个月的时间, 你能训出一个什么效果的模型?&lt;/li&gt;
  &lt;li&gt;如果给你把计算资源翻倍, 你能把效果提升到什么水平? 模型需要扩到多大? 数据需要加多少?&lt;/li&gt;
  &lt;li&gt;模型训练多久就可以停下了?&lt;/li&gt;
&lt;/ol&gt;

这些问题 OpenAI 在&lt;a href=&quot;https://arxiv.org/abs/2001.08361&quot;&gt;《Scaling Laws for Neural Language Models》&lt;/a&gt;中做了详细的实验和解答, 这些实验和想法为我们提供了非常多的研究思路.

</description>
        <pubDate>Sun, 30 Jun 2024 10:57:00 +0800</pubDate>
        <link>https://www.jarvis73.com/2024/06/30/Scaling-Laws-1/</link>
        <guid isPermaLink="true">https://www.jarvis73.com/2024/06/30/Scaling-Laws-1/</guid>
        
        
        <category>大模型</category>
        
      </item>
    
      <item>
        <title>Transformer 的参数量和计算量</title>
        <description>
Transformer 的参数量和计算量是现在做大模型绕不开的一环. 我们采用 OpenAI 关于 Scaling Laws 一文《Scaling Laws for Neural Language Models》中的记号来总结一下.

</description>
        <pubDate>Sat, 29 Jun 2024 10:57:00 +0800</pubDate>
        <link>https://www.jarvis73.com/2024/06/29/Training-Compute/</link>
        <guid isPermaLink="true">https://www.jarvis73.com/2024/06/29/Training-Compute/</guid>
        
        
        <category>Transformer</category>
        
        <category>大模型</category>
        
      </item>
    
      <item>
        <title>ChatGPT 70 款插件测评 惊艳的开发过程与宏大的商业化愿景</title>
        <description>
我们对ChatGPT的插件商店中总共70款插件进行了评测。区别于Chrome，AppStore等平台的代码开发范式，开发者仅使用自然语言就可以开发ChatGPT插件，并由GPT模型自行决定在使用过程中是否调用插件。约八成插件集中于购物、餐饮、旅行、住房和求职场景，其余分布在教育、财经咨讯、内容社区和编程技术场景。商业分析、游戏、身体/心理健康、社交以及家庭和育儿场景是蓝海。约七成插件用于已有平台的商业导流，同质化严重；联网、实时信息获取和阅读网页/PDF功能是刚需。Wolfram（数学计算）、WebPilot（网页阅读）、Speak（专业翻译）、Prompt Perfect（提示词润色）、Diagram It（流程图绘制）、AskYourPDF（PDF阅读）、CreatiCode Scratch（少儿编程）、Chess（国际象棋游戏教练）、edX（公开课学习）、FiscalNote（政策咨询）等插件值得一试。

</description>
        <pubDate>Mon, 15 May 2023 10:57:00 +0800</pubDate>
        <link>https://www.jarvis73.com/2023/05/15/ChatGPT-Plugins/</link>
        <guid isPermaLink="true">https://www.jarvis73.com/2023/05/15/ChatGPT-Plugins/</guid>
        
        
        <category>大模型</category>
        
      </item>
    
      <item>
        <title>HTTPS 配置教程 (A Tutorial for HTTPS)</title>
        <description>
&lt;a href=&quot;https://developer.mozilla.org/zh-CN/docs/Web/HTTP&quot;&gt;HTTP&lt;/a&gt; 是一种用于分布式、协作式和超媒体信息系统的应用层协议, 它是一种发布和接收 HTML 页面的方法, 被用于在Web浏览器和网站服务器之间传递信息. HTTP 默认工作在 TCP 协议 80 端口, 但它&lt;span style=&quot;color:blue&quot;&gt;以明文方式发送内容, 不提供任何方式的数据加密&lt;/span&gt;, 因此不适合传输敏感信息.

为了解决 HTTP 不安全的问题, &lt;a href=&quot;https://en.wikipedia.org/wiki/HTTPS&quot;&gt;HTTPS&lt;/a&gt; 应运而生. HTTPS 是一种透过计算机网络进行安全通信的传输协议, 它经由 HTTP进行通信, 但&lt;span style=&quot;color:blue&quot;&gt;利用 SSL/TLS 来加密数据包保证数据的机密性和完整性&lt;/span&gt;. HTTPS 默认工作在 TCP 协议 443 端口. HTTPS 比 HTTP 更加安全, 适合传输敏感信息.

</description>
        <pubDate>Wed, 26 Apr 2023 16:25:00 +0800</pubDate>
        <link>https://www.jarvis73.com/2023/04/26/Website-Services/</link>
        <guid isPermaLink="true">https://www.jarvis73.com/2023/04/26/Website-Services/</guid>
        
        
        <category>Config</category>
        
      </item>
    
      <item>
        <title>生成扩散模型(五): 采样加速 (Generative Diffusion Model: Sampling Acceleration)</title>
        <description>
扩散模型 DDPM 尽管生成效果不错, 但采样速度相比 GAN 要慢很多. GAN 采样只需要一次神经网络前馈, 而 DDPM 需要 \(T\) 步前馈, \(T\) 的典型取值为 1000. 因此 Nichol and Dhariwal 在 &lt;a href=&quot;https://proceedings.mlr.press/v139/nichol21a.html&quot;&gt;《Improved Denoising Diffusion Probabilistic Models》&lt;/a&gt; 提出 &lt;span style=&quot;color:blue&quot;&gt;improved DDPM&lt;/span&gt;, Song 等人在 &lt;a href=&quot;https://openreview.net/forum?id=St1giarCHLP&quot;&gt;《Denoising Diffusion Implicit Models》&lt;/a&gt; 中提出 &lt;span style=&quot;color:blue&quot;&gt;DDIM&lt;/span&gt; 用于加速扩散模型的采样.

</description>
        <pubDate>Sat, 24 Dec 2022 14:59:00 +0800</pubDate>
        <link>https://www.jarvis73.com/2022/12/24/Diffusion-Model-5/</link>
        <guid isPermaLink="true">https://www.jarvis73.com/2022/12/24/Diffusion-Model-5/</guid>
        
        
        <category>深度学习</category>
        
        <category>生成模型</category>
        
      </item>
    
  </channel>
</rss>
