PERSONAL INDEX GitHub

Writing

  1. 机器学习
    • #强化学习
    • #策略梯度
    • #GRPO

    从 0 开始的强化学习生活(2)基线、GRPO,和一个反直觉的方差结论

    做对得 1 分,做错得 0 分,代入上回的公式,推导出来的更新量就是:

    r⋅∇θlog⁡πθ(y∣x)

    也就是说,做错了就把更新量直接乘以 0,相当于不做任何处理。

    这就像老师批改你的作业:做对的题夸一句,做错的题完全无视,也不扣分。这种“只奖不惩”的策略在遇到难题时很容易让训练磕磕绊绊——当然,严格来说并不是答错清零本身必然导致“绝对方差极大”(按后面题目(a)算出的公式,当答对概率 p→0 时,绝对方差其实也趋于 0);在难题上真正突出的是相对波动极大:固定采样数 n 时,梯度估计的标准差与期望之比高达 1−pnp。模型绝大多数时候都在白跑,偶尔蒙对一次信号又猛地跳一下,非常不稳定。

    阅读全文
  2. 机器学习
    • #强化学习
    • #策略梯度
    • #GRPO

    从0开始的强化学习生活(1):把“做数学题”建模为策略梯度

    GRPO(分组相对策略优化)是 DeepSeek 等模型在强化学习训练推理能力时用到的关键思想。

    核心目标公式:

    Jθ=Ex∼ρ Ey∼πθ(y∣x)[r(y∣x)]

    连起来看,就是从题库抽取各种题(外层 Ex∼ρ),让模型去各种作答(内层 Ey∼πθ)算出来的平均得分。所谓的“优化”,就是调整模型参数 θ,让这个平均分 Jθ 越高越好。

    阅读全文
  3. 机器学习
    • #具身智能
    • #机器人评测

    具身智能:榜单上的‘领先’到底是什么?

    领先方案的经验来源、保存形式与调用方式

    老师让我看看 RoboDojo 和 BEHAVIOR 这两个 benchmark,以及榜上那几个领先方案。我读了一批论文和仓库,最初的印象是这些东西长得越来越像,但底座其实不止一类:有 VLA,有 WAM,还有直接用 LLM 写控制代码的 agent。像的地方在于它们动手改的东西——数据配方、历史信息、执行规则——然后改完分数差几个点。

    领先到底是个什么东西?

    榜单上的领先 = 底座 + 经验获取 + 执行系统,在一套评测条件下的共同结果。

    读完一圈,"领先"这个词反而没那么省事了。领先的是哪个模块、哪种能力,还是整套适配?这篇就沿着这个问题,把想明白的和没想明白的都记下来。

    阅读全文
  4. 机器学习
    • #神经网络
    • #数学动画
    • #Zanim

    把神经网络连成一部动画

    成片中的多层感知机

    我做了一部 11 分钟的神经网络动画,叫 Neural Choreography。内容跟着《动手学深度学习》走,从线性回归、卷积、循环网络,一直做到注意力机制、优化器和词向量,一共挑了 49 个片段。

    我想做的是一部可以从头看到尾的片子。哪怕完全不懂模型,光看屏幕上的点怎么聚在一起、连线怎么抽拉展开、几何体怎么形变,也能看下去。

    项目刚建的时候名字叫 points-still-moving,也就是“点还在动”。后面改叫 Neural Choreography,因为我觉得“编舞”更接近我后来想干的事:用同一批点和线,放进不同的网络结构,让它们换个方式动起来。

    但前面的版本离这个目标差得很远。每节确实都把数据老老实实算出来了,单看也行,连着看就特别催眠。换个标题、换个颜色,小球走来走去还是那几条路线。文字占了大半个屏幕,画面本身其实没说明白什么。

    阅读全文
  5. 哲学
    • #自我对话
    • #功利与理想

    如果在夏夜,一个学生

    如果在夏夜,一个学生:原文配图

    【让我们从十年前开始清算。】

    功利似乎总是被你鄙视。但功利并不可耻。一个人需要谋生,需要保护家人。可怕的是你以为自己越来越理性,实际上只是把自己训练成了一个更加精密的工具。工具不会痛苦,因为工具也不会意识到自己本可以成为别的东西。

    【相比之下,兴趣显得温柔许多。它没有宏大的责任,只是轻轻地说:”我喜欢这个!“】

    但兴趣同样脆弱。你喜欢的,有时并不是一件事物本身,而是初次接触它时的新鲜感。就像是你第一次学分层方差公式的时候,通过它的形式想到勾股定理,又跳跃到组间方差和组内方差,又跳跃到它二者正交的本质。我知道,你喜欢这些!

    阅读全文

GITHUB ACTIVITY SNAPSHOT

Activity snapshot.

@siddhartha-yz

711contributions

81active days

60 dayslongest streak

LAST 3 MONTHS

Fixed snapshot from my public GitHub profile Updated