TAICHI Autodiff是基于computation graph么

如题,好奇TAICHI的autodiff是怎么实现的,是通过computation graph还是像Julia是dual number呢?
感谢大家!

Taichi autodiff是tracing (记录执行过的kernels) + source code transformation (对forward kernel的ir做变换生成gradient kernel) 实现的;kernel内部的IR可以认为是一个 computation graph;另外,在taichi autodiff 的forward mode中也用到了dual number

1 个赞

非常感谢! 讲解得很清楚!