CANN asc-devkit LogSoftMax API

LogSoftMax【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit产品支持情况产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品 / Atlas A3 推理系列产品√Atlas A2 训练系列产品 / Atlas A2 推理系列产品√Atlas 200I/500 A2 推理产品xAtlas 推理系列产品 AI Core√Atlas 推理系列产品 Vector CorexAtlas 训练系列产品x功能说明对输入tensor做LogSoftmax计算。计算公式如下 为方便理解通过Python脚本实现的方式表达计算公式如下其中src是源操作数输入dst、sum、max为目的操作数输出。def log_softmax(src): #基于last轴进行rowmax(按行取最大值)处理 max np.max(src, axis-1, keepdimsTrue) sub src - max exp np.exp(sub) #基于last轴进行rowsum(按行求和)处理 sum np.sum(exp, axis-1, keepdimsTrue) dst exp / sum dst np.log10(dst) return dst, max, sum实现原理以float类型ND格式shape为[m, k]的输入Tensor为例描述LogSoftMax高阶API内部算法框图如下图所示。图 1LogSoftMax算法框图计算过程分为如下几步均在Vector上进行reducemax步骤对输入x的每一行数据求最大值得到[m, 1]计算结果会保存到一个临时空间temp中broadcast步骤对temp中的数据([m, 1])做一个按datablock为单位的填充比如float类型下把[m, 1]扩展成[m, 8]同时输出maxsub步骤对输入x的所有数据按行减去maxexp步骤对sub之后的所有数据求expreducesum步骤对exp后的结果的每一行数据求和得到[m, 1]计算结果会保存到临时空间temp中broadcast步骤对temp([m, 1])做一个按datablock为单位的填充比如float类型下把[m, 1]扩展成[m, 8]同时输出sumdiv步骤对exp结果的所有数据按行除以sumlog步骤对div后的所有数据按行做log10计算输出y。函数原型template typename T, bool isReuseSource false, bool isDataFormatNZ false __aicore__ inline void LogSoftMax(const LocalTensorT dst, const LocalTensorT sum, const LocalTensorT max, const LocalTensorT src, const LocalTensoruint8_t sharedTmpBuffer, const LogSoftMaxTiling tiling, const SoftMaxShapeInfo softmaxShapeInfo {})由于该接口的内部实现中涉及复杂的数学计算需要额外的临时空间来存储计算过程中的中间变量。临时空间支持开发者通过sharedTmpBuffer入参传入。临时空间大小BufferSize的获取方式如下通过LogSoftMax Tiling中提供的接口获取空间范围的大小。参数说明表 1模板参数说明参数名描述T操作数的数据类型。支持的数据类型为half、float。isReuseSource是否允许修改源操作数。该参数预留传入默认值false即可。isDataFormatNZ源操作数是否为NZ格式。默认值为false。表 2接口参数说明参数名输入/输出描述dst输出目的操作数。类型为LocalTensor支持的TPosition为VECIN/VECCALC/VECOUT。last轴长度需要32Byte对齐。sum输出reduceSum操作数。reduceSum操作数的数据类型需要与目的操作数保持一致。类型为LocalTensor支持的TPosition为VECIN/VECCALC/VECOUT。sum的last轴长度固定为32Byte即一个datablock长度。该datablock中的所有数据为同一个值比如half数据类型下该datablock中的16个数均为相同的reducesum的值。非last轴的长度与目的操作数保持一致。max输出reduceMax操作数。reduceMax操作数的数据类型需要与目的操作数保持一致。类型为LocalTensor支持的TPosition为VECIN/VECCALC/VECOUT。max的last轴长度固定为32Byte即一个datablock长度。该datablock中的所有数据为同一个值。比如half数据类型下该datablock中的16个数均为相同的reducemax的值。非last轴的长度与目的操作数保持一致。src输入源操作数。类型为LocalTensor支持的TPosition为VECIN/VECCALC/VECOUT。源操作数的数据类型需要与目的操作数保持一致。sharedTmpBuffer输入临时缓存。临时空间大小BufferSize的获取方式请参考LogSoftMax Tiling。类型为LocalTensor支持的TPosition为VECIN/VECCALC/VECOUT。tiling输入LogSoftMax计算所需Tiling信息Tiling信息的获取请参考LogSoftMax Tiling。softmaxShapeInfo输入src的shape信息。SoftMaxShapeInfo类型具体定义如下方代码所示其中参数的含义为srcM非尾轴长度的乘积。srcK尾轴长度必须32Byte对齐oriSrcM原始非尾轴长度的乘积。oriSrcK原始尾轴长度。注意当输入输出的数据格式为NZFRACTAL_NZ格式时尾轴长度为reduce轴长度即图2中的W0*W1非尾轴为H0*H1。struct SoftMaxShapeInfo { uint32_t srcM; uint32_t srcK; uint32_t oriSrcM; uint32_t oriSrcK; };返回值说明无约束说明输入源数据需保持值域在[-2147483647.0, 2147483647.0]。若输入不在范围内输出结果无效。不支持源操作数与目的操作数地址重叠。不支持sharedTmpBuffer与源操作数和目的操作数地址重叠。操作数地址对齐要求请参见通用地址对齐约束。当参数softmaxShapeInfo中srcM ! oriSrcM 或者 srcK ! oriSrcK时开发者需要对GM上的原始输入(oriSrcM, oriSrcK)在M或K方向补齐数据到(srcM, srcK)补齐的数据会参与部分运算在输入输出复用的场景下API的计算结果会覆盖srcTensor中补齐的原始数据在输入输出不复用的场景下API的计算结果会覆盖dstTensor中对应srcTensor补齐位置的数据。调用示例// dstLocal: 存放LogSoftMax计算结果的Tensor // sumLocal存放LogSoftMax计算过程中reducesum结果的Tensor // maxLocal存放LogSoftMax计算过程中reduceMax结果的Tensor // srcLocal存放LogSoftMax计算的输入Tensor // sharedTmpBuffer: 存放LogSoftMax计算过程中临时缓存的Tensor // softmaxTiling存放LogSoftMax计算所需Tiling信息可通过LogSoftMaxTilingFunc接口获取 AscendC::SoftMaxShapeInfo softmaxInfo( /* 非尾轴长度的乘积 */ srcM, /* 尾轴长度必须32Bytes对齐 */ srcK, /* 原始非尾轴长度的乘积 */ oriSrcM, /* 原始尾轴长度 */ oriSrcK ); AscendC::LogSoftMaxDTYPE_X, false(dstLocal, sumLocal, maxLocal, srcLocal, sharedTmpBuffer, softmaxTiling, softmaxInfo);结果示例如下输入数据(srcLocal): [[-100. -80. -60. -50. -30. -20. -15. -10. ] [ -9. -8. -7. -6. -5. -4. -3. -2. ] [ -1.5 -1. -0.8 -0.6 -0.5 -0.45 -0.4 -0.35 ] [ -0.3 -0.25 -0.2 -0.15 -0.1 -0.05 -0.01 -0.001] [ 0. 0.001 0.01 0.05 0.1 0.15 0.2 0.25 ] [ 0.3 0.35 0.4 0.45 0.5 0.6 0.8 1. ] [ 1.5 2. 3. 4. 5. 6. 7. 8. ] [ 9. 10. 15. 20. 30. 50. 60. 80. ]] 输出数据(maxLocal) [[-10. -10. -10. -10. -10. -10. -10. -10. ] [ -2. -2. -2. -2. -2. -2. -2. -2. ] [ -0.35 -0.35 -0.35 -0.35 -0.35 -0.35 -0.35 -0.35 ] [ -0.001 -0.001 -0.001 -0.001 -0.001 -0.001 -0.001 -0.001] [ 0.25 0.25 0.25 0.25 0.25 0.25 0.25 0.25 ] [ 1. 1. 1. 1. 1. 1. 1. 1. ] [ 8. 8. 8. 8. 8. 8. 8. 8. ] [ 80. 80. 80. 80. 80. 80. 80. 80. ]] 输出数据(sumLocal) [[1.0067834 1.0067834 1.0067834 1.0067834 1.0067834 1.0067834 1.0067834 1.0067834] [1.5814459 1.5814459 1.5814459 1.5814459 1.5814459 1.5814459 1.5814459 1.5814459] [5.971886 5.971886 5.971886 5.971886 5.971886 5.971886 5.971886 5.971886 ] [7.051223 7.051223 7.051223 7.051223 7.051223 7.051223 7.051223 7.051223 ] [6.880514 6.880514 6.880514 6.880514 6.880514 6.880514 6.880514 6.880514 ] [5.239974 5.239974 5.239974 5.239974 5.239974 5.239974 5.239974 5.239974 ] [1.5820376 1.5820376 1.5820376 1.5820376 1.5820376 1.5820376 1.5820376 1.5820376] [1. 1. 1. 1. 1. 1. 1. 1. ]] 输出数据(dstLocal): [[-39.08944 -30.40355 -21.71766 -17.374716 -8.688826 -4.345881 -2.1744084 -0.00293603] [ -3.2391157 -2.8048213 -2.3705268 -1.9362322 -1.5019379 -1.0676433 -0.6333489 -0.19905435] [ -1.2755501 -1.0584029 -0.971544 -0.88468516 -0.8412557 -0.8195409 -0.7978263 -0.77611154] [ -0.97811854 -0.9564038 -0.93468904 -0.9129743 -0.89125955 -0.86954486 -0.85217315 -0.84826446] [ -0.9461945 -0.94576025 -0.94185156 -0.92447984 -0.90276515 -0.88105035 -0.8593356 -0.8376209 ] [ -1.0233353 -1.0016205 -0.97990584 -0.95819116 -0.93647635 -0.89304686 -0.806188 -0.7193291 ] [ -3.022131 -2.8049836 -2.3706892 -1.9363947 -1.5021002 -1.0678058 -0.6335113 -0.1992168 ] [-30.834908 -30.400614 -28.229141 -26.057669 -21.714724 -13.028834 -8.685889 0. ]]【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考