博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
【Tengine端侧推理框架】——prerun_graph_multithread
阅读量:4304 次
发布时间:2019-05-27

本文共 932 字,大约阅读时间需要 3 分钟。

code:https://github.com/OAID/Tengine

version: 88b4b7a2
图片,代码都来自以上项目。
在这里插入图片描述

1. 简介

这是做推理的前处理,包括:tensor shape的计算, graph切分,graph优化,调度器prerun

2. 正题

  1. infer_ir_graph_shape会根据source/operator/prototype中初始化的op->same_shape,看input tensor 和 output tensor 的尺寸是否相同。
if (0!= op->same_shape)        // 如果尺寸相同, 初始化为1,source/operator/prototype中初始化{
ir_tensor_t* input = get_ir_graph_tensor(graph, node->input_tensors[0]); ir_tensor_t* output = get_ir_graph_tensor(graph, node->output_tensors[0]); output->dim_num = input->dim_num; output->elem_num = input->elem_num; memcpy(output->dims, input->dims, sizeof(int32_t) * input->dim_num);}else{
if (0 != op->infer_shape(node)) {
TLOG_ERR("Tengine FATAL: Infer node(id: %d, op: %s) shape failed.\n", node->index, get_op_name_from_type(node->op.type)); return -1; }}
  1. cpu_split_graph会对原有的graph进行切分

问题

  • Tengine如何实现不同后端(armv7,armv8,riscv,cuda)的切换和调用的。

转载地址:http://juhws.baihongyu.com/

你可能感兴趣的文章
设计模式05_单例
查看>>
设计模式06_原型
查看>>
设计模式07_建造者
查看>>
设计模式08_适配器
查看>>
设计模式09_代理模式
查看>>
设计模式10_桥接
查看>>
设计模式11_装饰器
查看>>
设计模式12_外观模式
查看>>
设计模式13_享元模式
查看>>
设计模式14_组合结构
查看>>
设计模式15_模板
查看>>
海龟交易法则01_玩风险的交易者
查看>>
CTA策略02_boll
查看>>
vnpy通过jqdatasdk初始化实时数据及历史数据下载
查看>>
设计模式19_状态
查看>>
设计模式20_观察者
查看>>
vnpy学习10_常见坑
查看>>
vnpy学习10_常见坑02
查看>>
用时三个月,终于把所有的Python库全部整理了!拿去别客气!
查看>>
pd.stats.ols.MovingOLS以及替代
查看>>