BMNNSDK(BitMain Neural Network SDk)是基于算能AI芯片,所自主研发的深度学习SDK,通过其强有力的工具,可在生产环境中部署深度学习应用程序,并提供最大化的推理吞吐量和效率。
提供PCIE和SOC两种设备驱动模式,开发者有更多的选择。
结合算能科技自主研发的AI芯片,提供最大的推理吞吐量和最简单的应用部署环境。
提供操纵底层计算资源的运行库编程接口,用户可进行深度开发。
运行库提供并发处理能力,支持多进程和多线程两种模式。
目前BMNNSDK向开发者提供两种网络模型的编译模式:第一种是开发者直接使用BMNet编译器进行编译和部署。第二种是开发者可使用BMNet的编程接口对编译器进行扩展,利用BM kernel底层语言编程接口(类似CUDA/intrinsics调用原子操作),或者利用CPU指令添加自定义网络层,实现非公开网络的编译。
我们给用户提供一个Docker开发镜像,集成了BMNNSDK应用开发需要的工具和依赖库,用户可以使用该Docker镜像进行BMNNSDK应用的开发。
编译后的网络以及开发的深度学习应用,集成之后可通过BMRuntime进行部署,部署过程中,需要使用BMNet inference engine的API接口进行编程。