• 金天

    按照大类来分,大家有推荐的可以在我们下面评论,我们将添加到正文中来,这样大家可以快速的阅览并找到自己想要的数据集。

    文本识别方向

    • MSRA Text:
      数据集包含的信息标注为:
      cb1a7448-bd3a-4890-ba0e-1cb6a93e1197-image.png
      这个数据集中英文都有标注,但是貌似数量比较少,只有大约500张左右的图片。

    • ICDAR2017场景文字识别
      这是一个国际文档识别会议,里面包含了各种不同子任务的文档识别数据。
      e7e7333f-296f-4ede-9147-a4a0776656ea-image.png
      数据集地址为:https://rrc.cvc.uab.es/?ch=4&com=tasks

    • ICDA 2015
      这里和上面差不多,现在很多开源算法基于ICDA2015,所以这里就用百度云来做一个镜像:
      链接: https://pan.baidu.com/s/1Bp6Lgs38djXCAb_S62S-Qg 提取码: gdqc 复制这段内容后打开百度网盘手机App,操作更方便哦

    语音方向

    开源说中文的非常少了,英文的蛮多,这里贴一些中文的。其实包含语音识别和语音的合成。

    发布在 原创分享专区 阅读更多
  • 金天

    onnxruntime 是个啥子?

    我们都知道onnx,onnx只是一个协议格式,它没有具体的推理框架。我们知道,不同厂商,它的推理框架速度有很大的差异。我们有自己做的,比如ncnn,mnn,mace这些都是前向推理框架,他们也可以用来推理onnx模型。这是在CPU上,这些框架CPU的速度毫无疑问,比得上intel吗?比的过openvino吗?不一定。
    另外一个就是GPU,你pytorch的GPU推理速度能比得过英伟达人家的TensorRT吗?比不过,至少差三倍的速度。为什么会有这么大的差别?
    原因很简单,人家卖硬件的,为了让你用它的硬件,肯定会想方设法让你在硬件上速度更快,这是刚需,你对CPU的了解能比得过intel?你对GPU的了解能比得过NVIDIA??

    那么onnxruntime是个什么鬼呢?

    onnxruntime是一个实实在在的onnx模型推理引擎,但,它统一了一个前端接口,而真正的实现支持openvino,支持mkldnn,支持TensorRT,支持CUDA,也支持CPU,换句话说,一次编写,可以直接根据硬件使用对应的库来编译。

    这个很管用。那么它的速度gain到底有多大呢?

    先安装一下onnxruntime吧。我们将用onnxruntime的GPU库 (不带TensorRT)来推理一下maskrcnn,看看速度和官方的pytorch、比有多大的提升。
    为了加上tensorrt支持,你需要下载一下tensorrt,根据你的系统版本。解压到 ~/tensorrt5.1.5 5.1.5是最新的TensorRT。下面我们将要用到。

    1. 安装
    git clone --recursive https://github.com/microsoft/onnxruntime
    
    # 如果你遇到了libFuzzer clone不下来,从这个地方下载Fuzzer.zip解压到对应的目录,这个没有办法,Q在那儿。注意文件夹的名字不要错: https://github.com/alibaba/euler/files/2991980/Fuzzer.zip
    # 注意,这里把解压后的mv的时候要把.git也move过去。
    
    sudo ./build.sh \
    	--use_cuda \
    	--cuda_version=10.1 \
    	--cuda_home=/usr/local/cuda \
    	--cudnn_home=/usr/local/cuda \
    	--use_tensorrt --tensorrt_home=$HOME/tensorrt5.1.5 \
    	--build_shared_lib --enable_pybind --build_wheel
    

    其实也简单,通过 build.sh 来编译。

    6bf5d374-fc74-440e-88bf-3c03406ca341-image.png

    可以看到,onnxruntime里面实际上有很多GPU或者CPU的实现,来支持onnx的各种operators.

    如果你能开始编译,请评论一下

    发布在 原创分享专区 阅读更多
  • 金天

    你需要指定libtorch的位置;

    cmake .. --CMAKE_PREFIX_PATH=$HOME/libtorch
    

    假设你的libtorch下载到了home目录下。

    发布在 社区求助区(SOS!!) 阅读更多
  • 金天

    We have no problem with our codes

    3cc4c132-242f-4c04-b3db-49100426243e-image.png

    Python 3.5.2 (default, Nov 12 2018, 13:43:14) 
    [GCC 5.4.0 20160609] on linux
    Type "help", "copyright", "credits" or "license" for more information.
    >>> import torch
    torch>>> torch.__version__
    '1.1.0'
    >>> 
    
    

    发布在 社区博客 阅读更多
  • 金天

    @zhangzhenbo161 Then, this is not an issue with our code.

    this include comes from torch/include/c10 we have no idea where leads to this.

    make sure you have latest pytorch installed. (1.2 for now)

    发布在 社区博客 阅读更多
  • 金天

    Did your machine have GPU? make sure you have CUDA installed.

    it's not recommend using anaconda since it has a lot of issues if you not familiar with C++ or libtorch (source of pytorch)

    发布在 社区博客 阅读更多
  • 金天

    @kevinchen1223 You don't need, simply download from official nightly or newest version libtorch. we have tested with them.

    发布在 社区求助区(SOS!!) 阅读更多
  • 金天

    不好意思,trac_model.py是我们用的,我们已经trace好了c++用的pt model,不需要再次运行。

    发布在 社区求助区(SOS!!) 阅读更多
  • 金天

    @kevinchen1223 @kevinchen1223 Did problem solved?
    You should upgrade to newest libtorch.

    The old version libtorch 1.0 earlier, returns a Module object, but in libtorch1.1 or so, it returns a shared_ptr object.
    But it seems from libtorch1.2 begin, it goes back to return a Module....

    So, you have to get used to it.......

    发布在 社区求助区(SOS!!) 阅读更多

与 ManaAI社区 的连接断开,我们正在尝试重连,请耐心等待