本篇介绍一篇发表在 ICCV 2019 上的半监督视频目标分割文章：Video Object Segmentation using Space-Time Memory Networks. 将历史帧及 MASK 作为额外的记忆指导当前帧的跟踪与分割。 文章资源 预印本 (Preprint)：arxiv 正式发表版本 (Version of Record, VOR)：ICCV 2019 代码仓库：github 题目文章题目是 Video Object Segmentation using Space-Time Memory Networks，指明文章的应用领域是视频目标分割(Video Object Segmentation, VOS)，文章使用自己提出的时空记忆网络(STM, Space-Time Memory Networks)来解决视频目标分割(VOS)任务。 作者作者分别是 Seoung Wug Oh, Joon-Young Lee, Ning Xu, Seon Joo Kim，其中第一作者是 Seoung Wug Oh，他来自于韩国首尔的基督新教私立研究型大学，延世大学（ ...

d7420555dbd47e034be0c72be203a7e343c3adbe3b9c6aaff9ea363e75f43c4c650ea56a852e3accc66e76480ca56ea6496eda7d330c38185a732e7983eab6c614bdae3acb5f0d2a6b7748b64cabff5593cb90f4e3d460cb791b2cfea102a31adf2c4382851d74db26ee069b415aa59a24cf86f85593bda5dcb6b7c5c7f6232c913a251aa4e0816f82514865502edba722770f1d27989c7aa359e48db797775fcd6827b9b7999841c3be04108b99357731ec5519af5c7c22e79f16f1f068c07f0aacde6bb97fa6486e49284b7c357fe6248332bac4cc47c9ae1de75d452c1280bb1982453b80c856267aa9c6c8cceac28e8516c00f2f2d391 ...

在 Windows 上执行 python 程序，除了打包程 exe 外，还可以使用 cmd 或 pycharm 等手动执行，打开程序。有时候因为某些原因无法打包 exe，但是有觉得 cmd 或 pycharm 执行有些麻烦，希望能够直接点击一个图标即可打开程序。一种可行的解决方案是把运行程序的命令写入到一个 bat 脚本中，通过点击 bat 文件打开 python 程序。 基本介绍bat 脚本一些基本介绍 注释：12:: 这后面都是注释rem 这后面都是注释 回显：12echo off 表示除本条命令之外不显示其他所有命令的回显@echo off 表示不显示所有命令的回显 命名：bat 命令编写完成后，请把文件扩展名改为 .bat 一些例子方法一启动后，后台运行： 123456789101112@echo offif "%1" == "h" goto beginmshta vbscript:createobject("wscript.shell").run("%~nx0 h",0)(window.c ...

linux 提供了强大的文本分析工具，如 grep, sed, awk，号称三剑客。本篇介绍文本编辑命令 sed。 sed（stream editor，流编辑器）命令能够通过模式匹配（如正则表达式）对指定的行进行编辑文本内容。默认在所有 linux 发行版中都预装该命令。 sed 处理文本以行为单位，处理时将当前行存储到临时缓冲区（称为模式空间 “pattern space”），然后 sed 对缓冲区的内容执行动作进行文本编辑，处理完成后将缓冲区的内容送往屏幕，接着处理下一行，直至文件末尾。默认不修改原文件内容，不过可以指定命令参数（如 -i）将修改后的内容重定向输出。 基本命令格式123sed [options] '[addr]command[flags]' filename# orsed [options] "[addr]command[flags]" filename 示例： 123456# -e 是 options，表示直接在命令行上进行编辑，默认选项，不指定其他选项默认就是该选项# 1 是 addr，表示在 hello.py 文件 ...

linux 提供了强大的文本分析工具，如 grep, sed, awk，号称三剑客。本篇介绍文本查找命令 grep。 grep （global regular expression print）命令能够过滤出文本中符合要求（如正则表达式）的内容、行、文件等。默认在所有 linux 发行版中都预装该命令。 基本命令格式1grep [options|flags] pattern file1 file2 如： 123456# 查找系统上某个用户(如 root)的默认登录 shell# 这里省略了 options 或 flags# pattern 是 "root"，pattern 可以用正在表达式，建议用引号包裹# /etc/passwd 是文件名. grep 后面可以跟多个文件名# | 管道符是把 grep 输出的一行内容按照 : 分割为多列，只打印最后一列grep "root" /etc/passwd | awk -F ":" '{print $NF}' optionsoption ...

本篇介绍如何在 Jupyter Notebook 中使用 OpenCompass 对大模型进行评测。 评测对象主要评测对象为语言大模型与多模态大模型: 基座模型：一般是经过海量的文本数据以自监督学习的方式进行训练获得的模型（如OpenAI的GPT-3，Meta的LLaMA），往往具有强大的文字续写能力。 对话模型：一般是在的基座模型的基础上，经过指令微调或人类偏好对齐获得的模型（如OpenAI的ChatGPT、上海人工智能实验室的书生·浦语），能理解人类指令，具有较强的对话能力。 工具架构 模型层：大模型评测所涉及的主要模型种类，OpenCompass以基座模型和对话模型作为重点评测对象。 能力层：OpenCompass从本方案从通用能力和特色能力两个方面来进行评测维度设计。在模型通用能力方面，从语言、知识、理解、推理、安全等多个能力维度进行评测。在特色能力方面，从长文本、代码、工具、知识增强等维度进行评测。 方法层：OpenCompass采用客观评测与主观评测两种评测方式。客观评测能便捷地评估模型在具有确定答案（如选择，填空，封闭式问答等）的任务上的能力，主观评测能评估用户 ...

我这里有个需求就是能够使用本机多个GPU对只能使用单GPU的模型进行推理，以能够释放多GPU的潜力，加速推理，节约时间。因为模型需要使用 torch 进行GPU运算，简单的调用 python 内建的 multiprocessing 无法正常执行，需要使用 torch.multiprocessing，后者支持前者完全相同的操作，但扩展了前者以便通过 multiprocessing.Queue 发送的所有张量将其数据移动到共享内存中，并且只会向其他进程发送一个句柄。 多进程使用多GPU1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162636465666768697071727374757677import mathimport os# 使用torch的multiprocessing，对原生multiprocessing进行了封装import torch.multiprocessing as mpfrom tq ...

本篇介绍如何在 Jupyter Notebook 中使用 LMDeploy 对大模型进行量化和部署。 环境配置Terminal 中执行下面命令： 12345conda create -n lmdeploy --clone /share/conda_envs/internlm-baseconda activate lmdeploypip install ipykernelpython -m ipykernel install --user --name lmdeploy --display-name lmdeploy 创建 notebook，选择内核 lmdeploy，执行一下代码 1234567891011# 设置notebook环境import os, sysPATH = os.environ['PATH']basedir = os.path.dirname(os.path.dirname(sys.exec_prefix))# 这里的 $PATH 也可以替换为 {os.environ['PATH']}。这里只是为了展 ...

本篇介绍如何使用 XTuner 微调 InternLM 称为私人智能助手。 目标：使用 XTuner 微调 InternLM-Chat 模型，使得其能够知道它的主人是谁。 环境配置先在命令行终端执行下面命令： conda create –name personal_assistant python=3.10 -y conda activate personal_assistant pip install ipykernel python -m ipykernel install –user –name personal_assistant –display-name personal_assistant 1234567891011# 设置notebook环境import os, sysPATH = os.environ['PATH']basedir = os.path.dirname(os.path.dirname(sys.exec_prefix))# 这里的 $PATH 也可以替换为 {os.environ['PATH&#x ...

本篇介绍如何使用 XTuner 进行大模型训练与微调。 环境配置12345# 在终端执行这些命令conda create --name xtuner0.1.9 python=3.10 -yconda activate xtuner0.1.0pip install ipykernelpython -m ipykernel install --user --name xtuner --display-name xtuner 刷新 notebook， 选择新内核 xtuner 12%cd ~%mkdir xtuner019 && cd xtuner019 1!git clone -b v0.1.9 https://github.com/InternLM/xtuner 1%cd xtuner 1%pip install -e '.[all]' 12%mkdir ~/ft-oasst1%cd ~/ft-oasst1 1import os, sys 12PATH = os.environ['PATH']PATH ...

本篇介绍基于 InternLM 和 LangChain 搭建私人知识库。 环境配置12345!conda create --name internlm_langchain --clone=/root/share/conda_envs/internlm-base!/root/.conda/envs/internlm_langchain/bin/python -m pip install ipykernel ipywidgets!/root/.conda/envs/internlm_langchain/bin/python -m ipykernel install --user --name internlm_langchain --display-name internlm_langchain# refresh web and use new kernel internlm_langchain 1234# 升级pip%pip install -q --upgrade pip%pip install -q modelscope==1.9.5 transformers==4.35.2 ...