Advertisement

如何正确使用nohup在服务器上持续运行训练程序并检查进度及visdom可视化

  •  5星
  •     浏览量: 0
  •     大小:None
  •      文件类型:None


简介:
本文将详细介绍如何在服务器端利用nohup命令使深度学习训练脚本持续运行,并通过特定方法监控其状态,同时介绍如何设置Visdom进行实时性能和数据可视化。 在使用服务器进行长时间模型训练(例如Mask模型)时,由于我通过SSH登录到服务器上,一旦断网或退出账号,程序就会被终止。为了能够不间断地运行训练程序,并且随时查看模型的可视化结果,总结了一些常用的远程训练指令。 nohup 是 no hang up 的缩写,即不挂断的意思。使用nohup命令可以将程序后台运行并持续进行,即使在用户退出登录后也不会中断程序的执行。此外,还可以通过指定输出文件来实时查看训练过程中的日志和结果,并结合visdom等工具实现模型可视化。 以下是一些基本操作: 1. 使用 nohup 将训练程序后台不间断地运行。 2. 指定输出文件以便于查看训练情况。 3. 结合 CUDA 进行 GPU 训练的同时,使用 visdom 实现实时的监控和可视化。

全部评论 (0)

还没有任何评论哟~
客服
客服
  • 使nohupvisdom
    优质
    本文将详细介绍如何在服务器端利用nohup命令使深度学习训练脚本持续运行,并通过特定方法监控其状态,同时介绍如何设置Visdom进行实时性能和数据可视化。 在使用服务器进行长时间模型训练(例如Mask模型)时,由于我通过SSH登录到服务器上,一旦断网或退出账号,程序就会被终止。为了能够不间断地运行训练程序,并且随时查看模型的可视化结果,总结了一些常用的远程训练指令。 nohup 是 no hang up 的缩写,即不挂断的意思。使用nohup命令可以将程序后台运行并持续进行,即使在用户退出登录后也不会中断程序的执行。此外,还可以通过指定输出文件来实时查看训练过程中的日志和结果,并结合visdom等工具实现模型可视化。 以下是一些基本操作: 1. 使用 nohup 将训练程序后台不间断地运行。 2. 指定输出文件以便于查看训练情况。 3. 结合 CUDA 进行 GPU 训练的同时,使用 visdom 实现实时的监控和可视化。
  • 保云项目的
    优质
    简介:本文将探讨保障云服务器项目稳定运行的关键策略,涵盖监控、备份、安全防护及故障恢复等多方面内容。 安装 Screen 工具的方法如下: 1. 对于 CentOS 系列系统,请使用以下命令进行安装: ``` yum install screen ``` 2. 对于 Ubuntu 系列系统,可以使用下面的命令来完成安装: ``` sudo apt-get install screen ``` 创建 Screen 工作环境的方法如下: 1. 使用 `screen -S name` 命令新建一个 Screen 工作窗口。其中,“name”是您自定义的名字,用于标记该 Screen 窗口的用途。 示例命令: ``` screen -S xi ```
  • Linux中看所有
    优质
    本教程详细介绍了在Linux系统中使用命令行工具查看所有正在运行的进程的方法,帮助用户掌握ps、top和htop等实用指令。 可以使用ps命令来显示当前运行的进程相关信息,包括每个进程的PID。Linux 和 UNIX 系统都支持 ps 命令,并且它能提供一份所有正在运行中的进程快照。若需实时更新状态信息,则可选择 top 命令。 要查看系统中所有的活动进程,请输入以下命令: ``` # ps aux | less ``` 其中,参数说明如下: - `-A`:显示全部的进程。 - `a`:展示所有终端中的进程(包括其他用户)。 - `x`:列出没有控制终端的所有进程。 具体使用场景和示例如下: 1. 查看系统中每一个运行着的程序: ``` # ps -A 或者 # ps -e ``` 2. 检查非 root 用户所创建或拥有的所有活动任务: ``` # ps -U root -u root -N ``` 3. 仅查看用户vivek相关的进程,可以执行命令如下: ``` ps -u vivek ```
  • ARM设备的Redis
    优质
    本项目为一款适用于ARM架构设备的轻量级Redis服务器软件,旨在提供高效稳定的键值存储服务,特别适合IoT、嵌入式系统及移动应用等场景。 基于Redis 5.0.10版本,并使用libc作为内存分配器,在ARM环境中可以直接运行。
  • yolov5-与tensorboard.docx
    优质
    本文档详细介绍了使用YOLOv5模型进行服务器端训练的过程及TensorBoard工具在训练过程中的应用,包括如何配置环境、执行训练任务以及通过TensorBoard实现训练数据的实时监控和分析。 yolov5服务器训练可视化
  • Python处理HDF数据
    优质
    本教程介绍使用Python高效处理大型科学数据集(如气象、天文数据)的一种文件格式——Hierarchical Data Format (HDF)的方法,并指导读者如何利用相关库完成数据可视化。 HDF是一种自描述格式文件,主要用于存储和分发科学数据,在气象领域中的卫星数据处理方面应用广泛,例如MODIS、OMI以及LIS/OTD等卫星产品都使用这种格式。如果对HDF的细节感兴趣的话,可以通过搜索引擎了解更多相关信息。 本次内容将主要介绍如何利用Python来操作HDF格式的数据。在Python中存在多个库可用于处理这类文件,其中包括h5py(适用于HDF5),而pyhdf则可以用于处理HDF4格式数据;此外,gdal也支持对HDF、NetCDF和GRIB等类型文件的读取与写入操作。
  • Python处理HDF数据
    优质
    本教程详细介绍了使用Python语言对HDF格式的数据文件进行读取、分析及可视化的步骤与技巧。适合希望提升数据处理能力的技术爱好者和专业人士参考学习。 本段落主要介绍了如何使用Python处理HDF格式数据及可视化问题,并通过实例和图文相结合的方式进行了详细讲解。内容对学习或工作具有一定的参考价值,需要的朋友可以查阅一下。
  • LinuxWindows应
    优质
    本教程详细介绍如何在Linux系统中通过虚拟化或模拟技术(如Wine、VirtualBox)来运行Windows应用程序,帮助用户无缝地使用跨平台软件。 Wine 是一个令人向往且目标远大的开放源代码项目,致力于解决在 Linux 系统上运行 Windows 可执行文件的复杂问题。尽管 Wine 并不是一个新兴项目,但随着人们对 Linux 桌面环境期望的增长以及对 Linux 应用程序需求的增加,它依然具有重要的意义。本段落介绍了 Wine,并提出了一些获取其内部操作经验的方法。
  • 使Keil时间
    优质
    本文将详细介绍在Keil开发环境中测量和分析C语言程序运行时间的方法与技巧,帮助开发者优化代码性能。 对于单片机初学者来说,在进行跑马灯实验时,如果使用C语言编程,这个教程将帮助你在Keil环境下学会查看函数执行的时间长度,并进一步提高延时的准确性。
  • 使 IAR 使 RAM 中
    优质
    本文将介绍如何利用IAR开发环境优化代码设置,实现程序在RAM中的高效运行,并提供详细步骤和技巧。适合嵌入式系统开发者阅读。 在嵌入式系统开发过程中,由于RAM的读写速度通常比FLASH快很多,因此将程序的关键部分放在RAM运行可以显著提升性能。IAR Embedded Workbench是一款广泛使用的集成开发环境(IDE),支持通过特定关键字__ramfunc来声明函数以实现代码被放置到RAM中执行的功能。 使用__ramfunc关键字时,编译器会自动在生成的映射文件map中为这些函数分配一个特殊的读写区域。当系统启动后,IAR运行时库中的__iar_copy_init3函数会在初始化阶段将该SECTION从FLASH复制至指定的RAM地址。然而,在这种情况下,开发者无法直接控制函数的具体RAM位置;其实际地址由编译器在编译过程中确定。 对于需要特定内存区域(例如STM32F334单片机上的CCMRAM)来优化性能的情况,可以通过修改链接文件(linker file)来自定义这些SECTION,并指定它们具体的存储位置。这通常包括两步:首先,在linker文件中添加自定义的SECTION至初始化列表并使用placein指令将其放置到特定RAM区域;其次,通过#pragma等编译器指令将程序代码放入该SECTION内。 从IAR v6.7版本开始,提供了两个新的#pragma指令——#pragmadefault_function_attributes和#pragmadefault_variable_attributes。这两个命令允许开发者为函数或变量设置默认属性,并指定它们应该位于特定的SECTION中。这种做法有助于提高代码组织性与清晰度。 在编译后的map文件里可以看到RAMCODE函数被放置于FLASH的一个起始位置,然后由__iar_copy_init3从该地址复制到预先设定好的RAM区域。如果需要更精确地控制程序的位置和性能表现,则可以在链接器设置中指定SECTION的具体RAM地址。 最后,在使用了__ramfunc声明的函数调用非此属性标记的其他函数时,可能会收到警告信息,因为这可能会影响执行速度并降低整体效率。因此建议在代码设计阶段充分考虑这一点,并尽可能地将相关联的功能都定义为__ramfunc类型或探索其他的性能优化策略。 综上所述,IAR Embedded Workbench提供了多种灵活的方法来帮助开发者通过合理利用RAM资源提升程序运行的效能表现,从而更好地控制和改善单片机上的执行效果。