基础 *nix

*nix 是一种昵称,指的是 Unix 和 Linux 操作系统家族,他们有很多分支和变体,但是都有着相似的架构和风格,使用上大同小异,可以触类旁通。这里主要按照 Linux 来讲解。这一类系统最大的特点,和windows系统明显不同的,图形界面(GUI)都不是他们的关键组成部分,而是建立在其他系统基础上的,也就是说没 有GUI一样可以使用,而windows则是把GUI内置在核心里面,不可分割。这并不是说GUI就是没用的,实际上它能在很多方面提高工作效率。但是用 字符命令行(TUI)方式工作,有时候可以实现单用GUI实现不了的一些强大功能和可操控性,这是windows无法替代的。另一个不得不用 Linux 系统的原因是它是一个广泛使用的开放系统。开放系统的好处是,你可以完全了解他的工作机制,可以预测它的每一种行为。当然实际上在一个庞大的系统中要做到这一点还是很难的,不过既然是广泛使用的系统,必然有很多人有经验,这样寻求帮助会容易一些。

操作系统

终端与shell

bash

一些常用快捷键

  • 把光标移动到行首和行尾(home和end键不管用的时候有用):ctrl-a和ctrl-e
  • 光标快速前后移动:alt-b(向前移动一个词)alt-f(向后移动一个词)
  • 搜索以前输过的命令行: ctrl-r,然后输入你要查找的字符
  • 删除当前行:ctrl-u(删除到行首)ctrl-k(删除到行尾)
  • 删除光标前的一个词(一个词指的是空格分隔的一串字符):ctrl-w 注意这个和csh不一样

tcsh

X窗口系统

常用命令

帐户管理:unix、nis、afs

  • unix 帐户管理
  • nis 系统
  • afs 系统

编辑器:vim、emacs、nedit、nano

桌面与服务器远程操作

远程登录:ssh

远程X服务

VNC系统

ROOT 软件

详见 http://docs.google.com/View?id=dg9xtfkh_69vr5vcrgx

计算环境

本地集群

计算中心集群(T3)

计算中心集群是……在 CMS 计算系统中,研究所自己管理的计算环境属于Tier3,故计算中心集群又称作T3。
计算中心帐号申请方法见 这里
申请成功以后会发邮件告知帐号和初始密码,ssh登录计算中心集群 lxslc.ihep.ac.cn 或者 cmsui01.ihep.ac.cn 即可。修改密码使用 kpasswd.openafs 命令 。
计算中心使用AFS系统认证和存储用户文件。基本的AFS使用介绍见 这里

计算中心的环境里目前有两组 CMSSW 软件

    • /cvmfs/cms.cern.ch/cms/sw/ CERN的标准安装,版本最全,不过速度比较慢
    • /opt/exp_soft/cms/ 计算中心 T2 官方安装,一般可以使用这个
    • /cms/cmsd01/public/cms-software 本组自己安装,有一些稀有版本

CERN lxplus

CERNLxplusAndCastor

基础CMSSW

待编辑……

离线软件

离线软件的基本架构是事例循环。在事例循环中进行产生、模拟、数字化、重建、分析的工作,如下图所示。

为了使用灵活方便,把这些工作划分为许多小的模块,由用户控制使用哪些模块序列。

Grid/CRAB 使用

待编辑……
Grid是
对于
CMS用户来说,使用Grid实际上使用的是LCG(LHC Computing Grid),理论上可以运行任何作业,但是实际上目前只有CMSSW可以借助CRAB软件方便地运行。
使用CRAB在Grid上运行CMSSW任务基本步骤是
  1. 准备CMSSW任务
  2. 准备CRAB配置文件
  3. 创建任务
  4. 提交任务
  5. 查看任务状态
  6. 获取任务输出
  7. 可选 终止任务或重新运行任务

下面详细介绍这些步骤。

查看任务状态

一种方法是在你的任务工作目录下运行 crab -status

另一种方法是用cms dashboard查看http://dashb-cms-sam.cern.ch/dashboard/request.py/taskmonitoring 注意,此链接似乎在IE中无法显示

CMS相关权限申请

本地计算机集群

本地集群由组内自己管理,故帐号申请直接联系管理员(唐志成)即可。

本地集群使用 NIS 系统管理帐号,使用方法见 这里

计算中心帐号

计算中心网页填写AFS申请即可。申请成功后会发送帐号和初始密码到你的注册邮箱。

计算中心使用 AFS 系统管理帐号,使用方法见 这里

CERN 帐号(lxplus、NICE 和 cern邮箱)

首先填写 The CMS pre-registration form,然后会有一封邮件指导你完成后面的步骤 (参见 https://twiki.cern.ch/twiki/bin/view/CMSPublic/WorkBookGetAccount

NICE 账号适用于windows系统,lxplus账号适用于CERN的Linux计算集群(lxplus),CERN邮箱通常用于与CERN有关的各种交流,另外还有一些CERN的服务,如indico,vidyo,e-groups,espace等等,它们都使用统一的CERN账号。

lxplus 集群使用方法见 这里。 CERN 邮箱可以使用 web 登录(http://mmm.cern.ch )也可以使用邮件客户端。CERN 帐号在 https://cern.ch/login/Password.aspx 统一修改密码。

CMS VO

真正的CMS权限申请。如果要正常使用 Grid/LCG/CRAB 功能,以下全部步骤都需要执行。

申请VO

需要首先有cern账号数字证书。如果你已经是VO成员,就不需要这一步了)
<待完善……>
参考 http://cmsdoc.cern.ch/cms/aprom/www/top/CMS_VO.html

数字证书及其使用

数 字证书是网络使用中的安全认证凭据,LCG网格计算使用数字证书来验证用户身份,例如在服务器上使用CRAB提交网格作业,或者使用浏览器访问CMS有关 的内部网站。可以使用高能所 gridca 服务提供的证书,也可以使用CERN提供的证书。下面介绍高能所的证书申请及使用步骤。

  1. 申请和获取
    1. 高能所gridca申请方法
      1. https://gridca.hep.ac.cn/Request a CertificateUser
      2. 或者,直接进入https://gridca/reqForUser.html
      3. Online for User Request
      4. 等待回复邮件
      5. 点击邮件中的链接,注意需要使用申请时候使用的同一个浏览器,因为申请的时候产生了一个临时证书在这一步会用到。
      6. 或者,在https://gridca/getcert.html 输入邮件中提供的序列号
      7. 随后证书即会自动安装到浏览器中
    2. CERN gridca 申请方法
      1. 打开 https://gridca.cern.ch/gridca/user/Request.aspx?template=EE2User 按照说明填写
      2. 获取并安装到浏览器中
  2. 导出
    1. 从浏览器中导出证书为 PKCS12 格式文件(.p12 或者 .pfx),根据提示为证书文件创建口令。(参考 https://gridca/export.html
    2. 将证书文件复制到工作服务器( 比如 cmsui01.ihep.ac.cn, lxplus.cern.ch 等 )
  3. 转换
    1. 在服务器上创建用户 globus 目录,输入以下命令
      mkdir ~/.globus
    2. 转换证书格式(会提示输入证书文件口令,并要求创建私钥文件(userkey.pem)口令)
      openssl pkcs12 -out ~/.globus/userkey.pem -nocerts -in <your_cert_file> (IT常用符号。尖括号代表的是一段必填内容,它的具体内容根据实际情况确定)
      openssl pkcs12 -out ~/.globus/usercert.pem -nokeys -clcerts -in <your_cert_file>
    3. 设置文件权限
      chmod 400 ~/.globus/userkey.pem ~/.globus/usercert.pem
    4. 如果在afs目录下 (这简直是一定的),则还需要使用afs权限指令
      fs setacl ~/.globus -clear -acl $USER all
      fs listacl ~/.globus

证书有效期为一年,到期之前需要重新申请 并执行上述操作以及下面的几个相关步骤。

关联证书

你需要将申请到的数字证书和CMS VO数据库进行关联。详见 http://cmsdoc.cern.ch/cms/aprom/www/top/CMS_VO.html#registration
如果是更新证书

SiteDB

使用网格计算还需要SiteDB信息关联[这里这里这里而SiteDB又需要Hypernews账号(自从2013年3月起不再需要了,只需要把CERN账号和证书关联一下)

这里上用 hypernews 帐号登录,选择“修改个人信息”,填入你的DN(Distinguished Name)。如果你的DN发生了变化就必须在这里修改。获取DN的方法是运行下面命令 并按提示输入证书口令 :

voms-proxy-init; voms-proxy-info -identity
如果你的证书不是cern发布的证书,则不会自动关联到你的SiteDB信息中,这时候就需要登录 https://gridca.cern.ch/gridca/ 关联你的证书。

SiteDB注册后一般不会马上生效,需要耐心等待。

简单的错误检查方法:

如有问题可以参考 https://twiki.cern.ch/twiki/bin/view/CMS/SiteDBForCRAB



Edit | Attach | Watch | Print version | History: r12 < r11 < r10 < r9 < r8 | Backlinks | Raw View | Raw edit | More topic actions...
Topic revision: r10 - 2015-09-20 - TangZhicheng
 
  • Edit
  • Attach
This site is powered by the TWiki collaboration platform Powered by PerlCopyright © 2008-2019 by the contributing authors. All material on this collaboration platform is the property of the contributing authors.
Ideas, requests, problems regarding TWiki? Send feedback