LPBS

LPB (Lokal Portabel Batch System) adalah alat untuk meniru PBS pada workstation lokal.
PBS / TORQUE adalah sistem penjadwalan job yang digunakan pada banyak cluster komputasi kinerja tinggi. Paket LPB menyediakan alat untuk menjalankan script pekerjaan PBS pada workstation lokal. Secara khusus, LPB menyediakan perintah lqsub yang mengambil opsi yang sama seperti perintah PBS qsub dan menjalankan script pekerjaan lokal, di lingkungan hampir identik dengan yang PBS / TORQUE akan memberikan. Pekerjaan akan berjalan di latar belakang dan diberi ID pekerjaan. Berbeda dengan sistem PBS, LPB tidak akan melakukan penjadwalan apapun, tetapi hanya akan menjalankan tugas diserahkan kepadanya. LPB menyediakan alat lanjut untuk mengelola menjalankan pekerjaan.
Instalasi
LPB dapat menginstal dari pypi, menggunakan
pip menginstal LPB
Atau, paket dapat diinstal dari sumber dengan
python setup.py install
Konfigurasi
LPB menyimpan semua konfigurasi dan runtime data di folder yang diberikan dalam variabel lingkungan $ LPBS_HOME. Variabel lingkungan ini harus didefinisikan. Konfigurasi di file lpbs.cfg dalam $ LPBS_HOME. Jika file ini tidak ada bila salah satu script LPB dijalankan, file konfigurasi dengan nilai default berikut akan dibuat:
[Server]
# Hostname Penuh server pengiriman (hostname.domain). Akan tersedia
# Untuk menjalankan pekerjaan melalui variabel PBS_SERVER lingkungan. ID pekerjaan akan berakhir
# Dalam nama host server
hostname: localhost
domain: local
[Node]
# Hostname Penuh node eksekusi (hostname.domain). Akan tersedia
# Untuk menjalankan pekerjaan melalui variabel PBS_O_HOST lingkungan. Karena LPB adalah
# Dirancang untuk mengeksekusi pekerjaan lokal, pengaturan di sini harus secara umum menjadi
# Identik dengan yang di [Server] bagian
hostname: localhost
domain: local
[LPB]
# Pengaturan untuk eksekusi pekerjaan.
# Jika 'username_in_jobid' diaktifkan, ID pekerjaan akan memiliki bentuk
# 'Seqnr.user.hostname.domain' di mana 'user' adalah nama pengguna
# Mengirimkan pekerjaan.
# File yang diberikan dalam 'sequence_file' digunakan untuk melacak 'seqnr'
# Muncul di ID pekerjaan.
# File yang diberikan dalam 'logfile' digunakan untuk penebangan semua acara LPB. Kedua
# 'Sequence_file' dan 'logfile' yang relatif $ LPBS_HOME.
username_in_jobid: 0
sequence_file: urutan
logfile: lpbs.log
[Scratch]
# Pengaturan ruang awal yang disediakan untuk pekerjaan. 'Scratch_root' mendefinisikan
# Lokasi di mana pekerjaan harus menulis data sementara. Jika diberikan sebagai path relatif,
# Itu relatif terhadap $ LPBS_HOME. Variabel lingkungan akan diperluas di
# Waktu pengajuan kerja.
# Jika nilai # 'create_jobid_folder' diatur ke 1, folder dengan nama
# ID pekerjaan penuh dibuat dalam scratch_root. Folder ini secara otomatis
# Dihapus ketika pekerjaan berakhir, kecuali 'keep_scratch' diatur ke 1. Jika pekerjaan
# Gagal, goresan tidak akan dihapus, kecuali 'delete_failed_scratch' diatur
# 1.
scratch_root: $ SCRATCH_ROOT
create_jobid_folder: 0
keep_scratch: 0
delete_failed_scratch: 0
[Pemberitahuan]
# Pengaturan tentang bagaimana pengguna harus diberitahu tentang kejadian seperti awal
# Dan akhir pekerjaan. Jika sent_mail diatur ke 1, email akan dikirim untuk
# Pemberitahuan tergantung pada nilai dari '-m' pilihan untuk lqsub. Jika
# 'Send_growl' diatur ke 1, Growl (http://growl.info) digunakan untuk pemberitahuan
# Pada MacOS X. Pemberitahuan melalui Growl tidak memperhitungkan 'm' pilihan
# Selama pengajuan kerja.
send_mail: 0
send_growl: 0
[Mail]
# Pengaturan SMTP untuk pemberitahuan email. Email pemberitahuan akan dikirim dari
# Alamat yang diberikan oleh 'dari' pilihan. Server SMTP yang diberikan dalam 'smtp' adalah
# Digunakan untuk mengirim email, jika 'authenticate' diatur ke 1, otentikasi
# Dilakukan dengan diberikan 'username' dan 'password'. Jika 'tls' adalah 1, TLS enkripsi
# Akan digunakan.
dari: nobody@example.org
smtp: smtp.example.com:587
username: pengguna
password: rahasia
mengotentikasi: 0
tls: 1
[Growl]
# Pengaturan pemberitahuan Growl. Pemberitahuan akan dikirim ke salah satu
# Localhost atau host remote melalui protokol GNTP. Pengaturan 'host'
# Memberikan alamat dan port dari server Growl, yang diberikan 'password' adalah
# Digunakan untuk otentikasi (perhatikan bahwa jika pengiriman ke localhost, tidak ada
# Otentikasi diperlukan, dan password harus kosong). Jika
# 'Lengket' diatur ke 1, pemberitahuan Growl akan lengket. Ini
# Mungkin untuk mengirim pemberitahuan ke lebih dari satu host. Dalam hal ini, baik
# 'Hostname' dan 'password' harus daftar dipisahkan koma dari nilai-nilai, dengan
# Setiap item yang sesuai dengan salah satu tuan rumah. Misalnya
# Hostname: localhost, remotehost
# Password: rahasia
hostname: localhost: 23053
password:
lengket: 0
[Log]
# 'Logfile' memberi nama file log pusat, relatif terhadap $ LPBS_HOME.
logfile: lpbs.log
Perhatikan bahwa jika file konfigurasi default digunakan, variabel lingkungan $ SCRATCH_ROOT harus didefinisikan dan direktori menunjuk ke harus ada dan dapat ditulis untuk semua pengguna yang mungkin mengirimkan pekerjaan.
Untuk instalasi seluruh sistem, / var / LPB adalah lokasi yang cocok untuk $ LPBS_HOME. Variabel lingkungan dapat diatur dalam /etc/bash.bashrc untuk semua pengguna. Untuk instalasi di ruang pengguna, virtualenv dianjurkan.
Setelah file konfigurasi utama, file $ HOME / .lpbs.cfg juga akan dibaca. Seorang pengguna dapat menggunakan ini untuk menggantikan pengaturan dalam konfigurasi sistem. Terakhir, perintah qsub juga memiliki opsi --config yang memungkinkan untuk menentukan belum file konfigurasi tambahan untuk dibaca.
Penggunaan
LPB berisi script lqsub, lqstat, dan lqdel, yang meniru PBS / TORQUE perintah qsub, qstat, dan lqdel, masing-masing. Perintah lqsub digunakan untuk mengirimkan pekerjaan, lqstat digunakan untuk menampilkan informasi tentang menjalankan pekerjaan, dan lqdel digunakan untuk membatalkan menjalankan pekerjaan. Sebagai contoh:
goerz @ localhost: ~> lqsub job.pbs
3.localhost.local
goerz @ localhost: ~> lqstat
Job id Nama Pengguna Walltime
-------------------- --------------- --------------- ---------------
3.localhost.local pbstest goerz 00:00:22
goerz @ localhost: ~> lqstat -f 3.localhost.local
Id Pekerjaan: 3.localhost.local
& Nbsp; job_name = pbstest
& Nbsp; Job_Owner = goerz
& Nbsp; Server = localhost.local
& Nbsp; exec_host = localhost.local
& Nbsp; PID = 14649
& Nbsp; Error_Path = stderr
& Nbsp; Join_Path = True
& Nbsp; Mail_Points = n
& Nbsp; Output_Path = pbstest.out
& Nbsp; resources_used.walltime = 00:00:43
goerz @ localhost: ~> lqdel 3.localhost.local
Perintah qsub dirancang untuk memahami semua opsi baris perintah dari perintah qsub di TORQUE versi 2.18, kecuali bahwa semua pilihan yang berhubungan dengan penjadwalan yang diam-diam diabaikan. Oleh karena itu, semua naskah kerja PBS harus submittable tidak berubah. Untuk rincian, jalankan lqsub, lqstat, dan lqdel dengan opsi help, dan / atau melihat manual TORSI.
Sebuah Pekerjaan Script Contoh
Berikut ini adalah contoh dari PBS pekerjaan script sederhana yang akan mencetak lingkungan penuh bahwa pekerjaan melihat. Anda mungkin ingin mengirimkan pekerjaan ini baik dengan LPB dan PBS / TORQUE untuk memverifikasi bahwa dengan pengaturan yang sesuai di lpbs.cfg, LPB menyediakan lingkungan yang identik sebagai LPB.
#! / Bin / bash
#PBS N pbstest
#PBS J oe
#PBS L node = 1: ppn = 1
#PBS L walltime = 00: 00: 10
#PBS L mem = 10MB
#PBS -o Pbstest.out
echo "################################################ #### "
echo "Pengguna: $ PBS_O_LOGNAME"
echo "pekerjaan Batch dimulai pada $ PBS_O_HOST"
echo "PBS job id: $ PBS_JOBID"
echo "PBS nama pekerjaan: $ PBS_JOBNAME"
echo "PBS direktori kerja: $ PBS_O_WORKDIR"
echo "Job mulai" `` hostname` date`
echo "direktori saat ini:" `pwd`
echo "Lingkungan PBS: $ PBS_ENVIRONMENT"
echo "################################################ #### "
echo "################################################ #### "
echo "Lingkungan Penuh:"
printenv
echo "################################################ #### "
echo "Job ini sedang dijalankan pada node berikut:"
kucing $ {} PBS_NODEFILE
echo "################################################ ########## "
echo "Job Selesai:" `date`
exit 0

Persyaratan :

• Python