Thanks for the response Andreas.<br><br>What is the known problem with the DLM LRU size? Here is what my slabinfo/meminfo look like on one of the clients. I don't see anything out of the ordinary:<br><br>(then again there are no jobs currently running on this system)<br>
<br>Thanks <br>-J<br><br>--<br>slabinfo:<br>..<br>slabinfo - version: 2.1<br># name <active_objs> <num_objs> <objsize> <objperslab> <pagesperslab> : tunables <limit> <batchcount> <sharedfactor> : slabdata <active_slabs> <num_slabs> <sharedavail><br>
nfs_direct_cache 0 0 128 30 1 : tunables 120 60 8 : slabdata 0 0 0<br>nfs_write_data 36 44 704 11 2 : tunables 54 27 8 : slabdata 4 4 0<br>nfs_read_data 32 33 704 11 2 : tunables 54 27 8 : slabdata 3 3 0<br>
nfs_inode_cache 0 0 984 4 1 : tunables 54 27 8 : slabdata 0 0 0<br>nfs_page 0 0 128 30 1 : tunables 120 60 8 : slabdata 0 0 0<br>rpc_buffers 8 8 2048 2 1 : tunables 24 12 8 : slabdata 4 4 0<br>
rpc_tasks 8 12 320 12 1 : tunables 54 27 8 : slabdata 1 1 0<br>rpc_inode_cache 0 0 832 4 1 : tunables 54 27 8 : slabdata 0 0 0<br>ll_async_page 326589 328572 320 12 1 : tunables 54 27 8 : slabdata 27381 27381 0<br>
ll_file_data 0 0 192 20 1 : tunables 120 60 8 : slabdata 0 0 0<br>lustre_inode_cache 769 772 896 4 1 : tunables 54 27 8 : slabdata 193 193 0<br>
lov_oinfo 1322 1392 320 12 1 : tunables 54 27 8 : slabdata 116 116 0<br>osc_quota_info 0 0 32 112 1 : tunables 120 60 8 : slabdata 0 0 0<br>ll_qunit_cache 0 0 112 34 1 : tunables 120 60 8 : slabdata 0 0 0<br>
llcd_cache 0 0 3952 1 1 : tunables 24 12 8 : slabdata 0 0 0<br>ptlrpc_cbdatas 0 0 32 112 1 : tunables 120 60 8 : slabdata 0 0 0<br>interval_node 1166 3240 128 30 1 : tunables 120 60 8 : slabdata 108 108 0<br>
ldlm_locks 2624 3688 512 8 1 : tunables 54 27 8 : slabdata 461 461 0<br>ldlm_resources 2002 3340 384 10 1 : tunables 54 27 8 : slabdata 334 334 0<br>ll_import_cache 0 0 1248 3 1 : tunables 24 12 8 : slabdata 0 0 0<br>
ll_obdo_cache 0 452282156 208 19 1 : tunables 120 60 8 : slabdata 0 23804324 0<br>ll_obd_dev_cache 13 13 5672 1 2 : tunables 8 4 0 : slabdata 13 13 0<br>
obd_lvfs_ctxt_cache 0 0 96 40 1 : tunables 120 60 8 : slabdata 0 0 0<br>SDP 0 0 1728 4 2 : tunables 24 12 8 : slabdata 0 0 0<br>
fib6_nodes 7 118 64 59 1 : tunables 120 60 8 : slabdata 2 2 0<br>ip6_dst_cache 14 36 320 12 1 : tunables 54 27 8 : slabdata 3 3 0<br>ndisc_cache 4 30 256 15 1 : tunables 120 60 8 : slabdata 2 2 0<br>
RAWv6 35 36 960 4 1 : tunables 54 27 8 : slabdata 9 9 0<br>UDPLITEv6 0 0 960 4 1 : tunables 54 27 8 : slabdata 0 0 0<br>UDPv6 7 12 960 4 1 : tunables 54 27 8 : slabdata 3 3 0<br>
tw_sock_TCPv6 0 0 192 20 1 : tunables 120 60 8 : slabdata 0 0 0<br>request_sock_TCPv6 0 0 192 20 1 : tunables 120 60 8 : slabdata 0 0 0<br>
TCPv6 2 4 1792 2 1 : tunables 24 12 8 : slabdata 2 2 0<br>ib_mad 2069 2160 448 8 1 : tunables 54 27 8 : slabdata 270 270 6<br>fuse_request 0 0 608 6 1 : tunables 54 27 8 : slabdata 0 0 0<br>
fuse_inode 0 0 704 11 2 : tunables 54 27 8 : slabdata 0 0 0<br>kcopyd_job 0 0 360 11 1 : tunables 54 27 8 : slabdata 0 0 0<br>dm_uevent 0 0 2608 3 2 : tunables 24 12 8 : slabdata 0 0 0<br>
dm_clone_bio_info 0 0 16 202 1 : tunables 120 60 8 : slabdata 0 0 0<br>dm_rq_target_io 0 0 408 9 1 : tunables 54 27 8 : slabdata 0 0 0<br>dm_target_io 0 0 24 144 1 : tunables 120 60 8 : slabdata 0 0 0<br>
dm_io 0 0 32 112 1 : tunables 120 60 8 : slabdata 0 0 0<br>uhci_urb_priv 1 67 56 67 1 : tunables 120 60 8 : slabdata 1 1 0<br>ext3_inode_cache 224598 224625 768 5 1 : tunables 54 27 8 : slabdata 44925 44925 0<br>
ext3_xattr 0 0 88 44 1 : tunables 120 60 8 : slabdata 0 0 0<br>journal_handle 9 288 24 144 1 : tunables 120 60 8 : slabdata 2 2 0<br>journal_head 76 120 96 40 1 : tunables 120 60 8 : slabdata 3 3 3<br>
revoke_table 4 202 16 202 1 : tunables 120 60 8 : slabdata 1 1 0<br>revoke_record 0 0 32 112 1 : tunables 120 60 8 : slabdata 0 0 0<br>sgpool-128 2 2 4096 1 1 : tunables 24 12 8 : slabdata 2 2 0<br>
sgpool-64 2 2 2048 2 1 : tunables 24 12 8 : slabdata 1 1 0<br>sgpool-32 2 4 1024 4 1 : tunables 54 27 8 : slabdata 1 1 0<br>sgpool-16 2 8 512 8 1 : tunables 54 27 8 : slabdata 1 1 0<br>
sgpool-8 2 15 256 15 1 : tunables 120 60 8 : slabdata 1 1 0<br>scsi_data_buffer 0 0 24 144 1 : tunables 120 60 8 : slabdata 0 0 0<br>scsi_io_context 0 0 112 34 1 : tunables 120 60 8 : slabdata 0 0 0<br>
flow_cache 0 0 96 40 1 : tunables 120 60 8 : slabdata 0 0 0<br>cfq_io_context 46 207 168 23 1 : tunables 120 60 8 : slabdata 9 9 0<br>cfq_queue 42 224 136 28 1 : tunables 120 60 8 : slabdata 8 8 0<br>
bsg_cmd 0 0 312 12 1 : tunables 54 27 8 : slabdata 0 0 0<br>mqueue_inode_cache 1 4 896 4 1 : tunables 54 27 8 : slabdata 1 1 0<br>
isofs_inode_cache 0 0 608 6 1 : tunables 54 27 8 : slabdata 0 0 0<br>minix_inode_cache 0 0 624 6 1 : tunables 54 27 8 : slabdata 0 0 0<br>hugetlbfs_inode_cache 1 7 576 7 1 : tunables 54 27 8 : slabdata 1 1 0<br>
dnotify_cache 0 0 40 92 1 : tunables 120 60 8 : slabdata 0 0 0<br>dquot 0 0 256 15 1 : tunables 120 60 8 : slabdata 0 0 0<br>inotify_event_cache 3 92 40 92 1 : tunables 120 60 8 : slabdata 1 1 0<br>
inotify_watch_cache 93 212 72 53 1 : tunables 120 60 8 : slabdata 4 4 0<br>kioctx 0 0 384 10 1 : tunables 54 27 8 : slabdata 0 0 0<br>
kiocb 0 0 256 15 1 : tunables 120 60 8 : slabdata 0 0 0<br>fasync_cache 0 0 24 144 1 : tunables 120 60 8 : slabdata 0 0 0<br>shmem_inode_cache 870 960 784 5 1 : tunables 54 27 8 : slabdata 192 192 0<br>
pid_namespace 0 0 2112 3 2 : tunables 24 12 8 : slabdata 0 0 0<br>nsproxy 0 0 56 67 1 : tunables 120 60 8 : slabdata 0 0 0<br>posix_timers_cache 0 0 192 20 1 : tunables 120 60 8 : slabdata 0 0 0<br>
uid_cache 5 30 128 30 1 : tunables 120 60 8 : slabdata 1 1 0<br>UNIX 125 330 704 11 2 : tunables 54 27 8 : slabdata 30 30 0<br>ip_mrt_cache 0 0 128 30 1 : tunables 120 60 8 : slabdata 0 0 0<br>
UDP-Lite 0 0 832 9 2 : tunables 54 27 8 : slabdata 0 0 0<br>tcp_bind_bucket 8 118 64 59 1 : tunables 120 60 8 : slabdata 2 2 0<br>inet_peer_cache 1 59 64 59 1 : tunables 120 60 8 : slabdata 1 1 0<br>
secpath_cache 0 0 64 59 1 : tunables 120 60 8 : slabdata 0 0 0<br>xfrm_dst_cache 0 0 384 10 1 : tunables 54 27 8 : slabdata 0 0 0<br>ip_fib_alias 0 0 32 112 1 : tunables 120 60 8 : slabdata 0 0 0<br>
ip_fib_hash 15 106 72 53 1 : tunables 120 60 8 : slabdata 2 2 0<br>ip_dst_cache 24 72 320 12 1 : tunables 54 27 8 : slabdata 6 6 2<br>arp_cache 3 15 256 15 1 : tunables 120 60 8 : slabdata 1 1 0<br>
RAW 33 35 768 5 1 : tunables 54 27 8 : slabdata 7 7 0<br>UDP 9 18 832 9 2 : tunables 54 27 8 : slabdata 2 2 0<br>tw_sock_TCP 0 0 192 20 1 : tunables 120 60 8 : slabdata 0 0 0<br>
request_sock_TCP 0 0 128 30 1 : tunables 120 60 8 : slabdata 0 0 0<br>TCP 11 16 1664 4 2 : tunables 24 12 8 : slabdata 4 4 0<br>eventpoll_pwq 69 265 72 53 1 : tunables 120 60 8 : slabdata 5 5 0<br>
eventpoll_epi 69 210 128 30 1 : tunables 120 60 8 : slabdata 7 7 0<br>pfm_event_set 0 0 57344 1 16 : tunables 8 4 0 : slabdata 0 0 0<br>pfm_context 0 0 8192 1 2 : tunables 8 4 0 : slabdata 0 0 0<br>
blkdev_integrity 0 0 112 34 1 : tunables 120 60 8 : slabdata 0 0 0<br>blkdev_queue 10 12 2264 3 2 : tunables 24 12 8 : slabdata 4 4 0<br>blkdev_requests 13 20 368 10 1 : tunables 54 27 8 : slabdata 2 2 0<br>
blkdev_ioc 44 371 72 53 1 : tunables 120 60 8 : slabdata 7 7 0<br>biovec-256 2 2 4096 1 1 : tunables 24 12 8 : slabdata 2 2 0<br>biovec-128 2 4 2048 2 1 : tunables 24 12 8 : slabdata 2 2 0<br>
biovec-64 2 8 1024 4 1 : tunables 54 27 8 : slabdata 2 2 0<br>biovec-16 2 30 256 15 1 : tunables 120 60 8 : slabdata 2 2 0<br>biovec-4 2 118 64 59 1 : tunables 120 60 8 : slabdata 2 2 0<br>
biovec-1 42 404 16 202 1 : tunables 120 60 8 : slabdata 2 2 3<br>bio_integrity_payload 2 60 128 30 1 : tunables 120 60 8 : slabdata 2 2 0<br>
bio 8 60 128 30 1 : tunables 120 60 8 : slabdata 2 2 1<br>sock_inode_cache 232 372 640 6 1 : tunables 54 27 8 : slabdata 62 62 0<br>skbuff_fclone_cache 7 7 512 7 1 : tunables 54 27 8 : slabdata 1 1 0<br>
skbuff_head_cache 5028 6210 256 15 1 : tunables 120 60 8 : slabdata 414 414 35<br>file_lock_cache 4 66 176 22 1 : tunables 120 60 8 : slabdata 3 3 0<br>Acpi-Operand 889 1802 72 53 1 : tunables 120 60 8 : slabdata 34 34 0<br>
Acpi-ParseExt 0 0 72 53 1 : tunables 120 60 8 : slabdata 0 0 0<br>Acpi-Parse 0 0 48 77 1 : tunables 120 60 8 : slabdata 0 0 0<br>Acpi-State 0 0 80 48 1 : tunables 120 60 8 : slabdata 0 0 0<br>
Acpi-Namespace 617 672 32 112 1 : tunables 120 60 8 : slabdata 6 6 0<br>task_delay_info 354 918 112 34 1 : tunables 120 60 8 : slabdata 27 27 0<br>taskstats 0 0 328 12 1 : tunables 54 27 8 : slabdata 0 0 0<br>
page_cgroup 0 0 40 92 1 : tunables 120 60 8 : slabdata 0 0 0<br>proc_inode_cache 1431 1458 608 6 1 : tunables 54 27 8 : slabdata 243 243 0<br>sigqueue 8 96 160 24 1 : tunables 120 60 8 : slabdata 4 4 0<br>
radix_tree_node 14146 15386 552 7 1 : tunables 54 27 8 : slabdata 2198 2198 0<br>bdev_cache 5 20 768 5 1 : tunables 54 27 8 : slabdata 4 4 0<br>sysfs_dir_cache 19120 19296 80 48 1 : tunables 120 60 8 : slabdata 402 402 0<br>
mnt_cache 30 60 256 15 1 : tunables 120 60 8 : slabdata 4 4 0<br>inode_cache 1327 1344 560 7 1 : tunables 54 27 8 : slabdata 192 192 0<br>dentry 276001 276203 208 19 1 : tunables 120 60 8 : slabdata 14537 14537 0<br>
filp 1054 2760 192 20 1 : tunables 120 60 8 : slabdata 138 138 86<br>names_cache 18 18 4096 1 1 : tunables 24 12 8 : slabdata 18 18 1<br>key_jar 0 0 192 20 1 : tunables 120 60 8 : slabdata 0 0 0<br>
buffer_head 73846 73889 104 37 1 : tunables 120 60 8 : slabdata 1997 1997 1<br>mm_struct 80 136 896 4 1 : tunables 54 27 8 : slabdata 34 34 1<br>vm_area_struct 2311 3784 176 22 1 : tunables 120 60 8 : slabdata 172 172 29<br>
fs_cache 75 590 64 59 1 : tunables 120 60 8 : slabdata 10 10 1<br>files_cache 63 165 768 5 1 : tunables 54 27 8 : slabdata 33 33 1<br>signal_cache 297 420 960 4 1 : tunables 54 27 8 : slabdata 105 105 0<br>
sighand_cache 295 381 2112 3 2 : tunables 24 12 8 : slabdata 127 127 0<br>task_xstate 105 256 512 8 1 : tunables 54 27 8 : slabdata 32 32 0<br>task_struct 349 350 5872 1 2 : tunables 8 4 0 : slabdata 349 350 0<br>
anon_vma 777 1584 24 144 1 : tunables 120 60 8 : slabdata 11 11 0<br>pid 342 870 128 30 1 : tunables 120 60 8 : slabdata 29 29 0<br>shared_policy_node 0 0 48 77 1 : tunables 120 60 8 : slabdata 0 0 0<br>
numa_policy 15 112 136 28 1 : tunables 120 60 8 : slabdata 4 4 0<br>idr_layer_cache 282 315 544 7 1 : tunables 54 27 8 : slabdata 45 45 0<br>size-4194304(DMA) 0 0 4194304 1 1024 : tunables 1 1 0 : slabdata 0 0 0<br>
size-4194304 0 0 4194304 1 1024 : tunables 1 1 0 : slabdata 0 0 0<br>size-2097152(DMA) 0 0 2097152 1 512 : tunables 1 1 0 : slabdata 0 0 0<br>
size-2097152 0 0 2097152 1 512 : tunables 1 1 0 : slabdata 0 0 0<br>size-1048576(DMA) 0 0 1048576 1 256 : tunables 1 1 0 : slabdata 0 0 0<br>
size-1048576 0 0 1048576 1 256 : tunables 1 1 0 : slabdata 0 0 0<br>size-524288(DMA) 0 0 524288 1 128 : tunables 1 1 0 : slabdata 0 0 0<br>
size-524288 0 0 524288 1 128 : tunables 1 1 0 : slabdata 0 0 0<br>size-262144(DMA) 0 0 262144 1 64 : tunables 1 1 0 : slabdata 0 0 0<br>size-262144 0 0 262144 1 64 : tunables 1 1 0 : slabdata 0 0 0<br>
size-131072(DMA) 0 0 131072 1 32 : tunables 8 4 0 : slabdata 0 0 0<br>size-131072 3 3 131072 1 32 : tunables 8 4 0 : slabdata 3 3 0<br>size-65536(DMA) 0 0 65536 1 16 : tunables 8 4 0 : slabdata 0 0 0<br>
size-65536 6 6 65536 1 16 : tunables 8 4 0 : slabdata 6 6 0<br>size-32768(DMA) 0 0 32768 1 8 : tunables 8 4 0 : slabdata 0 0 0<br>size-32768 8 8 32768 1 8 : tunables 8 4 0 : slabdata 8 8 0<br>
size-16384(DMA) 0 0 16384 1 4 : tunables 8 4 0 : slabdata 0 0 0<br>size-16384 43 43 16384 1 4 : tunables 8 4 0 : slabdata 43 43 0<br>size-8192(DMA) 0 0 8192 1 2 : tunables 8 4 0 : slabdata 0 0 0<br>
size-8192 3610 3610 8192 1 2 : tunables 8 4 0 : slabdata 3610 3610 0<br>size-4096(DMA) 0 0 4096 1 1 : tunables 24 12 8 : slabdata 0 0 0<br>size-4096 1769 1769 4096 1 1 : tunables 24 12 8 : slabdata 1769 1769 0<br>
size-2048(DMA) 0 0 2048 2 1 : tunables 24 12 8 : slabdata 0 0 0<br>size-2048 4598 4630 2048 2 1 : tunables 24 12 8 : slabdata 2315 2315 1<br>size-1024(DMA) 0 0 1024 4 1 : tunables 54 27 8 : slabdata 0 0 0<br>
size-1024 4749 4784 1024 4 1 : tunables 54 27 8 : slabdata 1196 1196 0<br>size-512(DMA) 0 0 512 8 1 : tunables 54 27 8 : slabdata 0 0 0<br>size-512 1406 1440 512 8 1 : tunables 54 27 8 : slabdata 180 180 29<br>
size-256(DMA) 0 0 256 15 1 : tunables 120 60 8 : slabdata 0 0 0<br>size-256 5428 5670 256 15 1 : tunables 120 60 8 : slabdata 378 378 2<br>size-128(DMA) 0 0 128 30 1 : tunables 120 60 8 : slabdata 0 0 0<br>
size-64(DMA) 0 0 64 59 1 : tunables 120 60 8 : slabdata 0 0 0<br>size-64 21391 43306 64 59 1 : tunables 120 60 8 : slabdata 734 734 0<br>size-32(DMA) 0 0 32 112 1 : tunables 120 60 8 : slabdata 0 0 0<br>
size-128 10539 31650 128 30 1 : tunables 120 60 8 : slabdata 1055 1055 0<br>size-32 11992 13552 32 112 1 : tunables 120 60 8 : slabdata 121 121 6<br>kmem_cache 181 181 4224 1 2 : tunables 8 4 0 : slabdata 181 181 0<br>
..<br>--<br><br>--<br>meminfo<br>..<br>MemTotal: 198091444 kB<br>MemFree: 99978176 kB<br>Buffers: 268288 kB<br>Cached: 1457808 kB<br>SwapCached: 23672 kB<br>Active: 1667172 kB<br>Inactive: 114552 kB<br>
SwapTotal: 75505460 kB<br>SwapFree: 75461372 kB<br>Dirty: 116 kB<br>Writeback: 0 kB<br>AnonPages: 53284 kB<br>Mapped: 8884 kB<br>Slab: 95664132 kB<br>SReclaimable: 256656 kB<br>
SUnreclaim: 95407476 kB<br>PageTables: 2368 kB<br>NFS_Unstable: 0 kB<br>Bounce: 0 kB<br>WritebackTmp: 0 kB<br>CommitLimit: 174551180 kB<br>Committed_AS: 137540 kB<br>VmallocTotal: 34359738367 kB<br>
VmallocUsed: 588416 kB<br>VmallocChunk: 34359149923 kB<br>HugePages_Total: 0<br>HugePages_Free: 0<br>HugePages_Rsvd: 0<br>HugePages_Surp: 0<br>Hugepagesize: 2048 kB<br>DirectMap4k: 8432 kB<br>
DirectMap2M: 201308160 kB<br>..<br>--<br><br><div class="gmail_quote">On Mon, Apr 19, 2010 at 10:07 AM, Andreas Dilger <span dir="ltr"><<a href="mailto:andreas.dilger@oracle.com">andreas.dilger@oracle.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin: 0pt 0pt 0pt 0.8ex; border-left: 1px solid rgb(204, 204, 204); padding-left: 1ex;">There is a known problem with the DLM LRU size that may be affecting you. It may be something else too. Please check /proc/{slabinfo,meminfo} to see what is using the memory on the client.<br>
<br>
Cheers, Andreas<div><div></div><div class="h5"><br>
<br>
On 2010-04-19, at 10:43, Jagga Soorma <<a href="mailto:jagga13@gmail.com" target="_blank">jagga13@gmail.com</a>> wrote:<br>
<br>
</div></div><blockquote class="gmail_quote" style="margin: 0pt 0pt 0pt 0.8ex; border-left: 1px solid rgb(204, 204, 204); padding-left: 1ex;"><div><div></div><div class="h5">
Hi Guys,<br>
<br>
My users are reporting some issues with memory on our lustre 1.8.1 clients. It looks like when they submit a single job at a time the run time was about 4.5 minutes. However, when they ran multiple jobs (10 or less) on a client with 192GB of memory on a single node the run time for each job was exceeding 3-4X the run time for the single process. They also noticed that the swap space kept climbing even though there was plenty of free memory on the system. Could this possibly be related to the lustre client? Does it reserve any memory that is not accessible by any other process even though it might not be in use?<br>
<br>
Thanks much,<br>
-J<br></div></div>
_______________________________________________<br>
Lustre-discuss mailing list<br>
<a href="mailto:Lustre-discuss@lists.lustre.org" target="_blank">Lustre-discuss@lists.lustre.org</a><br>
<a href="http://lists.lustre.org/mailman/listinfo/lustre-discuss" target="_blank">http://lists.lustre.org/mailman/listinfo/lustre-discuss</a><br>
</blockquote>
</blockquote></div><br>