[Lustre-discuss] Lustre Client - Memory Issue
Jagga Soorma
jagga13 at gmail.com
Mon Apr 19 10:16:00 PDT 2010
Thanks for the response Andreas.
What is the known problem with the DLM LRU size? Here is what my
slabinfo/meminfo look like on one of the clients. I don't see anything out
of the ordinary:
(then again there are no jobs currently running on this system)
Thanks
-J
--
slabinfo:
..
slabinfo - version: 2.1
# name <active_objs> <num_objs> <objsize> <objperslab>
<pagesperslab> : tunables <limit> <batchcount> <sharedfactor> : slabdata
<active_slabs> <num_slabs> <sharedavail>
nfs_direct_cache 0 0 128 30 1 : tunables 120 60 8 :
slabdata 0 0 0
nfs_write_data 36 44 704 11 2 : tunables 54 27 8 :
slabdata 4 4 0
nfs_read_data 32 33 704 11 2 : tunables 54 27 8 :
slabdata 3 3 0
nfs_inode_cache 0 0 984 4 1 : tunables 54 27 8 :
slabdata 0 0 0
nfs_page 0 0 128 30 1 : tunables 120 60 8 :
slabdata 0 0 0
rpc_buffers 8 8 2048 2 1 : tunables 24 12 8 :
slabdata 4 4 0
rpc_tasks 8 12 320 12 1 : tunables 54 27 8 :
slabdata 1 1 0
rpc_inode_cache 0 0 832 4 1 : tunables 54 27 8 :
slabdata 0 0 0
ll_async_page 326589 328572 320 12 1 : tunables 54 27 8 :
slabdata 27381 27381 0
ll_file_data 0 0 192 20 1 : tunables 120 60 8 :
slabdata 0 0 0
lustre_inode_cache 769 772 896 4 1 : tunables 54 27 8
: slabdata 193 193 0
lov_oinfo 1322 1392 320 12 1 : tunables 54 27 8 :
slabdata 116 116 0
osc_quota_info 0 0 32 112 1 : tunables 120 60 8 :
slabdata 0 0 0
ll_qunit_cache 0 0 112 34 1 : tunables 120 60 8 :
slabdata 0 0 0
llcd_cache 0 0 3952 1 1 : tunables 24 12 8 :
slabdata 0 0 0
ptlrpc_cbdatas 0 0 32 112 1 : tunables 120 60 8 :
slabdata 0 0 0
interval_node 1166 3240 128 30 1 : tunables 120 60 8 :
slabdata 108 108 0
ldlm_locks 2624 3688 512 8 1 : tunables 54 27 8 :
slabdata 461 461 0
ldlm_resources 2002 3340 384 10 1 : tunables 54 27 8 :
slabdata 334 334 0
ll_import_cache 0 0 1248 3 1 : tunables 24 12 8 :
slabdata 0 0 0
ll_obdo_cache 0 452282156 208 19 1 : tunables 120 60
8 : slabdata 0 23804324 0
ll_obd_dev_cache 13 13 5672 1 2 : tunables 8 4 0 :
slabdata 13 13 0
obd_lvfs_ctxt_cache 0 0 96 40 1 : tunables 120 60 8
: slabdata 0 0 0
SDP 0 0 1728 4 2 : tunables 24 12 8 :
slabdata 0 0 0
fib6_nodes 7 118 64 59 1 : tunables 120 60 8 :
slabdata 2 2 0
ip6_dst_cache 14 36 320 12 1 : tunables 54 27 8 :
slabdata 3 3 0
ndisc_cache 4 30 256 15 1 : tunables 120 60 8 :
slabdata 2 2 0
RAWv6 35 36 960 4 1 : tunables 54 27 8 :
slabdata 9 9 0
UDPLITEv6 0 0 960 4 1 : tunables 54 27 8 :
slabdata 0 0 0
UDPv6 7 12 960 4 1 : tunables 54 27 8 :
slabdata 3 3 0
tw_sock_TCPv6 0 0 192 20 1 : tunables 120 60 8 :
slabdata 0 0 0
request_sock_TCPv6 0 0 192 20 1 : tunables 120 60 8
: slabdata 0 0 0
TCPv6 2 4 1792 2 1 : tunables 24 12 8 :
slabdata 2 2 0
ib_mad 2069 2160 448 8 1 : tunables 54 27 8 :
slabdata 270 270 6
fuse_request 0 0 608 6 1 : tunables 54 27 8 :
slabdata 0 0 0
fuse_inode 0 0 704 11 2 : tunables 54 27 8 :
slabdata 0 0 0
kcopyd_job 0 0 360 11 1 : tunables 54 27 8 :
slabdata 0 0 0
dm_uevent 0 0 2608 3 2 : tunables 24 12 8 :
slabdata 0 0 0
dm_clone_bio_info 0 0 16 202 1 : tunables 120 60 8 :
slabdata 0 0 0
dm_rq_target_io 0 0 408 9 1 : tunables 54 27 8 :
slabdata 0 0 0
dm_target_io 0 0 24 144 1 : tunables 120 60 8 :
slabdata 0 0 0
dm_io 0 0 32 112 1 : tunables 120 60 8 :
slabdata 0 0 0
uhci_urb_priv 1 67 56 67 1 : tunables 120 60 8 :
slabdata 1 1 0
ext3_inode_cache 224598 224625 768 5 1 : tunables 54 27 8 :
slabdata 44925 44925 0
ext3_xattr 0 0 88 44 1 : tunables 120 60 8 :
slabdata 0 0 0
journal_handle 9 288 24 144 1 : tunables 120 60 8 :
slabdata 2 2 0
journal_head 76 120 96 40 1 : tunables 120 60 8 :
slabdata 3 3 3
revoke_table 4 202 16 202 1 : tunables 120 60 8 :
slabdata 1 1 0
revoke_record 0 0 32 112 1 : tunables 120 60 8 :
slabdata 0 0 0
sgpool-128 2 2 4096 1 1 : tunables 24 12 8 :
slabdata 2 2 0
sgpool-64 2 2 2048 2 1 : tunables 24 12 8 :
slabdata 1 1 0
sgpool-32 2 4 1024 4 1 : tunables 54 27 8 :
slabdata 1 1 0
sgpool-16 2 8 512 8 1 : tunables 54 27 8 :
slabdata 1 1 0
sgpool-8 2 15 256 15 1 : tunables 120 60 8 :
slabdata 1 1 0
scsi_data_buffer 0 0 24 144 1 : tunables 120 60 8 :
slabdata 0 0 0
scsi_io_context 0 0 112 34 1 : tunables 120 60 8 :
slabdata 0 0 0
flow_cache 0 0 96 40 1 : tunables 120 60 8 :
slabdata 0 0 0
cfq_io_context 46 207 168 23 1 : tunables 120 60 8 :
slabdata 9 9 0
cfq_queue 42 224 136 28 1 : tunables 120 60 8 :
slabdata 8 8 0
bsg_cmd 0 0 312 12 1 : tunables 54 27 8 :
slabdata 0 0 0
mqueue_inode_cache 1 4 896 4 1 : tunables 54 27 8
: slabdata 1 1 0
isofs_inode_cache 0 0 608 6 1 : tunables 54 27 8 :
slabdata 0 0 0
minix_inode_cache 0 0 624 6 1 : tunables 54 27 8 :
slabdata 0 0 0
hugetlbfs_inode_cache 1 7 576 7 1 : tunables 54 27
8 : slabdata 1 1 0
dnotify_cache 0 0 40 92 1 : tunables 120 60 8 :
slabdata 0 0 0
dquot 0 0 256 15 1 : tunables 120 60 8 :
slabdata 0 0 0
inotify_event_cache 3 92 40 92 1 : tunables 120 60 8
: slabdata 1 1 0
inotify_watch_cache 93 212 72 53 1 : tunables 120 60 8
: slabdata 4 4 0
kioctx 0 0 384 10 1 : tunables 54 27 8 :
slabdata 0 0 0
kiocb 0 0 256 15 1 : tunables 120 60 8 :
slabdata 0 0 0
fasync_cache 0 0 24 144 1 : tunables 120 60 8 :
slabdata 0 0 0
shmem_inode_cache 870 960 784 5 1 : tunables 54 27 8 :
slabdata 192 192 0
pid_namespace 0 0 2112 3 2 : tunables 24 12 8 :
slabdata 0 0 0
nsproxy 0 0 56 67 1 : tunables 120 60 8 :
slabdata 0 0 0
posix_timers_cache 0 0 192 20 1 : tunables 120 60 8
: slabdata 0 0 0
uid_cache 5 30 128 30 1 : tunables 120 60 8 :
slabdata 1 1 0
UNIX 125 330 704 11 2 : tunables 54 27 8 :
slabdata 30 30 0
ip_mrt_cache 0 0 128 30 1 : tunables 120 60 8 :
slabdata 0 0 0
UDP-Lite 0 0 832 9 2 : tunables 54 27 8 :
slabdata 0 0 0
tcp_bind_bucket 8 118 64 59 1 : tunables 120 60 8 :
slabdata 2 2 0
inet_peer_cache 1 59 64 59 1 : tunables 120 60 8 :
slabdata 1 1 0
secpath_cache 0 0 64 59 1 : tunables 120 60 8 :
slabdata 0 0 0
xfrm_dst_cache 0 0 384 10 1 : tunables 54 27 8 :
slabdata 0 0 0
ip_fib_alias 0 0 32 112 1 : tunables 120 60 8 :
slabdata 0 0 0
ip_fib_hash 15 106 72 53 1 : tunables 120 60 8 :
slabdata 2 2 0
ip_dst_cache 24 72 320 12 1 : tunables 54 27 8 :
slabdata 6 6 2
arp_cache 3 15 256 15 1 : tunables 120 60 8 :
slabdata 1 1 0
RAW 33 35 768 5 1 : tunables 54 27 8 :
slabdata 7 7 0
UDP 9 18 832 9 2 : tunables 54 27 8 :
slabdata 2 2 0
tw_sock_TCP 0 0 192 20 1 : tunables 120 60 8 :
slabdata 0 0 0
request_sock_TCP 0 0 128 30 1 : tunables 120 60 8 :
slabdata 0 0 0
TCP 11 16 1664 4 2 : tunables 24 12 8 :
slabdata 4 4 0
eventpoll_pwq 69 265 72 53 1 : tunables 120 60 8 :
slabdata 5 5 0
eventpoll_epi 69 210 128 30 1 : tunables 120 60 8 :
slabdata 7 7 0
pfm_event_set 0 0 57344 1 16 : tunables 8 4 0 :
slabdata 0 0 0
pfm_context 0 0 8192 1 2 : tunables 8 4 0 :
slabdata 0 0 0
blkdev_integrity 0 0 112 34 1 : tunables 120 60 8 :
slabdata 0 0 0
blkdev_queue 10 12 2264 3 2 : tunables 24 12 8 :
slabdata 4 4 0
blkdev_requests 13 20 368 10 1 : tunables 54 27 8 :
slabdata 2 2 0
blkdev_ioc 44 371 72 53 1 : tunables 120 60 8 :
slabdata 7 7 0
biovec-256 2 2 4096 1 1 : tunables 24 12 8 :
slabdata 2 2 0
biovec-128 2 4 2048 2 1 : tunables 24 12 8 :
slabdata 2 2 0
biovec-64 2 8 1024 4 1 : tunables 54 27 8 :
slabdata 2 2 0
biovec-16 2 30 256 15 1 : tunables 120 60 8 :
slabdata 2 2 0
biovec-4 2 118 64 59 1 : tunables 120 60 8 :
slabdata 2 2 0
biovec-1 42 404 16 202 1 : tunables 120 60 8 :
slabdata 2 2 3
bio_integrity_payload 2 60 128 30 1 : tunables 120 60
8 : slabdata 2 2 0
bio 8 60 128 30 1 : tunables 120 60 8 :
slabdata 2 2 1
sock_inode_cache 232 372 640 6 1 : tunables 54 27 8 :
slabdata 62 62 0
skbuff_fclone_cache 7 7 512 7 1 : tunables 54 27 8
: slabdata 1 1 0
skbuff_head_cache 5028 6210 256 15 1 : tunables 120 60 8 :
slabdata 414 414 35
file_lock_cache 4 66 176 22 1 : tunables 120 60 8 :
slabdata 3 3 0
Acpi-Operand 889 1802 72 53 1 : tunables 120 60 8 :
slabdata 34 34 0
Acpi-ParseExt 0 0 72 53 1 : tunables 120 60 8 :
slabdata 0 0 0
Acpi-Parse 0 0 48 77 1 : tunables 120 60 8 :
slabdata 0 0 0
Acpi-State 0 0 80 48 1 : tunables 120 60 8 :
slabdata 0 0 0
Acpi-Namespace 617 672 32 112 1 : tunables 120 60 8 :
slabdata 6 6 0
task_delay_info 354 918 112 34 1 : tunables 120 60 8 :
slabdata 27 27 0
taskstats 0 0 328 12 1 : tunables 54 27 8 :
slabdata 0 0 0
page_cgroup 0 0 40 92 1 : tunables 120 60 8 :
slabdata 0 0 0
proc_inode_cache 1431 1458 608 6 1 : tunables 54 27 8 :
slabdata 243 243 0
sigqueue 8 96 160 24 1 : tunables 120 60 8 :
slabdata 4 4 0
radix_tree_node 14146 15386 552 7 1 : tunables 54 27 8 :
slabdata 2198 2198 0
bdev_cache 5 20 768 5 1 : tunables 54 27 8 :
slabdata 4 4 0
sysfs_dir_cache 19120 19296 80 48 1 : tunables 120 60 8 :
slabdata 402 402 0
mnt_cache 30 60 256 15 1 : tunables 120 60 8 :
slabdata 4 4 0
inode_cache 1327 1344 560 7 1 : tunables 54 27 8 :
slabdata 192 192 0
dentry 276001 276203 208 19 1 : tunables 120 60 8 :
slabdata 14537 14537 0
filp 1054 2760 192 20 1 : tunables 120 60 8 :
slabdata 138 138 86
names_cache 18 18 4096 1 1 : tunables 24 12 8 :
slabdata 18 18 1
key_jar 0 0 192 20 1 : tunables 120 60 8 :
slabdata 0 0 0
buffer_head 73846 73889 104 37 1 : tunables 120 60 8 :
slabdata 1997 1997 1
mm_struct 80 136 896 4 1 : tunables 54 27 8 :
slabdata 34 34 1
vm_area_struct 2311 3784 176 22 1 : tunables 120 60 8 :
slabdata 172 172 29
fs_cache 75 590 64 59 1 : tunables 120 60 8 :
slabdata 10 10 1
files_cache 63 165 768 5 1 : tunables 54 27 8 :
slabdata 33 33 1
signal_cache 297 420 960 4 1 : tunables 54 27 8 :
slabdata 105 105 0
sighand_cache 295 381 2112 3 2 : tunables 24 12 8 :
slabdata 127 127 0
task_xstate 105 256 512 8 1 : tunables 54 27 8 :
slabdata 32 32 0
task_struct 349 350 5872 1 2 : tunables 8 4 0 :
slabdata 349 350 0
anon_vma 777 1584 24 144 1 : tunables 120 60 8 :
slabdata 11 11 0
pid 342 870 128 30 1 : tunables 120 60 8 :
slabdata 29 29 0
shared_policy_node 0 0 48 77 1 : tunables 120 60 8
: slabdata 0 0 0
numa_policy 15 112 136 28 1 : tunables 120 60 8 :
slabdata 4 4 0
idr_layer_cache 282 315 544 7 1 : tunables 54 27 8 :
slabdata 45 45 0
size-4194304(DMA) 0 0 4194304 1 1024 : tunables 1 1 0
: slabdata 0 0 0
size-4194304 0 0 4194304 1 1024 : tunables 1 1 0
: slabdata 0 0 0
size-2097152(DMA) 0 0 2097152 1 512 : tunables 1 1 0
: slabdata 0 0 0
size-2097152 0 0 2097152 1 512 : tunables 1 1 0
: slabdata 0 0 0
size-1048576(DMA) 0 0 1048576 1 256 : tunables 1 1 0
: slabdata 0 0 0
size-1048576 0 0 1048576 1 256 : tunables 1 1 0
: slabdata 0 0 0
size-524288(DMA) 0 0 524288 1 128 : tunables 1 1 0 :
slabdata 0 0 0
size-524288 0 0 524288 1 128 : tunables 1 1 0 :
slabdata 0 0 0
size-262144(DMA) 0 0 262144 1 64 : tunables 1 1 0 :
slabdata 0 0 0
size-262144 0 0 262144 1 64 : tunables 1 1 0 :
slabdata 0 0 0
size-131072(DMA) 0 0 131072 1 32 : tunables 8 4 0 :
slabdata 0 0 0
size-131072 3 3 131072 1 32 : tunables 8 4 0 :
slabdata 3 3 0
size-65536(DMA) 0 0 65536 1 16 : tunables 8 4 0 :
slabdata 0 0 0
size-65536 6 6 65536 1 16 : tunables 8 4 0 :
slabdata 6 6 0
size-32768(DMA) 0 0 32768 1 8 : tunables 8 4 0 :
slabdata 0 0 0
size-32768 8 8 32768 1 8 : tunables 8 4 0 :
slabdata 8 8 0
size-16384(DMA) 0 0 16384 1 4 : tunables 8 4 0 :
slabdata 0 0 0
size-16384 43 43 16384 1 4 : tunables 8 4 0 :
slabdata 43 43 0
size-8192(DMA) 0 0 8192 1 2 : tunables 8 4 0 :
slabdata 0 0 0
size-8192 3610 3610 8192 1 2 : tunables 8 4 0 :
slabdata 3610 3610 0
size-4096(DMA) 0 0 4096 1 1 : tunables 24 12 8 :
slabdata 0 0 0
size-4096 1769 1769 4096 1 1 : tunables 24 12 8 :
slabdata 1769 1769 0
size-2048(DMA) 0 0 2048 2 1 : tunables 24 12 8 :
slabdata 0 0 0
size-2048 4598 4630 2048 2 1 : tunables 24 12 8 :
slabdata 2315 2315 1
size-1024(DMA) 0 0 1024 4 1 : tunables 54 27 8 :
slabdata 0 0 0
size-1024 4749 4784 1024 4 1 : tunables 54 27 8 :
slabdata 1196 1196 0
size-512(DMA) 0 0 512 8 1 : tunables 54 27 8 :
slabdata 0 0 0
size-512 1406 1440 512 8 1 : tunables 54 27 8 :
slabdata 180 180 29
size-256(DMA) 0 0 256 15 1 : tunables 120 60 8 :
slabdata 0 0 0
size-256 5428 5670 256 15 1 : tunables 120 60 8 :
slabdata 378 378 2
size-128(DMA) 0 0 128 30 1 : tunables 120 60 8 :
slabdata 0 0 0
size-64(DMA) 0 0 64 59 1 : tunables 120 60 8 :
slabdata 0 0 0
size-64 21391 43306 64 59 1 : tunables 120 60 8 :
slabdata 734 734 0
size-32(DMA) 0 0 32 112 1 : tunables 120 60 8 :
slabdata 0 0 0
size-128 10539 31650 128 30 1 : tunables 120 60 8 :
slabdata 1055 1055 0
size-32 11992 13552 32 112 1 : tunables 120 60 8 :
slabdata 121 121 6
kmem_cache 181 181 4224 1 2 : tunables 8 4 0 :
slabdata 181 181 0
..
--
--
meminfo
..
MemTotal: 198091444 kB
MemFree: 99978176 kB
Buffers: 268288 kB
Cached: 1457808 kB
SwapCached: 23672 kB
Active: 1667172 kB
Inactive: 114552 kB
SwapTotal: 75505460 kB
SwapFree: 75461372 kB
Dirty: 116 kB
Writeback: 0 kB
AnonPages: 53284 kB
Mapped: 8884 kB
Slab: 95664132 kB
SReclaimable: 256656 kB
SUnreclaim: 95407476 kB
PageTables: 2368 kB
NFS_Unstable: 0 kB
Bounce: 0 kB
WritebackTmp: 0 kB
CommitLimit: 174551180 kB
Committed_AS: 137540 kB
VmallocTotal: 34359738367 kB
VmallocUsed: 588416 kB
VmallocChunk: 34359149923 kB
HugePages_Total: 0
HugePages_Free: 0
HugePages_Rsvd: 0
HugePages_Surp: 0
Hugepagesize: 2048 kB
DirectMap4k: 8432 kB
DirectMap2M: 201308160 kB
..
--
On Mon, Apr 19, 2010 at 10:07 AM, Andreas Dilger
<andreas.dilger at oracle.com>wrote:
> There is a known problem with the DLM LRU size that may be affecting you.
> It may be something else too. Please check /proc/{slabinfo,meminfo} to see
> what is using the memory on the client.
>
> Cheers, Andreas
>
>
> On 2010-04-19, at 10:43, Jagga Soorma <jagga13 at gmail.com> wrote:
>
> Hi Guys,
>>
>> My users are reporting some issues with memory on our lustre 1.8.1
>> clients. It looks like when they submit a single job at a time the run time
>> was about 4.5 minutes. However, when they ran multiple jobs (10 or less) on
>> a client with 192GB of memory on a single node the run time for each job was
>> exceeding 3-4X the run time for the single process. They also noticed that
>> the swap space kept climbing even though there was plenty of free memory on
>> the system. Could this possibly be related to the lustre client? Does it
>> reserve any memory that is not accessible by any other process even though
>> it might not be in use?
>>
>> Thanks much,
>> -J
>> _______________________________________________
>> Lustre-discuss mailing list
>> Lustre-discuss at lists.lustre.org
>> http://lists.lustre.org/mailman/listinfo/lustre-discuss
>>
>
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://lists.lustre.org/pipermail/lustre-discuss-lustre.org/attachments/20100419/c2bda61b/attachment.htm>
More information about the lustre-discuss
mailing list