[Lustre-discuss] Lustre Client - Memory Issue
Jagga Soorma
jagga13 at gmail.com
Mon Apr 19 10:39:30 PDT 2010
Actually this does not seem correct:
SUnreclaim: 95407476 kB
Shouldn't this be a lot smaller?
-Simran
On Mon, Apr 19, 2010 at 10:16 AM, Jagga Soorma <jagga13 at gmail.com> wrote:
> Thanks for the response Andreas.
>
> What is the known problem with the DLM LRU size? Here is what my
> slabinfo/meminfo look like on one of the clients. I don't see anything out
> of the ordinary:
>
> (then again there are no jobs currently running on this system)
>
> Thanks
> -J
>
> --
> slabinfo:
> ..
> slabinfo - version: 2.1
> # name <active_objs> <num_objs> <objsize> <objperslab>
> <pagesperslab> : tunables <limit> <batchcount> <sharedfactor> : slabdata
> <active_slabs> <num_slabs> <sharedavail>
> nfs_direct_cache 0 0 128 30 1 : tunables 120 60 8
> : slabdata 0 0 0
> nfs_write_data 36 44 704 11 2 : tunables 54 27 8
> : slabdata 4 4 0
> nfs_read_data 32 33 704 11 2 : tunables 54 27 8
> : slabdata 3 3 0
> nfs_inode_cache 0 0 984 4 1 : tunables 54 27 8
> : slabdata 0 0 0
> nfs_page 0 0 128 30 1 : tunables 120 60 8
> : slabdata 0 0 0
> rpc_buffers 8 8 2048 2 1 : tunables 24 12 8
> : slabdata 4 4 0
> rpc_tasks 8 12 320 12 1 : tunables 54 27 8
> : slabdata 1 1 0
> rpc_inode_cache 0 0 832 4 1 : tunables 54 27 8
> : slabdata 0 0 0
> ll_async_page 326589 328572 320 12 1 : tunables 54 27 8
> : slabdata 27381 27381 0
> ll_file_data 0 0 192 20 1 : tunables 120 60 8
> : slabdata 0 0 0
> lustre_inode_cache 769 772 896 4 1 : tunables 54 27 8
> : slabdata 193 193 0
> lov_oinfo 1322 1392 320 12 1 : tunables 54 27 8
> : slabdata 116 116 0
> osc_quota_info 0 0 32 112 1 : tunables 120 60 8
> : slabdata 0 0 0
> ll_qunit_cache 0 0 112 34 1 : tunables 120 60 8
> : slabdata 0 0 0
> llcd_cache 0 0 3952 1 1 : tunables 24 12 8
> : slabdata 0 0 0
> ptlrpc_cbdatas 0 0 32 112 1 : tunables 120 60 8
> : slabdata 0 0 0
> interval_node 1166 3240 128 30 1 : tunables 120 60 8
> : slabdata 108 108 0
> ldlm_locks 2624 3688 512 8 1 : tunables 54 27 8
> : slabdata 461 461 0
> ldlm_resources 2002 3340 384 10 1 : tunables 54 27 8
> : slabdata 334 334 0
> ll_import_cache 0 0 1248 3 1 : tunables 24 12 8
> : slabdata 0 0 0
> ll_obdo_cache 0 452282156 208 19 1 : tunables 120 60
> 8 : slabdata 0 23804324 0
> ll_obd_dev_cache 13 13 5672 1 2 : tunables 8 4 0
> : slabdata 13 13 0
> obd_lvfs_ctxt_cache 0 0 96 40 1 : tunables 120 60
> 8 : slabdata 0 0 0
> SDP 0 0 1728 4 2 : tunables 24 12 8
> : slabdata 0 0 0
> fib6_nodes 7 118 64 59 1 : tunables 120 60 8
> : slabdata 2 2 0
> ip6_dst_cache 14 36 320 12 1 : tunables 54 27 8
> : slabdata 3 3 0
> ndisc_cache 4 30 256 15 1 : tunables 120 60 8
> : slabdata 2 2 0
> RAWv6 35 36 960 4 1 : tunables 54 27 8
> : slabdata 9 9 0
> UDPLITEv6 0 0 960 4 1 : tunables 54 27 8
> : slabdata 0 0 0
> UDPv6 7 12 960 4 1 : tunables 54 27 8
> : slabdata 3 3 0
> tw_sock_TCPv6 0 0 192 20 1 : tunables 120 60 8
> : slabdata 0 0 0
> request_sock_TCPv6 0 0 192 20 1 : tunables 120 60 8
> : slabdata 0 0 0
> TCPv6 2 4 1792 2 1 : tunables 24 12 8
> : slabdata 2 2 0
> ib_mad 2069 2160 448 8 1 : tunables 54 27 8
> : slabdata 270 270 6
> fuse_request 0 0 608 6 1 : tunables 54 27 8
> : slabdata 0 0 0
> fuse_inode 0 0 704 11 2 : tunables 54 27 8
> : slabdata 0 0 0
> kcopyd_job 0 0 360 11 1 : tunables 54 27 8
> : slabdata 0 0 0
> dm_uevent 0 0 2608 3 2 : tunables 24 12 8
> : slabdata 0 0 0
> dm_clone_bio_info 0 0 16 202 1 : tunables 120 60 8
> : slabdata 0 0 0
> dm_rq_target_io 0 0 408 9 1 : tunables 54 27 8
> : slabdata 0 0 0
> dm_target_io 0 0 24 144 1 : tunables 120 60 8
> : slabdata 0 0 0
> dm_io 0 0 32 112 1 : tunables 120 60 8
> : slabdata 0 0 0
> uhci_urb_priv 1 67 56 67 1 : tunables 120 60 8
> : slabdata 1 1 0
> ext3_inode_cache 224598 224625 768 5 1 : tunables 54 27 8
> : slabdata 44925 44925 0
> ext3_xattr 0 0 88 44 1 : tunables 120 60 8
> : slabdata 0 0 0
> journal_handle 9 288 24 144 1 : tunables 120 60 8
> : slabdata 2 2 0
> journal_head 76 120 96 40 1 : tunables 120 60 8
> : slabdata 3 3 3
> revoke_table 4 202 16 202 1 : tunables 120 60 8
> : slabdata 1 1 0
> revoke_record 0 0 32 112 1 : tunables 120 60 8
> : slabdata 0 0 0
> sgpool-128 2 2 4096 1 1 : tunables 24 12 8
> : slabdata 2 2 0
> sgpool-64 2 2 2048 2 1 : tunables 24 12 8
> : slabdata 1 1 0
> sgpool-32 2 4 1024 4 1 : tunables 54 27 8
> : slabdata 1 1 0
> sgpool-16 2 8 512 8 1 : tunables 54 27 8
> : slabdata 1 1 0
> sgpool-8 2 15 256 15 1 : tunables 120 60 8
> : slabdata 1 1 0
> scsi_data_buffer 0 0 24 144 1 : tunables 120 60 8
> : slabdata 0 0 0
> scsi_io_context 0 0 112 34 1 : tunables 120 60 8
> : slabdata 0 0 0
> flow_cache 0 0 96 40 1 : tunables 120 60 8
> : slabdata 0 0 0
> cfq_io_context 46 207 168 23 1 : tunables 120 60 8
> : slabdata 9 9 0
> cfq_queue 42 224 136 28 1 : tunables 120 60 8
> : slabdata 8 8 0
> bsg_cmd 0 0 312 12 1 : tunables 54 27 8
> : slabdata 0 0 0
> mqueue_inode_cache 1 4 896 4 1 : tunables 54 27 8
> : slabdata 1 1 0
> isofs_inode_cache 0 0 608 6 1 : tunables 54 27 8
> : slabdata 0 0 0
> minix_inode_cache 0 0 624 6 1 : tunables 54 27 8
> : slabdata 0 0 0
> hugetlbfs_inode_cache 1 7 576 7 1 : tunables 54
> 27 8 : slabdata 1 1 0
> dnotify_cache 0 0 40 92 1 : tunables 120 60 8
> : slabdata 0 0 0
> dquot 0 0 256 15 1 : tunables 120 60 8
> : slabdata 0 0 0
> inotify_event_cache 3 92 40 92 1 : tunables 120 60
> 8 : slabdata 1 1 0
> inotify_watch_cache 93 212 72 53 1 : tunables 120 60
> 8 : slabdata 4 4 0
> kioctx 0 0 384 10 1 : tunables 54 27 8
> : slabdata 0 0 0
> kiocb 0 0 256 15 1 : tunables 120 60 8
> : slabdata 0 0 0
> fasync_cache 0 0 24 144 1 : tunables 120 60 8
> : slabdata 0 0 0
> shmem_inode_cache 870 960 784 5 1 : tunables 54 27 8
> : slabdata 192 192 0
> pid_namespace 0 0 2112 3 2 : tunables 24 12 8
> : slabdata 0 0 0
> nsproxy 0 0 56 67 1 : tunables 120 60 8
> : slabdata 0 0 0
> posix_timers_cache 0 0 192 20 1 : tunables 120 60 8
> : slabdata 0 0 0
> uid_cache 5 30 128 30 1 : tunables 120 60 8
> : slabdata 1 1 0
> UNIX 125 330 704 11 2 : tunables 54 27 8
> : slabdata 30 30 0
> ip_mrt_cache 0 0 128 30 1 : tunables 120 60 8
> : slabdata 0 0 0
> UDP-Lite 0 0 832 9 2 : tunables 54 27 8
> : slabdata 0 0 0
> tcp_bind_bucket 8 118 64 59 1 : tunables 120 60 8
> : slabdata 2 2 0
> inet_peer_cache 1 59 64 59 1 : tunables 120 60 8
> : slabdata 1 1 0
> secpath_cache 0 0 64 59 1 : tunables 120 60 8
> : slabdata 0 0 0
> xfrm_dst_cache 0 0 384 10 1 : tunables 54 27 8
> : slabdata 0 0 0
> ip_fib_alias 0 0 32 112 1 : tunables 120 60 8
> : slabdata 0 0 0
> ip_fib_hash 15 106 72 53 1 : tunables 120 60 8
> : slabdata 2 2 0
> ip_dst_cache 24 72 320 12 1 : tunables 54 27 8
> : slabdata 6 6 2
> arp_cache 3 15 256 15 1 : tunables 120 60 8
> : slabdata 1 1 0
> RAW 33 35 768 5 1 : tunables 54 27 8
> : slabdata 7 7 0
> UDP 9 18 832 9 2 : tunables 54 27 8
> : slabdata 2 2 0
> tw_sock_TCP 0 0 192 20 1 : tunables 120 60 8
> : slabdata 0 0 0
> request_sock_TCP 0 0 128 30 1 : tunables 120 60 8
> : slabdata 0 0 0
> TCP 11 16 1664 4 2 : tunables 24 12 8
> : slabdata 4 4 0
> eventpoll_pwq 69 265 72 53 1 : tunables 120 60 8
> : slabdata 5 5 0
> eventpoll_epi 69 210 128 30 1 : tunables 120 60 8
> : slabdata 7 7 0
> pfm_event_set 0 0 57344 1 16 : tunables 8 4 0
> : slabdata 0 0 0
> pfm_context 0 0 8192 1 2 : tunables 8 4 0
> : slabdata 0 0 0
> blkdev_integrity 0 0 112 34 1 : tunables 120 60 8
> : slabdata 0 0 0
> blkdev_queue 10 12 2264 3 2 : tunables 24 12 8
> : slabdata 4 4 0
> blkdev_requests 13 20 368 10 1 : tunables 54 27 8
> : slabdata 2 2 0
> blkdev_ioc 44 371 72 53 1 : tunables 120 60 8
> : slabdata 7 7 0
> biovec-256 2 2 4096 1 1 : tunables 24 12 8
> : slabdata 2 2 0
> biovec-128 2 4 2048 2 1 : tunables 24 12 8
> : slabdata 2 2 0
> biovec-64 2 8 1024 4 1 : tunables 54 27 8
> : slabdata 2 2 0
> biovec-16 2 30 256 15 1 : tunables 120 60 8
> : slabdata 2 2 0
> biovec-4 2 118 64 59 1 : tunables 120 60 8
> : slabdata 2 2 0
> biovec-1 42 404 16 202 1 : tunables 120 60 8
> : slabdata 2 2 3
> bio_integrity_payload 2 60 128 30 1 : tunables 120
> 60 8 : slabdata 2 2 0
> bio 8 60 128 30 1 : tunables 120 60 8
> : slabdata 2 2 1
> sock_inode_cache 232 372 640 6 1 : tunables 54 27 8
> : slabdata 62 62 0
> skbuff_fclone_cache 7 7 512 7 1 : tunables 54 27
> 8 : slabdata 1 1 0
> skbuff_head_cache 5028 6210 256 15 1 : tunables 120 60 8
> : slabdata 414 414 35
> file_lock_cache 4 66 176 22 1 : tunables 120 60 8
> : slabdata 3 3 0
> Acpi-Operand 889 1802 72 53 1 : tunables 120 60 8
> : slabdata 34 34 0
> Acpi-ParseExt 0 0 72 53 1 : tunables 120 60 8
> : slabdata 0 0 0
> Acpi-Parse 0 0 48 77 1 : tunables 120 60 8
> : slabdata 0 0 0
> Acpi-State 0 0 80 48 1 : tunables 120 60 8
> : slabdata 0 0 0
> Acpi-Namespace 617 672 32 112 1 : tunables 120 60 8
> : slabdata 6 6 0
> task_delay_info 354 918 112 34 1 : tunables 120 60 8
> : slabdata 27 27 0
> taskstats 0 0 328 12 1 : tunables 54 27 8
> : slabdata 0 0 0
> page_cgroup 0 0 40 92 1 : tunables 120 60 8
> : slabdata 0 0 0
> proc_inode_cache 1431 1458 608 6 1 : tunables 54 27 8
> : slabdata 243 243 0
> sigqueue 8 96 160 24 1 : tunables 120 60 8
> : slabdata 4 4 0
> radix_tree_node 14146 15386 552 7 1 : tunables 54 27 8
> : slabdata 2198 2198 0
> bdev_cache 5 20 768 5 1 : tunables 54 27 8
> : slabdata 4 4 0
> sysfs_dir_cache 19120 19296 80 48 1 : tunables 120 60 8
> : slabdata 402 402 0
> mnt_cache 30 60 256 15 1 : tunables 120 60 8
> : slabdata 4 4 0
> inode_cache 1327 1344 560 7 1 : tunables 54 27 8
> : slabdata 192 192 0
> dentry 276001 276203 208 19 1 : tunables 120 60 8
> : slabdata 14537 14537 0
> filp 1054 2760 192 20 1 : tunables 120 60 8
> : slabdata 138 138 86
> names_cache 18 18 4096 1 1 : tunables 24 12 8
> : slabdata 18 18 1
> key_jar 0 0 192 20 1 : tunables 120 60 8
> : slabdata 0 0 0
> buffer_head 73846 73889 104 37 1 : tunables 120 60 8
> : slabdata 1997 1997 1
> mm_struct 80 136 896 4 1 : tunables 54 27 8
> : slabdata 34 34 1
> vm_area_struct 2311 3784 176 22 1 : tunables 120 60 8
> : slabdata 172 172 29
> fs_cache 75 590 64 59 1 : tunables 120 60 8
> : slabdata 10 10 1
> files_cache 63 165 768 5 1 : tunables 54 27 8
> : slabdata 33 33 1
> signal_cache 297 420 960 4 1 : tunables 54 27 8
> : slabdata 105 105 0
> sighand_cache 295 381 2112 3 2 : tunables 24 12 8
> : slabdata 127 127 0
> task_xstate 105 256 512 8 1 : tunables 54 27 8
> : slabdata 32 32 0
> task_struct 349 350 5872 1 2 : tunables 8 4 0
> : slabdata 349 350 0
> anon_vma 777 1584 24 144 1 : tunables 120 60 8
> : slabdata 11 11 0
> pid 342 870 128 30 1 : tunables 120 60 8
> : slabdata 29 29 0
> shared_policy_node 0 0 48 77 1 : tunables 120 60 8
> : slabdata 0 0 0
> numa_policy 15 112 136 28 1 : tunables 120 60 8
> : slabdata 4 4 0
> idr_layer_cache 282 315 544 7 1 : tunables 54 27 8
> : slabdata 45 45 0
> size-4194304(DMA) 0 0 4194304 1 1024 : tunables 1 1 0
> : slabdata 0 0 0
> size-4194304 0 0 4194304 1 1024 : tunables 1 1 0
> : slabdata 0 0 0
> size-2097152(DMA) 0 0 2097152 1 512 : tunables 1 1 0
> : slabdata 0 0 0
> size-2097152 0 0 2097152 1 512 : tunables 1 1 0
> : slabdata 0 0 0
> size-1048576(DMA) 0 0 1048576 1 256 : tunables 1 1 0
> : slabdata 0 0 0
> size-1048576 0 0 1048576 1 256 : tunables 1 1 0
> : slabdata 0 0 0
> size-524288(DMA) 0 0 524288 1 128 : tunables 1 1 0
> : slabdata 0 0 0
> size-524288 0 0 524288 1 128 : tunables 1 1 0
> : slabdata 0 0 0
> size-262144(DMA) 0 0 262144 1 64 : tunables 1 1 0
> : slabdata 0 0 0
> size-262144 0 0 262144 1 64 : tunables 1 1 0
> : slabdata 0 0 0
> size-131072(DMA) 0 0 131072 1 32 : tunables 8 4 0
> : slabdata 0 0 0
> size-131072 3 3 131072 1 32 : tunables 8 4 0
> : slabdata 3 3 0
> size-65536(DMA) 0 0 65536 1 16 : tunables 8 4 0
> : slabdata 0 0 0
> size-65536 6 6 65536 1 16 : tunables 8 4 0
> : slabdata 6 6 0
> size-32768(DMA) 0 0 32768 1 8 : tunables 8 4 0
> : slabdata 0 0 0
> size-32768 8 8 32768 1 8 : tunables 8 4 0
> : slabdata 8 8 0
> size-16384(DMA) 0 0 16384 1 4 : tunables 8 4 0
> : slabdata 0 0 0
> size-16384 43 43 16384 1 4 : tunables 8 4 0
> : slabdata 43 43 0
> size-8192(DMA) 0 0 8192 1 2 : tunables 8 4 0
> : slabdata 0 0 0
> size-8192 3610 3610 8192 1 2 : tunables 8 4 0
> : slabdata 3610 3610 0
> size-4096(DMA) 0 0 4096 1 1 : tunables 24 12 8
> : slabdata 0 0 0
> size-4096 1769 1769 4096 1 1 : tunables 24 12 8
> : slabdata 1769 1769 0
> size-2048(DMA) 0 0 2048 2 1 : tunables 24 12 8
> : slabdata 0 0 0
> size-2048 4598 4630 2048 2 1 : tunables 24 12 8
> : slabdata 2315 2315 1
> size-1024(DMA) 0 0 1024 4 1 : tunables 54 27 8
> : slabdata 0 0 0
> size-1024 4749 4784 1024 4 1 : tunables 54 27 8
> : slabdata 1196 1196 0
> size-512(DMA) 0 0 512 8 1 : tunables 54 27 8
> : slabdata 0 0 0
> size-512 1406 1440 512 8 1 : tunables 54 27 8
> : slabdata 180 180 29
> size-256(DMA) 0 0 256 15 1 : tunables 120 60 8
> : slabdata 0 0 0
> size-256 5428 5670 256 15 1 : tunables 120 60 8
> : slabdata 378 378 2
> size-128(DMA) 0 0 128 30 1 : tunables 120 60 8
> : slabdata 0 0 0
> size-64(DMA) 0 0 64 59 1 : tunables 120 60 8
> : slabdata 0 0 0
> size-64 21391 43306 64 59 1 : tunables 120 60 8
> : slabdata 734 734 0
> size-32(DMA) 0 0 32 112 1 : tunables 120 60 8
> : slabdata 0 0 0
> size-128 10539 31650 128 30 1 : tunables 120 60 8
> : slabdata 1055 1055 0
> size-32 11992 13552 32 112 1 : tunables 120 60 8
> : slabdata 121 121 6
> kmem_cache 181 181 4224 1 2 : tunables 8 4 0
> : slabdata 181 181 0
> ..
> --
>
> --
> meminfo
> ..
> MemTotal: 198091444 kB
> MemFree: 99978176 kB
> Buffers: 268288 kB
> Cached: 1457808 kB
> SwapCached: 23672 kB
> Active: 1667172 kB
> Inactive: 114552 kB
> SwapTotal: 75505460 kB
> SwapFree: 75461372 kB
> Dirty: 116 kB
> Writeback: 0 kB
> AnonPages: 53284 kB
> Mapped: 8884 kB
> Slab: 95664132 kB
> SReclaimable: 256656 kB
> SUnreclaim: 95407476 kB
> PageTables: 2368 kB
> NFS_Unstable: 0 kB
> Bounce: 0 kB
> WritebackTmp: 0 kB
> CommitLimit: 174551180 kB
> Committed_AS: 137540 kB
> VmallocTotal: 34359738367 kB
> VmallocUsed: 588416 kB
> VmallocChunk: 34359149923 kB
> HugePages_Total: 0
> HugePages_Free: 0
> HugePages_Rsvd: 0
> HugePages_Surp: 0
> Hugepagesize: 2048 kB
> DirectMap4k: 8432 kB
> DirectMap2M: 201308160 kB
> ..
> --
>
>
> On Mon, Apr 19, 2010 at 10:07 AM, Andreas Dilger <
> andreas.dilger at oracle.com> wrote:
>
>> There is a known problem with the DLM LRU size that may be affecting you.
>> It may be something else too. Please check /proc/{slabinfo,meminfo} to see
>> what is using the memory on the client.
>>
>> Cheers, Andreas
>>
>>
>> On 2010-04-19, at 10:43, Jagga Soorma <jagga13 at gmail.com> wrote:
>>
>> Hi Guys,
>>>
>>> My users are reporting some issues with memory on our lustre 1.8.1
>>> clients. It looks like when they submit a single job at a time the run time
>>> was about 4.5 minutes. However, when they ran multiple jobs (10 or less) on
>>> a client with 192GB of memory on a single node the run time for each job was
>>> exceeding 3-4X the run time for the single process. They also noticed that
>>> the swap space kept climbing even though there was plenty of free memory on
>>> the system. Could this possibly be related to the lustre client? Does it
>>> reserve any memory that is not accessible by any other process even though
>>> it might not be in use?
>>>
>>> Thanks much,
>>> -J
>>> _______________________________________________
>>> Lustre-discuss mailing list
>>> Lustre-discuss at lists.lustre.org
>>> http://lists.lustre.org/mailman/listinfo/lustre-discuss
>>>
>>
>
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://lists.lustre.org/pipermail/lustre-discuss-lustre.org/attachments/20100419/9e818385/attachment.htm>
More information about the lustre-discuss
mailing list