[Lustre-discuss] Lustre Client - Memory Issue
Jagga Soorma
jagga13 at gmail.com
Mon Apr 19 11:37:55 PDT 2010
Could it be locking? I do have the flock option enabled.
--
lustre_inode_cache 123 192 896 4 1 : tunables 54 27 8
: slabdata 48 48 0
lov_oinfo 128 228 320 12 1 : tunables 54 27 8 :
slabdata 19 19 0
ldlm_locks 1550 3992 512 8 1 : tunables 54 27 8 :
slabdata 499 499 0
ldlm_resources 1449 3600 384 10 1 : tunables 54 27 8 :
slabdata 360 360 0
--
Thanks,
-J
On Mon, Apr 19, 2010 at 11:26 AM, Jagga Soorma <jagga13 at gmail.com> wrote:
> Here is something from April 12 that I see in the client logs. Not sure if
> this is related:
>
> --
> Apr 12 14:51:16 manak kernel: Lustre: 7359:0:(rw.c:2092:ll_readpage()) ino
> 424411146 page 0 (0) not covered by a lock (mmap?). check debug logs.
> Apr 12 14:51:16 manak kernel: Lustre: 7359:0:(rw.c:2092:ll_readpage()) ino
> 424411146 page 1480 (6062080) not covered by a lock (mmap?). check debug
> logs.
> Apr 12 14:51:16 manak kernel: Lustre: 7359:0:(rw.c:2092:ll_readpage())
> Skipped 1479 previous similar messages
> Apr 12 14:51:17 manak kernel: Lustre: 7359:0:(rw.c:2092:ll_readpage()) ino
> 424411146 page 273025 (1118310400) not covered by a lock (mmap?). check
> debug logs.
> Apr 12 14:51:17 manak kernel: Lustre: 7359:0:(rw.c:2092:ll_readpage())
> Skipped 271544 previous similar messages
> --
>
> -J
>
>
> On Mon, Apr 19, 2010 at 11:02 AM, Jagga Soorma <jagga13 at gmail.com> wrote:
>
>> Andreas,
>>
>> I am seeing the problem again on one of my hosts and here is a live
>> capture of the data. Can you assist with this?
>>
>> --
>> # free
>> total used free shared buffers cached
>> Mem: 198091444 197636852 454592 0 4260 34251452
>> -/+ buffers/cache: 163381140 34710304
>> Swap: 75505460 10281796 65223664
>>
>> # cat /proc/meminfo
>> MemTotal: 198091444 kB
>> MemFree: 458048 kB
>> Buffers: 4268 kB
>> Cached: 34099372 kB
>> SwapCached: 7730744 kB
>> Active: 62919152 kB
>> Inactive: 34107188 kB
>> SwapTotal: 75505460 kB
>> SwapFree: 65220676 kB
>> Dirty: 444 kB
>> Writeback: 0 kB
>> AnonPages: 58704728 kB
>> Mapped: 12036 kB
>> Slab: 99806476 kB
>> SReclaimable: 118532 kB
>> SUnreclaim: 99687944 kB
>> PageTables: 131200 kB
>>
>> NFS_Unstable: 0 kB
>> Bounce: 0 kB
>> WritebackTmp: 0 kB
>> CommitLimit: 174551180 kB
>> Committed_AS: 65739660 kB
>>
>> VmallocTotal: 34359738367 kB
>> VmallocUsed: 588416 kB
>> VmallocChunk: 34359149923 kB
>> HugePages_Total: 0
>> HugePages_Free: 0
>> HugePages_Rsvd: 0
>> HugePages_Surp: 0
>> Hugepagesize: 2048 kB
>> DirectMap4k: 8432 kB
>> DirectMap2M: 201308160 kB
>>
>> # cat /proc/slabinfo
>> slabinfo - version: 2.1
>> # name <active_objs> <num_objs> <objsize> <objperslab>
>> <pagesperslab> : tunables <limit> <batchcount> <sharedfactor> : slabdata
>> <active_slabs> <num_slabs> <sharedavail>
>> nfs_direct_cache 0 0 128 30 1 : tunables 120 60 8
>> : slabdata 0 0 0
>> nfs_write_data 36 44 704 11 2 : tunables 54 27 8
>> : slabdata 4 4 0
>> nfs_read_data 32 33 704 11 2 : tunables 54 27 8
>> : slabdata 3 3 0
>> nfs_inode_cache 0 0 984 4 1 : tunables 54 27 8
>> : slabdata 0 0 0
>> nfs_page 0 0 128 30 1 : tunables 120 60 8
>> : slabdata 0 0 0
>> rpc_buffers 8 8 2048 2 1 : tunables 24 12 8
>> : slabdata 4 4 0
>> rpc_tasks 8 12 320 12 1 : tunables 54 27 8
>> : slabdata 1 1 0
>> rpc_inode_cache 0 0 832 4 1 : tunables 54 27 8
>> : slabdata 0 0 0
>> ll_async_page 8494811 8507076 320 12 1 : tunables 54 27
>> 8 : slabdata 708923 708923 216
>> ll_file_data 16 40 192 20 1 : tunables 120 60 8
>> : slabdata 2 2 0
>> lustre_inode_cache 95 184 896 4 1 : tunables 54 27
>> 8 : slabdata 46 46 0
>> lov_oinfo 56 180 320 12 1 : tunables 54 27 8
>> : slabdata 15 15 0
>>
>> osc_quota_info 0 0 32 112 1 : tunables 120 60 8
>> : slabdata 0 0 0
>> ll_qunit_cache 0 0 112 34 1 : tunables 120 60 8
>> : slabdata 0 0 0
>> llcd_cache 0 0 3952 1 1 : tunables 24 12 8
>> : slabdata 0 0 0
>> ptlrpc_cbdatas 0 0 32 112 1 : tunables 120 60 8
>> : slabdata 0 0 0
>> interval_node 1680 5730 128 30 1 : tunables 120 60 8
>> : slabdata 191 191 0
>> ldlm_locks 2255 6232 512 8 1 : tunables 54 27 8
>> : slabdata 779 779 0
>> ldlm_resources 2227 5570 384 10 1 : tunables 54 27 8
>> : slabdata 557 557 0
>>
>> ll_import_cache 0 0 1248 3 1 : tunables 24 12 8
>> : slabdata 0 0 0
>> ll_obdo_cache 0 459630919 208 19 1 : tunables 120
>> 60 8 : slabdata 0 24191101 0
>>
>> ll_obd_dev_cache 13 13 5672 1 2 : tunables 8 4 0
>> : slabdata 13 13 0
>> obd_lvfs_ctxt_cache 0 0 96 40 1 : tunables 120 60
>> 8 : slabdata 0 0 0
>> SDP 0 0 1728 4 2 : tunables 24 12 8
>> : slabdata 0 0 0
>> fib6_nodes 7 59 64 59 1 : tunables 120 60
>> 8 : slabdata 1 1 0
>> ip6_dst_cache 10 24 320 12 1 : tunables 54 27 8
>> : slabdata 2 2 0
>>
>> ndisc_cache 3 30 256 15 1 : tunables 120 60 8
>> : slabdata 2 2 0
>> RAWv6 35 36 960 4 1 : tunables 54 27 8
>> : slabdata 9 9 0
>> UDPLITEv6 0 0 960 4 1 : tunables 54 27 8
>> : slabdata 0 0 0
>> UDPv6 7 12 960 4 1 : tunables 54 27 8
>> : slabdata 3 3 0
>> tw_sock_TCPv6 0 0 192 20 1 : tunables 120 60 8
>> : slabdata 0 0 0
>> request_sock_TCPv6 0 0 192 20 1 : tunables 120 60
>> 8 : slabdata 0 0 0
>> TCPv6 3 4 1792 2 1 : tunables 24 12 8
>> : slabdata 2 2 0
>> ib_mad 2051 2096 448 8 1 : tunables 54 27 8
>> : slabdata 262 262 0
>>
>> fuse_request 0 0 608 6 1 : tunables 54 27 8
>> : slabdata 0 0 0
>> fuse_inode 0 0 704 11 2 : tunables 54 27 8
>> : slabdata 0 0 0
>> kcopyd_job 0 0 360 11 1 : tunables 54 27 8
>> : slabdata 0 0 0
>> dm_uevent 0 0 2608 3 2 : tunables 24 12 8
>> : slabdata 0 0 0
>> dm_clone_bio_info 0 0 16 202 1 : tunables 120 60 8
>> : slabdata 0 0 0
>> dm_rq_target_io 0 0 408 9 1 : tunables 54 27 8
>> : slabdata 0 0 0
>> dm_target_io 0 0 24 144 1 : tunables 120 60 8
>> : slabdata 0 0 0
>> dm_io 0 0 32 112 1 : tunables 120 60 8
>> : slabdata 0 0 0
>> uhci_urb_priv 1 67 56 67 1 : tunables 120 60 8
>> : slabdata 1 1 0
>> ext3_inode_cache 2472 2610 768 5 1 : tunables 54 27 8
>> : slabdata 522 522 0
>>
>> ext3_xattr 0 0 88 44 1 : tunables 120 60 8
>> : slabdata 0 0 0
>> journal_handle 56 288 24 144 1 : tunables 120 60 8
>> : slabdata 2 2 0
>> journal_head 216 240 96 40 1 : tunables 120 60 8
>> : slabdata 6 6 0
>>
>> revoke_table 4 202 16 202 1 : tunables 120 60 8
>> : slabdata 1 1 0
>> revoke_record 0 0 32 112 1 : tunables 120 60 8
>> : slabdata 0 0 0
>> sgpool-128 2 2 4096 1 1 : tunables 24 12 8
>> : slabdata 2 2 0
>> sgpool-64 2 2 2048 2 1 : tunables 24 12 8
>> : slabdata 1 1 0
>> sgpool-32 2 4 1024 4 1 : tunables 54 27 8
>> : slabdata 1 1 0
>> sgpool-16 2 8 512 8 1 : tunables 54 27 8
>> : slabdata 1 1 0
>> sgpool-8 2 15 256 15 1 : tunables 120 60 8
>> : slabdata 1 1 0
>> scsi_data_buffer 0 0 24 144 1 : tunables 120 60 8
>> : slabdata 0 0 0
>> scsi_io_context 0 0 112 34 1 : tunables 120 60 8
>> : slabdata 0 0 0
>> flow_cache 0 0 96 40 1 : tunables 120 60 8
>> : slabdata 0 0 0
>> cfq_io_context 58 207 168 23 1 : tunables 120 60 8
>> : slabdata 9 9 0
>> cfq_queue 56 308 136 28 1 : tunables 120 60 8
>> : slabdata 11 11 0
>>
>> bsg_cmd 0 0 312 12 1 : tunables 54 27 8
>> : slabdata 0 0 0
>> mqueue_inode_cache 1 4 896 4 1 : tunables 54 27
>> 8 : slabdata 1 1 0
>> isofs_inode_cache 0 0 608 6 1 : tunables 54 27 8
>> : slabdata 0 0 0
>> minix_inode_cache 0 0 624 6 1 : tunables 54 27 8
>> : slabdata 0 0 0
>> hugetlbfs_inode_cache 1 7 576 7 1 : tunables 54
>> 27 8 : slabdata 1 1 0
>> dnotify_cache 0 0 40 92 1 : tunables 120 60 8
>> : slabdata 0 0 0
>> dquot 0 0 256 15 1 : tunables 120 60 8
>> : slabdata 0 0 0
>> inotify_event_cache 0 0 40 92 1 : tunables 120 60
>> 8 : slabdata 0 0 0
>> inotify_watch_cache 94 159 72 53 1 : tunables 120 60
>> 8 : slabdata 3 3 0
>>
>> kioctx 0 0 384 10 1 : tunables 54 27 8
>> : slabdata 0 0 0
>> kiocb 0 0 256 15 1 : tunables 120 60 8
>> : slabdata 0 0 0
>> fasync_cache 0 0 24 144 1 : tunables 120 60 8
>> : slabdata 0 0 0
>> shmem_inode_cache 878 1040 784 5 1 : tunables 54 27 8
>> : slabdata 208 208 0
>>
>> pid_namespace 0 0 2112 3 2 : tunables 24 12 8
>> : slabdata 0 0 0
>> nsproxy 0 0 56 67 1 : tunables 120 60 8
>> : slabdata 0 0 0
>> posix_timers_cache 0 0 192 20 1 : tunables 120 60
>> 8 : slabdata 0 0 0
>> uid_cache 7 60 128 30 1 : tunables 120 60 8
>> : slabdata 2 2 0
>> UNIX 128 220 704 11 2 : tunables 54 27 8
>> : slabdata 20 20 0
>>
>> ip_mrt_cache 0 0 128 30 1 : tunables 120 60 8
>> : slabdata 0 0 0
>> UDP-Lite 0 0 832 9 2 : tunables 54 27 8
>> : slabdata 0 0 0
>> tcp_bind_bucket 15 118 64 59 1 : tunables 120 60 8
>> : slabdata 2 2 0
>>
>> inet_peer_cache 1 59 64 59 1 : tunables 120 60 8
>> : slabdata 1 1 0
>> secpath_cache 0 0 64 59 1 : tunables 120 60 8
>> : slabdata 0 0 0
>> xfrm_dst_cache 0 0 384 10 1 : tunables 54 27 8
>> : slabdata 0 0 0
>> ip_fib_alias 0 0 32 112 1 : tunables 120 60 8
>> : slabdata 0 0 0
>> ip_fib_hash 15 106 72 53 1 : tunables 120 60 8
>> : slabdata 2 2 0
>> ip_dst_cache 40 84 320 12 1 : tunables 54 27 8
>> : slabdata 7 7 0
>>
>> arp_cache 8 15 256 15 1 : tunables 120 60 8
>> : slabdata 1 1 0
>> RAW 33 35 768 5 1 : tunables 54 27 8
>> : slabdata 7 7 0
>> UDP 11 36 832 9 2 : tunables 54 27 8
>> : slabdata 4 4 0
>> tw_sock_TCP 4 20 192 20 1 : tunables 120 60 8
>> : slabdata 1 1 0
>>
>> request_sock_TCP 0 0 128 30 1 : tunables 120 60 8
>> : slabdata 0 0 0
>> TCP 16 24 1664 4 2 : tunables 24 12 8
>> : slabdata 6 6 0
>> eventpoll_pwq 69 159 72 53 1 : tunables 120 60 8
>> : slabdata 3 3 0
>> eventpoll_epi 69 150 128 30 1 : tunables 120 60 8
>> : slabdata 5 5 0
>>
>> pfm_event_set 0 0 57344 1 16 : tunables 8 4 0
>> : slabdata 0 0 0
>> pfm_context 0 0 8192 1 2 : tunables 8 4 0
>> : slabdata 0 0 0
>> blkdev_integrity 0 0 112 34 1 : tunables 120 60 8
>> : slabdata 0 0 0
>> blkdev_queue 10 12 2264 3 2 : tunables 24 12 8
>> : slabdata 4 4 0
>> blkdev_requests 91 130 368 10 1 : tunables 54 27 8
>> : slabdata 13 13 27
>> blkdev_ioc 56 371 72 53 1 : tunables 120 60 8
>> : slabdata 7 7 0
>>
>> biovec-256 2 2 4096 1 1 : tunables 24 12 8
>> : slabdata 2 2 0
>> biovec-128 2 4 2048 2 1 : tunables 24 12 8
>> : slabdata 2 2 0
>> biovec-64 2 8 1024 4 1 : tunables 54 27 8
>> : slabdata 2 2 0
>> biovec-16 2 30 256 15 1 : tunables 120 60 8
>> : slabdata 2 2 0
>> biovec-4 2 118 64 59 1 : tunables 120 60 8
>> : slabdata 2 2 0
>> biovec-1 223 606 16 202 1 : tunables 120 60 8
>> : slabdata 3 3 70
>>
>> bio_integrity_payload 2 60 128 30 1 : tunables 120
>> 60 8 : slabdata 2 2 0
>> bio 205 330 128 30 1 : tunables 120 60
>> 8 : slabdata 11 11 70
>> sock_inode_cache 245 300 640 6 1 : tunables 54 27 8
>> : slabdata 50 50 0
>> skbuff_fclone_cache 14 14 512 7 1 : tunables 54 27
>> 8 : slabdata 2 2 0
>> skbuff_head_cache 5121 5985 256 15 1 : tunables 120 60 8
>> : slabdata 399 399 68
>> file_lock_cache 4 22 176 22 1 : tunables 120 60 8
>> : slabdata 1 1 0
>> Acpi-Operand 889 1749 72 53 1 : tunables 120 60 8
>> : slabdata 33 33 0
>>
>> Acpi-ParseExt 0 0 72 53 1 : tunables 120 60 8
>> : slabdata 0 0 0
>> Acpi-Parse 0 0 48 77 1 : tunables 120 60 8
>> : slabdata 0 0 0
>> Acpi-State 0 0 80 48 1 : tunables 120 60 8
>> : slabdata 0 0 0
>> Acpi-Namespace 617 672 32 112 1 : tunables 120 60 8
>> : slabdata 6 6 0
>> task_delay_info 389 884 112 34 1 : tunables 120 60 8
>> : slabdata 26 26 0
>>
>> taskstats 0 0 328 12 1 : tunables 54 27 8
>> : slabdata 0 0 0
>> page_cgroup 0 0 40 92 1 : tunables 120 60 8
>> : slabdata 0 0 0
>> proc_inode_cache 1397 1446 608 6 1 : tunables 54 27 8
>> : slabdata 240 241 190
>> sigqueue 29 96 160 24 1 : tunables 120 60 8
>> : slabdata 4 4 1
>> radix_tree_node 193120 196672 552 7 1 : tunables 54 27 8
>> : slabdata 28096 28096 216
>> bdev_cache 5 15 768 5 1 : tunables 54 27 8
>> : slabdata 3 3 0
>>
>> sysfs_dir_cache 19120 19296 80 48 1 : tunables 120 60 8
>> : slabdata 402 402 0
>> mnt_cache 30 105 256 15 1 : tunables 120 60 8
>> : slabdata 7 7 0
>> inode_cache 1128 1176 560 7 1 : tunables 54 27 8
>> : slabdata 166 168 24
>> dentry 4651 8189 208 19 1 : tunables 120 60 8
>> : slabdata 431 431 0
>> filp 1563 2720 192 20 1 : tunables 120 60 8
>> : slabdata 136 136 242
>> names_cache 142 142 4096 1 1 : tunables 24 12 8
>> : slabdata 142 142 96
>>
>> key_jar 0 0 192 20 1 : tunables 120 60 8
>> : slabdata 0 0 0
>> buffer_head 1129 3071 104 37 1 : tunables 120 60 8
>> : slabdata 83 83 0
>> mm_struct 86 136 896 4 1 : tunables 54 27 8
>> : slabdata 34 34 1
>> vm_area_struct 3406 4136 176 22 1 : tunables 120 60 8
>> : slabdata 188 188 26
>> fs_cache 140 531 64 59 1 : tunables 120 60 8
>> : slabdata 9 9 1
>> files_cache 83 150 768 5 1 : tunables 54 27 8
>> : slabdata 30 30 1
>> signal_cache 325 388 960 4 1 : tunables 54 27 8
>> : slabdata 97 97 0
>> sighand_cache 317 369 2112 3 2 : tunables 24 12 8
>> : slabdata 123 123 0
>> task_xstate 155 256 512 8 1 : tunables 54 27 8
>> : slabdata 32 32 2
>> task_struct 368 372 5872 1 2 : tunables 8 4 0
>> : slabdata 368 372 0
>> anon_vma 966 1728 24 144 1 : tunables 120 60 8
>> : slabdata 12 12 0
>> pid 377 960 128 30 1 : tunables 120 60 8
>> : slabdata 32 32 0
>>
>> shared_policy_node 0 0 48 77 1 : tunables 120 60
>> 8 : slabdata 0 0 0
>> numa_policy 15 112 136 28 1 : tunables 120 60 8
>> : slabdata 4 4 0
>> idr_layer_cache 284 322 544 7 1 : tunables 54 27 8
>> : slabdata 46 46 0
>>
>> size-4194304(DMA) 0 0 4194304 1 1024 : tunables 1 1
>> 0 : slabdata 0 0 0
>> size-4194304 0 0 4194304 1 1024 : tunables 1 1
>> 0 : slabdata 0 0 0
>> size-2097152(DMA) 0 0 2097152 1 512 : tunables 1 1
>> 0 : slabdata 0 0 0
>> size-2097152 0 0 2097152 1 512 : tunables 1 1
>> 0 : slabdata 0 0 0
>> size-1048576(DMA) 0 0 1048576 1 256 : tunables 1 1
>> 0 : slabdata 0 0 0
>> size-1048576 0 0 1048576 1 256 : tunables 1 1
>> 0 : slabdata 0 0 0
>> size-524288(DMA) 0 0 524288 1 128 : tunables 1 1 0
>> : slabdata 0 0 0
>> size-524288 0 0 524288 1 128 : tunables 1 1 0
>> : slabdata 0 0 0
>> size-262144(DMA) 0 0 262144 1 64 : tunables 1 1 0
>> : slabdata 0 0 0
>> size-262144 0 0 262144 1 64 : tunables 1 1 0
>> : slabdata 0 0 0
>> size-131072(DMA) 0 0 131072 1 32 : tunables 8 4 0
>> : slabdata 0 0 0
>> size-131072 3 3 131072 1 32 : tunables 8 4 0
>> : slabdata 3 3 0
>> size-65536(DMA) 0 0 65536 1 16 : tunables 8 4 0
>> : slabdata 0 0 0
>> size-65536 6 6 65536 1 16 : tunables 8 4 0
>> : slabdata 6 6 0
>> size-32768(DMA) 0 0 32768 1 8 : tunables 8 4 0
>> : slabdata 0 0 0
>> size-32768 10 10 32768 1 8 : tunables 8 4 0
>> : slabdata 10 10 0
>>
>> size-16384(DMA) 0 0 16384 1 4 : tunables 8 4 0
>> : slabdata 0 0 0
>> size-16384 44 44 16384 1 4 : tunables 8 4 0
>> : slabdata 44 44 0
>>
>> size-8192(DMA) 0 0 8192 1 2 : tunables 8 4 0
>> : slabdata 0 0 0
>> size-8192 3611 3611 8192 1 2 : tunables 8 4 0
>> : slabdata 3611 3611 0
>>
>> size-4096(DMA) 0 0 4096 1 1 : tunables 24 12 8
>> : slabdata 0 0 0
>> size-4096 1771 1771 4096 1 1 : tunables 24 12 8
>> : slabdata 1771 1771 0
>>
>> size-2048(DMA) 0 0 2048 2 1 : tunables 24 12 8
>> : slabdata 0 0 0
>> size-2048 4609 4714 2048 2 1 : tunables 24 12 8
>> : slabdata 2357 2357 0
>>
>> size-1024(DMA) 0 0 1024 4 1 : tunables 54 27 8
>> : slabdata 0 0 0
>> size-1024 4829 4900 1024 4 1 : tunables 54 27 8
>> : slabdata 1225 1225 0
>>
>> size-512(DMA) 0 0 512 8 1 : tunables 54 27 8
>> : slabdata 0 0 0
>> size-512 1478 1520 512 8 1 : tunables 54 27 8
>> : slabdata 190 190 39
>>
>> size-256(DMA) 0 0 256 15 1 : tunables 120 60 8
>> : slabdata 0 0 0
>> size-256 4662 5550 256 15 1 : tunables 120 60 8
>> : slabdata 370 370 1
>>
>> size-128(DMA) 0 0 128 30 1 : tunables 120 60 8
>> : slabdata 0 0 0
>> size-64(DMA) 0 0 64 59 1 : tunables 120 60 8
>> : slabdata 0 0 0
>> size-64 17232 29382 64 59 1 : tunables 120 60 8
>> : slabdata 498 498 0
>>
>> size-32(DMA) 0 0 32 112 1 : tunables 120 60 8
>> : slabdata 0 0 0
>> size-128 9907 16140 128 30 1 : tunables 120 60 8
>> : slabdata 538 538 0
>> size-32 12487 13104 32 112 1 : tunables 120 60 8
>> : slabdata 117 117 0
>>
>> kmem_cache 181 181 4224 1 2 : tunables 8 4 0
>> : slabdata 181 181 0
>>
>>
>> Tasks: 278 total, 1 running, 276 sleeping, 0 stopped, 1 zombie
>> Cpu(s): 3.8%us, 0.1%sy, 0.0%ni, 96.0%id, 0.0%wa, 0.0%hi, 0.0%si,
>> 0.0%st
>> Mem: 198091444k total, 197636988k used, 454456k free, 4544k buffers
>> Swap: 75505460k total, 8567448k used, 66938012k free, 29144008k cached
>>
>> PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+
>> COMMAND
>>
>> 107 root 15 -5 0 0 0 D 10 0.0 5:06.43
>> kswapd1
>>
>> 19328 user1 20 0 66.5g 60g 2268 D 4 32.0 31:48.49
>> R
>>
>> 1 root 20 0 1064 64 32 S 0 0.0 0:21.20
>> init
>>
>> 2 root 15 -5 0 0 0 S 0 0.0 0:00.06
>> kthreadd
>>
>> 3 root RT -5 0 0 0 S 0 0.0 0:00.24
>> migration/0
>>
>> 4 root 15 -5 0 0 0 S 0 0.0 1:01.12
>> ksoftirqd/0
>>
>> 5 root RT -5 0 0 0 S 0 0.0 0:00.30
>> migration/1
>>
>> 6 root 15 -5 0 0 0 S 0 0.0 0:00.50
>> ksoftirqd/1
>>
>> 7 root RT -5 0 0 0 S 0 0.0 0:00.22
>> migration/2
>>
>> 8 root 15 -5 0 0 0 S 0 0.0 0:00.36
>> ksoftirqd/2
>>
>> 9 root RT -5 0 0 0 S 0 0.0 0:00.28
>> migration/3
>>
>> 10 root 15 -5 0 0 0 S 0 0.0 0:00.60
>> ksoftirqd/3
>>
>> 11 root RT -5 0 0 0 S 0 0.0 0:00.18
>> migration/4
>>
>> 12 root 15 -5 0 0 0 S 0 0.0 0:00.40
>> ksoftirqd/4
>>
>> 13 root RT -5 0 0 0 S 0 0.0 0:00.26
>> migration/5
>>
>> 14 root 15 -5 0 0 0 S 0 0.0 0:00.76
>> ksoftirqd/5
>>
>> 15 root RT -5 0 0 0 S 0 0.0 0:00.20
>> migration/6
>>
>> 16 root 15 -5 0 0 0 S 0 0.0 0:00.36
>> ksoftirqd/6
>>
>> 17 root RT -5 0 0 0 S 0 0.0 0:00.26
>> migration/7
>>
>> 18 root 15 -5 0 0 0 S 0 0.0 0:00.68
>> ksoftirqd/7
>>
>> 19 root RT -5 0 0 0 S 0 0.0 0:00.88
>> migration/8
>>
>> 20 root 15 -5 0 0 0 S 0 0.0 0:07.70
>> ksoftirqd/8
>>
>> 21 root RT -5 0 0 0 S 0 0.0 0:01.12
>> migration/9
>>
>> 22 root 15 -5 0 0 0 S 0 0.0 0:01.20
>> ksoftirqd/9
>>
>> 23 root RT -5 0 0 0 S 0 0.0 0:03.50
>> migration/10
>>
>> 24 root 15 -5 0 0 0 S 0 0.0 0:01.22
>> ksoftirqd/10
>>
>> 25 root RT -5 0 0 0 S 0 0.0 0:04.84
>> migration/11
>>
>> 26 root 15 -5 0 0 0 S 0 0.0 0:01.90
>> ksoftirqd/11
>>
>> 27 root RT -5 0 0 0 S 0 0.0 0:01.46
>> migration/12
>>
>> 28 root 15 -5 0 0 0 S 0 0.0 0:01.42
>> ksoftirqd/12
>>
>> 29 root RT -5 0 0 0 S 0 0.0 0:01.62
>> migration/13
>>
>> 30 root 15 -5 0 0 0 S 0 0.0 0:01.84
>> ksoftirqd/13
>>
>> 31 root RT -5 0 0 0 S 0 0.0 0:01.90
>> migration/14
>>
>> 32 root 15 -5 0 0 0 S 0 0.0 0:01.18
>> ksoftirqd/14
>> --
>>
>> Thanks,
>> -J
>>
>> On Mon, Apr 19, 2010 at 10:07 AM, Andreas Dilger <
>> andreas.dilger at oracle.com> wrote:
>>
>>> There is a known problem with the DLM LRU size that may be affecting you.
>>> It may be something else too. Please check /proc/{slabinfo,meminfo} to see
>>> what is using the memory on the client.
>>>
>>> Cheers, Andreas
>>>
>>>
>>> On 2010-04-19, at 10:43, Jagga Soorma <jagga13 at gmail.com> wrote:
>>>
>>> Hi Guys,
>>>>
>>>> My users are reporting some issues with memory on our lustre 1.8.1
>>>> clients. It looks like when they submit a single job at a time the run time
>>>> was about 4.5 minutes. However, when they ran multiple jobs (10 or less) on
>>>> a client with 192GB of memory on a single node the run time for each job was
>>>> exceeding 3-4X the run time for the single process. They also noticed that
>>>> the swap space kept climbing even though there was plenty of free memory on
>>>> the system. Could this possibly be related to the lustre client? Does it
>>>> reserve any memory that is not accessible by any other process even though
>>>> it might not be in use?
>>>>
>>>> Thanks much,
>>>> -J
>>>> _______________________________________________
>>>> Lustre-discuss mailing list
>>>> Lustre-discuss at lists.lustre.org
>>>> http://lists.lustre.org/mailman/listinfo/lustre-discuss
>>>>
>>>
>>
>
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://lists.lustre.org/pipermail/lustre-discuss-lustre.org/attachments/20100419/140b8af6/attachment.htm>
More information about the lustre-discuss
mailing list