[Lustre-discuss] Lustre Client - Memory Issue

Jagga Soorma jagga13 at gmail.com
Mon Apr 19 11:37:55 PDT 2010


Could it be locking?  I do have the flock option enabled.

--
lustre_inode_cache    123    192    896    4    1 : tunables   54   27    8
: slabdata     48     48      0
lov_oinfo            128    228    320   12    1 : tunables   54   27    8 :
slabdata     19     19      0
ldlm_locks          1550   3992    512    8    1 : tunables   54   27    8 :
slabdata    499    499      0
ldlm_resources      1449   3600    384   10    1 : tunables   54   27    8 :
slabdata    360    360      0
--

Thanks,
-J

On Mon, Apr 19, 2010 at 11:26 AM, Jagga Soorma <jagga13 at gmail.com> wrote:

> Here is something from April 12 that I see in the client logs.  Not sure if
> this is related:
>
> --
> Apr 12 14:51:16 manak kernel: Lustre: 7359:0:(rw.c:2092:ll_readpage()) ino
> 424411146 page 0 (0) not covered by a lock (mmap?).  check debug logs.
> Apr 12 14:51:16 manak kernel: Lustre: 7359:0:(rw.c:2092:ll_readpage()) ino
> 424411146 page 1480 (6062080) not covered by a lock (mmap?).  check debug
> logs.
> Apr 12 14:51:16 manak kernel: Lustre: 7359:0:(rw.c:2092:ll_readpage())
> Skipped 1479 previous similar messages
> Apr 12 14:51:17 manak kernel: Lustre: 7359:0:(rw.c:2092:ll_readpage()) ino
> 424411146 page 273025 (1118310400) not covered by a lock (mmap?).  check
> debug logs.
> Apr 12 14:51:17 manak kernel: Lustre: 7359:0:(rw.c:2092:ll_readpage())
> Skipped 271544 previous similar messages
> --
>
> -J
>
>
> On Mon, Apr 19, 2010 at 11:02 AM, Jagga Soorma <jagga13 at gmail.com> wrote:
>
>> Andreas,
>>
>> I am seeing the problem again on one of my hosts and here is a live
>> capture of the data.  Can you assist with this?
>>
>> --
>> # free
>>              total       used       free     shared    buffers     cached
>> Mem:     198091444  197636852     454592          0       4260   34251452
>> -/+ buffers/cache:  163381140   34710304
>> Swap:     75505460   10281796   65223664
>>
>> # cat /proc/meminfo
>> MemTotal:     198091444 kB
>> MemFree:        458048 kB
>> Buffers:          4268 kB
>> Cached:       34099372 kB
>> SwapCached:    7730744 kB
>> Active:       62919152 kB
>> Inactive:     34107188 kB
>> SwapTotal:    75505460 kB
>> SwapFree:     65220676 kB
>> Dirty:             444 kB
>> Writeback:           0 kB
>> AnonPages:    58704728 kB
>> Mapped:          12036 kB
>> Slab:         99806476 kB
>> SReclaimable:   118532 kB
>> SUnreclaim:   99687944 kB
>> PageTables:     131200 kB
>>
>> NFS_Unstable:        0 kB
>> Bounce:              0 kB
>> WritebackTmp:        0 kB
>> CommitLimit:  174551180 kB
>> Committed_AS: 65739660 kB
>>
>> VmallocTotal: 34359738367 kB
>> VmallocUsed:    588416 kB
>> VmallocChunk: 34359149923 kB
>> HugePages_Total:     0
>> HugePages_Free:      0
>> HugePages_Rsvd:      0
>> HugePages_Surp:      0
>> Hugepagesize:     2048 kB
>> DirectMap4k:      8432 kB
>> DirectMap2M:  201308160 kB
>>
>> # cat /proc/slabinfo
>>  slabinfo - version: 2.1
>> # name            <active_objs> <num_objs> <objsize> <objperslab>
>> <pagesperslab> : tunables <limit> <batchcount> <sharedfactor> : slabdata
>> <active_slabs> <num_slabs> <sharedavail>
>> nfs_direct_cache       0      0    128   30    1 : tunables  120   60    8
>> : slabdata      0      0      0
>> nfs_write_data        36     44    704   11    2 : tunables   54   27    8
>> : slabdata      4      4      0
>> nfs_read_data         32     33    704   11    2 : tunables   54   27    8
>> : slabdata      3      3      0
>> nfs_inode_cache        0      0    984    4    1 : tunables   54   27    8
>> : slabdata      0      0      0
>> nfs_page               0      0    128   30    1 : tunables  120   60    8
>> : slabdata      0      0      0
>> rpc_buffers            8      8   2048    2    1 : tunables   24   12    8
>> : slabdata      4      4      0
>> rpc_tasks              8     12    320   12    1 : tunables   54   27    8
>> : slabdata      1      1      0
>> rpc_inode_cache        0      0    832    4    1 : tunables   54   27    8
>> : slabdata      0      0      0
>> ll_async_page     8494811 8507076    320   12    1 : tunables   54   27
>> 8 : slabdata 708923 708923    216
>> ll_file_data          16     40    192   20    1 : tunables  120   60    8
>> : slabdata      2      2      0
>> lustre_inode_cache     95    184    896    4    1 : tunables   54   27
>> 8 : slabdata     46     46      0
>> lov_oinfo             56    180    320   12    1 : tunables   54   27    8
>> : slabdata     15     15      0
>>
>> osc_quota_info         0      0     32  112    1 : tunables  120   60    8
>> : slabdata      0      0      0
>> ll_qunit_cache         0      0    112   34    1 : tunables  120   60    8
>> : slabdata      0      0      0
>> llcd_cache             0      0   3952    1    1 : tunables   24   12    8
>> : slabdata      0      0      0
>> ptlrpc_cbdatas         0      0     32  112    1 : tunables  120   60    8
>> : slabdata      0      0      0
>> interval_node       1680   5730    128   30    1 : tunables  120   60    8
>> : slabdata    191    191      0
>> ldlm_locks          2255   6232    512    8    1 : tunables   54   27    8
>> : slabdata    779    779      0
>> ldlm_resources      2227   5570    384   10    1 : tunables   54   27    8
>> : slabdata    557    557      0
>>
>> ll_import_cache        0      0   1248    3    1 : tunables   24   12    8
>> : slabdata      0      0      0
>> ll_obdo_cache          0 459630919    208   19    1 : tunables  120
>> 60    8 : slabdata      0 24191101      0
>>
>> ll_obd_dev_cache      13     13   5672    1    2 : tunables    8    4    0
>> : slabdata     13     13      0
>> obd_lvfs_ctxt_cache      0      0     96   40    1 : tunables  120   60
>> 8 : slabdata      0      0      0
>> SDP                    0      0   1728    4    2 : tunables   24   12    8
>> : slabdata      0      0      0
>>  fib6_nodes             7     59     64   59    1 : tunables  120   60
>> 8 : slabdata      1      1      0
>> ip6_dst_cache         10     24    320   12    1 : tunables   54   27    8
>> : slabdata      2      2      0
>>
>> ndisc_cache            3     30    256   15    1 : tunables  120   60    8
>> : slabdata      2      2      0
>> RAWv6                 35     36    960    4    1 : tunables   54   27    8
>> : slabdata      9      9      0
>> UDPLITEv6              0      0    960    4    1 : tunables   54   27    8
>> : slabdata      0      0      0
>> UDPv6                  7     12    960    4    1 : tunables   54   27    8
>> : slabdata      3      3      0
>> tw_sock_TCPv6          0      0    192   20    1 : tunables  120   60    8
>> : slabdata      0      0      0
>> request_sock_TCPv6      0      0    192   20    1 : tunables  120   60
>> 8 : slabdata      0      0      0
>> TCPv6                  3      4   1792    2    1 : tunables   24   12    8
>> : slabdata      2      2      0
>> ib_mad              2051   2096    448    8    1 : tunables   54   27    8
>> : slabdata    262    262      0
>>
>> fuse_request           0      0    608    6    1 : tunables   54   27    8
>> : slabdata      0      0      0
>> fuse_inode             0      0    704   11    2 : tunables   54   27    8
>> : slabdata      0      0      0
>> kcopyd_job             0      0    360   11    1 : tunables   54   27    8
>> : slabdata      0      0      0
>> dm_uevent              0      0   2608    3    2 : tunables   24   12    8
>> : slabdata      0      0      0
>> dm_clone_bio_info      0      0     16  202    1 : tunables  120   60    8
>> : slabdata      0      0      0
>> dm_rq_target_io        0      0    408    9    1 : tunables   54   27    8
>> : slabdata      0      0      0
>> dm_target_io           0      0     24  144    1 : tunables  120   60    8
>> : slabdata      0      0      0
>> dm_io                  0      0     32  112    1 : tunables  120   60    8
>> : slabdata      0      0      0
>> uhci_urb_priv          1     67     56   67    1 : tunables  120   60    8
>> : slabdata      1      1      0
>> ext3_inode_cache    2472   2610    768    5    1 : tunables   54   27    8
>> : slabdata    522    522      0
>>
>> ext3_xattr             0      0     88   44    1 : tunables  120   60    8
>> : slabdata      0      0      0
>> journal_handle        56    288     24  144    1 : tunables  120   60    8
>> : slabdata      2      2      0
>> journal_head         216    240     96   40    1 : tunables  120   60    8
>> : slabdata      6      6      0
>>
>> revoke_table           4    202     16  202    1 : tunables  120   60    8
>> : slabdata      1      1      0
>> revoke_record          0      0     32  112    1 : tunables  120   60    8
>> : slabdata      0      0      0
>> sgpool-128             2      2   4096    1    1 : tunables   24   12    8
>> : slabdata      2      2      0
>> sgpool-64              2      2   2048    2    1 : tunables   24   12    8
>> : slabdata      1      1      0
>> sgpool-32              2      4   1024    4    1 : tunables   54   27    8
>> : slabdata      1      1      0
>> sgpool-16              2      8    512    8    1 : tunables   54   27    8
>> : slabdata      1      1      0
>> sgpool-8               2     15    256   15    1 : tunables  120   60    8
>> : slabdata      1      1      0
>> scsi_data_buffer       0      0     24  144    1 : tunables  120   60    8
>> : slabdata      0      0      0
>> scsi_io_context        0      0    112   34    1 : tunables  120   60    8
>> : slabdata      0      0      0
>> flow_cache             0      0     96   40    1 : tunables  120   60    8
>> : slabdata      0      0      0
>> cfq_io_context        58    207    168   23    1 : tunables  120   60    8
>> : slabdata      9      9      0
>> cfq_queue             56    308    136   28    1 : tunables  120   60    8
>> : slabdata     11     11      0
>>
>> bsg_cmd                0      0    312   12    1 : tunables   54   27    8
>> : slabdata      0      0      0
>> mqueue_inode_cache      1      4    896    4    1 : tunables   54   27
>> 8 : slabdata      1      1      0
>> isofs_inode_cache      0      0    608    6    1 : tunables   54   27    8
>> : slabdata      0      0      0
>> minix_inode_cache      0      0    624    6    1 : tunables   54   27    8
>> : slabdata      0      0      0
>> hugetlbfs_inode_cache      1      7    576    7    1 : tunables   54
>> 27    8 : slabdata      1      1      0
>> dnotify_cache          0      0     40   92    1 : tunables  120   60    8
>> : slabdata      0      0      0
>> dquot                  0      0    256   15    1 : tunables  120   60    8
>> : slabdata      0      0      0
>> inotify_event_cache      0      0     40   92    1 : tunables  120   60
>> 8 : slabdata      0      0      0
>> inotify_watch_cache     94    159     72   53    1 : tunables  120   60
>> 8 : slabdata      3      3      0
>>
>> kioctx                 0      0    384   10    1 : tunables   54   27    8
>> : slabdata      0      0      0
>> kiocb                  0      0    256   15    1 : tunables  120   60    8
>> : slabdata      0      0      0
>> fasync_cache           0      0     24  144    1 : tunables  120   60    8
>> : slabdata      0      0      0
>> shmem_inode_cache    878   1040    784    5    1 : tunables   54   27    8
>> : slabdata    208    208      0
>>
>> pid_namespace          0      0   2112    3    2 : tunables   24   12    8
>> : slabdata      0      0      0
>> nsproxy                0      0     56   67    1 : tunables  120   60    8
>> : slabdata      0      0      0
>> posix_timers_cache      0      0    192   20    1 : tunables  120   60
>> 8 : slabdata      0      0      0
>> uid_cache              7     60    128   30    1 : tunables  120   60    8
>> : slabdata      2      2      0
>> UNIX                 128    220    704   11    2 : tunables   54   27    8
>> : slabdata     20     20      0
>>
>> ip_mrt_cache           0      0    128   30    1 : tunables  120   60    8
>> : slabdata      0      0      0
>> UDP-Lite               0      0    832    9    2 : tunables   54   27    8
>> : slabdata      0      0      0
>> tcp_bind_bucket       15    118     64   59    1 : tunables  120   60    8
>> : slabdata      2      2      0
>>
>> inet_peer_cache        1     59     64   59    1 : tunables  120   60    8
>> : slabdata      1      1      0
>> secpath_cache          0      0     64   59    1 : tunables  120   60    8
>> : slabdata      0      0      0
>> xfrm_dst_cache         0      0    384   10    1 : tunables   54   27    8
>> : slabdata      0      0      0
>> ip_fib_alias           0      0     32  112    1 : tunables  120   60    8
>> : slabdata      0      0      0
>> ip_fib_hash           15    106     72   53    1 : tunables  120   60    8
>> : slabdata      2      2      0
>> ip_dst_cache          40     84    320   12    1 : tunables   54   27    8
>> : slabdata      7      7      0
>>
>> arp_cache              8     15    256   15    1 : tunables  120   60    8
>> : slabdata      1      1      0
>> RAW                   33     35    768    5    1 : tunables   54   27    8
>> : slabdata      7      7      0
>> UDP                   11     36    832    9    2 : tunables   54   27    8
>> : slabdata      4      4      0
>> tw_sock_TCP            4     20    192   20    1 : tunables  120   60    8
>> : slabdata      1      1      0
>>
>> request_sock_TCP       0      0    128   30    1 : tunables  120   60    8
>> : slabdata      0      0      0
>> TCP                   16     24   1664    4    2 : tunables   24   12    8
>> : slabdata      6      6      0
>> eventpoll_pwq         69    159     72   53    1 : tunables  120   60    8
>> : slabdata      3      3      0
>> eventpoll_epi         69    150    128   30    1 : tunables  120   60    8
>> : slabdata      5      5      0
>>
>> pfm_event_set          0      0  57344    1   16 : tunables    8    4    0
>> : slabdata      0      0      0
>> pfm_context            0      0   8192    1    2 : tunables    8    4    0
>> : slabdata      0      0      0
>> blkdev_integrity       0      0    112   34    1 : tunables  120   60    8
>> : slabdata      0      0      0
>> blkdev_queue          10     12   2264    3    2 : tunables   24   12    8
>> : slabdata      4      4      0
>> blkdev_requests       91    130    368   10    1 : tunables   54   27    8
>> : slabdata     13     13     27
>> blkdev_ioc            56    371     72   53    1 : tunables  120   60    8
>> : slabdata      7      7      0
>>
>> biovec-256             2      2   4096    1    1 : tunables   24   12    8
>> : slabdata      2      2      0
>> biovec-128             2      4   2048    2    1 : tunables   24   12    8
>> : slabdata      2      2      0
>> biovec-64              2      8   1024    4    1 : tunables   54   27    8
>> : slabdata      2      2      0
>> biovec-16              2     30    256   15    1 : tunables  120   60    8
>> : slabdata      2      2      0
>> biovec-4               2    118     64   59    1 : tunables  120   60    8
>> : slabdata      2      2      0
>> biovec-1             223    606     16  202    1 : tunables  120   60    8
>> : slabdata      3      3     70
>>
>> bio_integrity_payload      2     60    128   30    1 : tunables  120
>> 60    8 : slabdata      2      2      0
>>  bio                  205    330    128   30    1 : tunables  120   60
>> 8 : slabdata     11     11     70
>> sock_inode_cache     245    300    640    6    1 : tunables   54   27    8
>> : slabdata     50     50      0
>> skbuff_fclone_cache     14     14    512    7    1 : tunables   54   27
>> 8 : slabdata      2      2      0
>> skbuff_head_cache   5121   5985    256   15    1 : tunables  120   60    8
>> : slabdata    399    399     68
>> file_lock_cache        4     22    176   22    1 : tunables  120   60    8
>> : slabdata      1      1      0
>> Acpi-Operand         889   1749     72   53    1 : tunables  120   60    8
>> : slabdata     33     33      0
>>
>> Acpi-ParseExt          0      0     72   53    1 : tunables  120   60    8
>> : slabdata      0      0      0
>> Acpi-Parse             0      0     48   77    1 : tunables  120   60    8
>> : slabdata      0      0      0
>> Acpi-State             0      0     80   48    1 : tunables  120   60    8
>> : slabdata      0      0      0
>> Acpi-Namespace       617    672     32  112    1 : tunables  120   60    8
>> : slabdata      6      6      0
>> task_delay_info      389    884    112   34    1 : tunables  120   60    8
>> : slabdata     26     26      0
>>
>> taskstats              0      0    328   12    1 : tunables   54   27    8
>> : slabdata      0      0      0
>> page_cgroup            0      0     40   92    1 : tunables  120   60    8
>> : slabdata      0      0      0
>> proc_inode_cache    1397   1446    608    6    1 : tunables   54   27    8
>> : slabdata    240    241    190
>> sigqueue              29     96    160   24    1 : tunables  120   60    8
>> : slabdata      4      4      1
>> radix_tree_node   193120 196672    552    7    1 : tunables   54   27    8
>> : slabdata  28096  28096    216
>> bdev_cache             5     15    768    5    1 : tunables   54   27    8
>> : slabdata      3      3      0
>>
>> sysfs_dir_cache    19120  19296     80   48    1 : tunables  120   60    8
>> : slabdata    402    402      0
>> mnt_cache             30    105    256   15    1 : tunables  120   60    8
>> : slabdata      7      7      0
>> inode_cache         1128   1176    560    7    1 : tunables   54   27    8
>> : slabdata    166    168     24
>> dentry              4651   8189    208   19    1 : tunables  120   60    8
>> : slabdata    431    431      0
>> filp                1563   2720    192   20    1 : tunables  120   60    8
>> : slabdata    136    136    242
>> names_cache          142    142   4096    1    1 : tunables   24   12    8
>> : slabdata    142    142     96
>>
>> key_jar                0      0    192   20    1 : tunables  120   60    8
>> : slabdata      0      0      0
>> buffer_head         1129   3071    104   37    1 : tunables  120   60    8
>> : slabdata     83     83      0
>> mm_struct             86    136    896    4    1 : tunables   54   27    8
>> : slabdata     34     34      1
>> vm_area_struct      3406   4136    176   22    1 : tunables  120   60    8
>> : slabdata    188    188     26
>> fs_cache             140    531     64   59    1 : tunables  120   60    8
>> : slabdata      9      9      1
>> files_cache           83    150    768    5    1 : tunables   54   27    8
>> : slabdata     30     30      1
>> signal_cache         325    388    960    4    1 : tunables   54   27    8
>> : slabdata     97     97      0
>> sighand_cache        317    369   2112    3    2 : tunables   24   12    8
>> : slabdata    123    123      0
>> task_xstate          155    256    512    8    1 : tunables   54   27    8
>> : slabdata     32     32      2
>> task_struct          368    372   5872    1    2 : tunables    8    4    0
>> : slabdata    368    372      0
>> anon_vma             966   1728     24  144    1 : tunables  120   60    8
>> : slabdata     12     12      0
>> pid                  377    960    128   30    1 : tunables  120   60    8
>> : slabdata     32     32      0
>>
>> shared_policy_node      0      0     48   77    1 : tunables  120   60
>> 8 : slabdata      0      0      0
>> numa_policy           15    112    136   28    1 : tunables  120   60    8
>> : slabdata      4      4      0
>> idr_layer_cache      284    322    544    7    1 : tunables   54   27    8
>> : slabdata     46     46      0
>>
>> size-4194304(DMA)      0      0 4194304    1 1024 : tunables    1    1
>> 0 : slabdata      0      0      0
>> size-4194304           0      0 4194304    1 1024 : tunables    1    1
>> 0 : slabdata      0      0      0
>> size-2097152(DMA)      0      0 2097152    1  512 : tunables    1    1
>> 0 : slabdata      0      0      0
>> size-2097152           0      0 2097152    1  512 : tunables    1    1
>> 0 : slabdata      0      0      0
>> size-1048576(DMA)      0      0 1048576    1  256 : tunables    1    1
>> 0 : slabdata      0      0      0
>> size-1048576           0      0 1048576    1  256 : tunables    1    1
>> 0 : slabdata      0      0      0
>> size-524288(DMA)       0      0 524288    1  128 : tunables    1    1    0
>> : slabdata      0      0      0
>> size-524288            0      0 524288    1  128 : tunables    1    1    0
>> : slabdata      0      0      0
>> size-262144(DMA)       0      0 262144    1   64 : tunables    1    1    0
>> : slabdata      0      0      0
>> size-262144            0      0 262144    1   64 : tunables    1    1    0
>> : slabdata      0      0      0
>> size-131072(DMA)       0      0 131072    1   32 : tunables    8    4    0
>> : slabdata      0      0      0
>> size-131072            3      3 131072    1   32 : tunables    8    4    0
>> : slabdata      3      3      0
>> size-65536(DMA)        0      0  65536    1   16 : tunables    8    4    0
>> : slabdata      0      0      0
>> size-65536             6      6  65536    1   16 : tunables    8    4    0
>> : slabdata      6      6      0
>> size-32768(DMA)        0      0  32768    1    8 : tunables    8    4    0
>> : slabdata      0      0      0
>> size-32768            10     10  32768    1    8 : tunables    8    4    0
>> : slabdata     10     10      0
>>
>> size-16384(DMA)        0      0  16384    1    4 : tunables    8    4    0
>> : slabdata      0      0      0
>> size-16384            44     44  16384    1    4 : tunables    8    4    0
>> : slabdata     44     44      0
>>
>> size-8192(DMA)         0      0   8192    1    2 : tunables    8    4    0
>> : slabdata      0      0      0
>> size-8192           3611   3611   8192    1    2 : tunables    8    4    0
>> : slabdata   3611   3611      0
>>
>> size-4096(DMA)         0      0   4096    1    1 : tunables   24   12    8
>> : slabdata      0      0      0
>> size-4096           1771   1771   4096    1    1 : tunables   24   12    8
>> : slabdata   1771   1771      0
>>
>> size-2048(DMA)         0      0   2048    2    1 : tunables   24   12    8
>> : slabdata      0      0      0
>> size-2048           4609   4714   2048    2    1 : tunables   24   12    8
>> : slabdata   2357   2357      0
>>
>> size-1024(DMA)         0      0   1024    4    1 : tunables   54   27    8
>> : slabdata      0      0      0
>> size-1024           4829   4900   1024    4    1 : tunables   54   27    8
>> : slabdata   1225   1225      0
>>
>> size-512(DMA)          0      0    512    8    1 : tunables   54   27    8
>> : slabdata      0      0      0
>> size-512            1478   1520    512    8    1 : tunables   54   27    8
>> : slabdata    190    190     39
>>
>> size-256(DMA)          0      0    256   15    1 : tunables  120   60    8
>> : slabdata      0      0      0
>> size-256            4662   5550    256   15    1 : tunables  120   60    8
>> : slabdata    370    370      1
>>
>> size-128(DMA)          0      0    128   30    1 : tunables  120   60    8
>> : slabdata      0      0      0
>> size-64(DMA)           0      0     64   59    1 : tunables  120   60    8
>> : slabdata      0      0      0
>> size-64            17232  29382     64   59    1 : tunables  120   60    8
>> : slabdata    498    498      0
>>
>> size-32(DMA)           0      0     32  112    1 : tunables  120   60    8
>> : slabdata      0      0      0
>> size-128            9907  16140    128   30    1 : tunables  120   60    8
>> : slabdata    538    538      0
>> size-32            12487  13104     32  112    1 : tunables  120   60    8
>> : slabdata    117    117      0
>>
>> kmem_cache           181    181   4224    1    2 : tunables    8    4    0
>> : slabdata    181    181      0
>>
>>
>> Tasks: 278 total,   1 running, 276 sleeping,   0 stopped,   1 zombie
>> Cpu(s):  3.8%us,  0.1%sy,  0.0%ni, 96.0%id,  0.0%wa,  0.0%hi,  0.0%si,
>> 0.0%st
>> Mem:  198091444k total, 197636988k used,   454456k free,     4544k buffers
>> Swap: 75505460k total,  8567448k used, 66938012k free, 29144008k cached
>>
>>   PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+
>> COMMAND
>>
>>   107 root      15  -5     0    0    0 D   10  0.0   5:06.43
>> kswapd1
>>
>> 19328 user1    20   0 66.5g  60g 2268 D    4 32.0  31:48.49
>> R
>>
>>     1 root      20   0  1064   64   32 S    0  0.0   0:21.20
>> init
>>
>>     2 root      15  -5     0    0    0 S    0  0.0   0:00.06
>> kthreadd
>>
>>     3 root      RT  -5     0    0    0 S    0  0.0   0:00.24
>> migration/0
>>
>>     4 root      15  -5     0    0    0 S    0  0.0   1:01.12
>> ksoftirqd/0
>>
>>     5 root      RT  -5     0    0    0 S    0  0.0   0:00.30
>> migration/1
>>
>>     6 root      15  -5     0    0    0 S    0  0.0   0:00.50
>> ksoftirqd/1
>>
>>     7 root      RT  -5     0    0    0 S    0  0.0   0:00.22
>> migration/2
>>
>>     8 root      15  -5     0    0    0 S    0  0.0   0:00.36
>> ksoftirqd/2
>>
>>     9 root      RT  -5     0    0    0 S    0  0.0   0:00.28
>> migration/3
>>
>>    10 root      15  -5     0    0    0 S    0  0.0   0:00.60
>> ksoftirqd/3
>>
>>    11 root      RT  -5     0    0    0 S    0  0.0   0:00.18
>> migration/4
>>
>>    12 root      15  -5     0    0    0 S    0  0.0   0:00.40
>> ksoftirqd/4
>>
>>    13 root      RT  -5     0    0    0 S    0  0.0   0:00.26
>> migration/5
>>
>>    14 root      15  -5     0    0    0 S    0  0.0   0:00.76
>> ksoftirqd/5
>>
>>    15 root      RT  -5     0    0    0 S    0  0.0   0:00.20
>> migration/6
>>
>>    16 root      15  -5     0    0    0 S    0  0.0   0:00.36
>> ksoftirqd/6
>>
>>    17 root      RT  -5     0    0    0 S    0  0.0   0:00.26
>> migration/7
>>
>>    18 root      15  -5     0    0    0 S    0  0.0   0:00.68
>> ksoftirqd/7
>>
>>    19 root      RT  -5     0    0    0 S    0  0.0   0:00.88
>> migration/8
>>
>>    20 root      15  -5     0    0    0 S    0  0.0   0:07.70
>> ksoftirqd/8
>>
>>    21 root      RT  -5     0    0    0 S    0  0.0   0:01.12
>> migration/9
>>
>>    22 root      15  -5     0    0    0 S    0  0.0   0:01.20
>> ksoftirqd/9
>>
>>    23 root      RT  -5     0    0    0 S    0  0.0   0:03.50
>> migration/10
>>
>>    24 root      15  -5     0    0    0 S    0  0.0   0:01.22
>> ksoftirqd/10
>>
>>    25 root      RT  -5     0    0    0 S    0  0.0   0:04.84
>> migration/11
>>
>>    26 root      15  -5     0    0    0 S    0  0.0   0:01.90
>> ksoftirqd/11
>>
>>    27 root      RT  -5     0    0    0 S    0  0.0   0:01.46
>> migration/12
>>
>>    28 root      15  -5     0    0    0 S    0  0.0   0:01.42
>> ksoftirqd/12
>>
>>    29 root      RT  -5     0    0    0 S    0  0.0   0:01.62
>> migration/13
>>
>>    30 root      15  -5     0    0    0 S    0  0.0   0:01.84
>> ksoftirqd/13
>>
>>    31 root      RT  -5     0    0    0 S    0  0.0   0:01.90
>> migration/14
>>
>>    32 root      15  -5     0    0    0 S    0  0.0   0:01.18
>> ksoftirqd/14
>> --
>>
>> Thanks,
>> -J
>>
>> On Mon, Apr 19, 2010 at 10:07 AM, Andreas Dilger <
>> andreas.dilger at oracle.com> wrote:
>>
>>> There is a known problem with the DLM LRU size that may be affecting you.
>>> It may be something else too. Please check /proc/{slabinfo,meminfo} to see
>>> what is using the memory on the client.
>>>
>>> Cheers, Andreas
>>>
>>>
>>> On 2010-04-19, at 10:43, Jagga Soorma <jagga13 at gmail.com> wrote:
>>>
>>>  Hi Guys,
>>>>
>>>> My users are reporting some issues with memory on our lustre 1.8.1
>>>> clients.  It looks like when they submit a single job at a time the run time
>>>> was about 4.5 minutes.  However, when they ran multiple jobs (10 or less) on
>>>> a client with 192GB of memory on a single node the run time for each job was
>>>> exceeding 3-4X the run time for the single process.  They also noticed that
>>>> the swap space kept climbing even though there was plenty of free memory on
>>>> the system.  Could this possibly be related to the lustre client?  Does it
>>>> reserve any memory that is not accessible by any other process even though
>>>> it might not be in use?
>>>>
>>>> Thanks much,
>>>> -J
>>>> _______________________________________________
>>>> Lustre-discuss mailing list
>>>> Lustre-discuss at lists.lustre.org
>>>> http://lists.lustre.org/mailman/listinfo/lustre-discuss
>>>>
>>>
>>
>
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://lists.lustre.org/pipermail/lustre-discuss-lustre.org/attachments/20100419/140b8af6/attachment.htm>


More information about the lustre-discuss mailing list