[Lustre-discuss] Lustre Client - Memory Issue

Jagga Soorma jagga13 at gmail.com
Mon Apr 19 11:26:22 PDT 2010


Here is something from April 12 that I see in the client logs.  Not sure if
this is related:

--
Apr 12 14:51:16 manak kernel: Lustre: 7359:0:(rw.c:2092:ll_readpage()) ino
424411146 page 0 (0) not covered by a lock (mmap?).  check debug logs.
Apr 12 14:51:16 manak kernel: Lustre: 7359:0:(rw.c:2092:ll_readpage()) ino
424411146 page 1480 (6062080) not covered by a lock (mmap?).  check debug
logs.
Apr 12 14:51:16 manak kernel: Lustre: 7359:0:(rw.c:2092:ll_readpage())
Skipped 1479 previous similar messages
Apr 12 14:51:17 manak kernel: Lustre: 7359:0:(rw.c:2092:ll_readpage()) ino
424411146 page 273025 (1118310400) not covered by a lock (mmap?).  check
debug logs.
Apr 12 14:51:17 manak kernel: Lustre: 7359:0:(rw.c:2092:ll_readpage())
Skipped 271544 previous similar messages
--

-J

On Mon, Apr 19, 2010 at 11:02 AM, Jagga Soorma <jagga13 at gmail.com> wrote:

> Andreas,
>
> I am seeing the problem again on one of my hosts and here is a live capture
> of the data.  Can you assist with this?
>
> --
> # free
>              total       used       free     shared    buffers     cached
> Mem:     198091444  197636852     454592          0       4260   34251452
> -/+ buffers/cache:  163381140   34710304
> Swap:     75505460   10281796   65223664
>
> # cat /proc/meminfo
> MemTotal:     198091444 kB
> MemFree:        458048 kB
> Buffers:          4268 kB
> Cached:       34099372 kB
> SwapCached:    7730744 kB
> Active:       62919152 kB
> Inactive:     34107188 kB
> SwapTotal:    75505460 kB
> SwapFree:     65220676 kB
> Dirty:             444 kB
> Writeback:           0 kB
> AnonPages:    58704728 kB
> Mapped:          12036 kB
> Slab:         99806476 kB
> SReclaimable:   118532 kB
> SUnreclaim:   99687944 kB
> PageTables:     131200 kB
>
> NFS_Unstable:        0 kB
> Bounce:              0 kB
> WritebackTmp:        0 kB
> CommitLimit:  174551180 kB
> Committed_AS: 65739660 kB
>
> VmallocTotal: 34359738367 kB
> VmallocUsed:    588416 kB
> VmallocChunk: 34359149923 kB
> HugePages_Total:     0
> HugePages_Free:      0
> HugePages_Rsvd:      0
> HugePages_Surp:      0
> Hugepagesize:     2048 kB
> DirectMap4k:      8432 kB
> DirectMap2M:  201308160 kB
>
> # cat /proc/slabinfo
> slabinfo - version: 2.1
> # name            <active_objs> <num_objs> <objsize> <objperslab>
> <pagesperslab> : tunables <limit> <batchcount> <sharedfactor> : slabdata
> <active_slabs> <num_slabs> <sharedavail>
> nfs_direct_cache       0      0    128   30    1 : tunables  120   60    8
> : slabdata      0      0      0
> nfs_write_data        36     44    704   11    2 : tunables   54   27    8
> : slabdata      4      4      0
> nfs_read_data         32     33    704   11    2 : tunables   54   27    8
> : slabdata      3      3      0
> nfs_inode_cache        0      0    984    4    1 : tunables   54   27    8
> : slabdata      0      0      0
> nfs_page               0      0    128   30    1 : tunables  120   60    8
> : slabdata      0      0      0
> rpc_buffers            8      8   2048    2    1 : tunables   24   12    8
> : slabdata      4      4      0
> rpc_tasks              8     12    320   12    1 : tunables   54   27    8
> : slabdata      1      1      0
> rpc_inode_cache        0      0    832    4    1 : tunables   54   27    8
> : slabdata      0      0      0
> ll_async_page     8494811 8507076    320   12    1 : tunables   54   27
> 8 : slabdata 708923 708923    216
> ll_file_data          16     40    192   20    1 : tunables  120   60    8
> : slabdata      2      2      0
> lustre_inode_cache     95    184    896    4    1 : tunables   54   27    8
> : slabdata     46     46      0
> lov_oinfo             56    180    320   12    1 : tunables   54   27    8
> : slabdata     15     15      0
>
> osc_quota_info         0      0     32  112    1 : tunables  120   60    8
> : slabdata      0      0      0
> ll_qunit_cache         0      0    112   34    1 : tunables  120   60    8
> : slabdata      0      0      0
> llcd_cache             0      0   3952    1    1 : tunables   24   12    8
> : slabdata      0      0      0
> ptlrpc_cbdatas         0      0     32  112    1 : tunables  120   60    8
> : slabdata      0      0      0
> interval_node       1680   5730    128   30    1 : tunables  120   60    8
> : slabdata    191    191      0
> ldlm_locks          2255   6232    512    8    1 : tunables   54   27    8
> : slabdata    779    779      0
> ldlm_resources      2227   5570    384   10    1 : tunables   54   27    8
> : slabdata    557    557      0
>
> ll_import_cache        0      0   1248    3    1 : tunables   24   12    8
> : slabdata      0      0      0
> ll_obdo_cache          0 459630919    208   19    1 : tunables  120   60
> 8 : slabdata      0 24191101      0
>
> ll_obd_dev_cache      13     13   5672    1    2 : tunables    8    4    0
> : slabdata     13     13      0
> obd_lvfs_ctxt_cache      0      0     96   40    1 : tunables  120   60
> 8 : slabdata      0      0      0
> SDP                    0      0   1728    4    2 : tunables   24   12    8
> : slabdata      0      0      0
> fib6_nodes             7     59     64   59    1 : tunables  120   60    8
> : slabdata      1      1      0
> ip6_dst_cache         10     24    320   12    1 : tunables   54   27    8
> : slabdata      2      2      0
>
> ndisc_cache            3     30    256   15    1 : tunables  120   60    8
> : slabdata      2      2      0
> RAWv6                 35     36    960    4    1 : tunables   54   27    8
> : slabdata      9      9      0
> UDPLITEv6              0      0    960    4    1 : tunables   54   27    8
> : slabdata      0      0      0
> UDPv6                  7     12    960    4    1 : tunables   54   27    8
> : slabdata      3      3      0
> tw_sock_TCPv6          0      0    192   20    1 : tunables  120   60    8
> : slabdata      0      0      0
> request_sock_TCPv6      0      0    192   20    1 : tunables  120   60    8
> : slabdata      0      0      0
> TCPv6                  3      4   1792    2    1 : tunables   24   12    8
> : slabdata      2      2      0
> ib_mad              2051   2096    448    8    1 : tunables   54   27    8
> : slabdata    262    262      0
>
> fuse_request           0      0    608    6    1 : tunables   54   27    8
> : slabdata      0      0      0
> fuse_inode             0      0    704   11    2 : tunables   54   27    8
> : slabdata      0      0      0
> kcopyd_job             0      0    360   11    1 : tunables   54   27    8
> : slabdata      0      0      0
> dm_uevent              0      0   2608    3    2 : tunables   24   12    8
> : slabdata      0      0      0
> dm_clone_bio_info      0      0     16  202    1 : tunables  120   60    8
> : slabdata      0      0      0
> dm_rq_target_io        0      0    408    9    1 : tunables   54   27    8
> : slabdata      0      0      0
> dm_target_io           0      0     24  144    1 : tunables  120   60    8
> : slabdata      0      0      0
> dm_io                  0      0     32  112    1 : tunables  120   60    8
> : slabdata      0      0      0
> uhci_urb_priv          1     67     56   67    1 : tunables  120   60    8
> : slabdata      1      1      0
> ext3_inode_cache    2472   2610    768    5    1 : tunables   54   27    8
> : slabdata    522    522      0
>
> ext3_xattr             0      0     88   44    1 : tunables  120   60    8
> : slabdata      0      0      0
> journal_handle        56    288     24  144    1 : tunables  120   60    8
> : slabdata      2      2      0
> journal_head         216    240     96   40    1 : tunables  120   60    8
> : slabdata      6      6      0
>
> revoke_table           4    202     16  202    1 : tunables  120   60    8
> : slabdata      1      1      0
> revoke_record          0      0     32  112    1 : tunables  120   60    8
> : slabdata      0      0      0
> sgpool-128             2      2   4096    1    1 : tunables   24   12    8
> : slabdata      2      2      0
> sgpool-64              2      2   2048    2    1 : tunables   24   12    8
> : slabdata      1      1      0
> sgpool-32              2      4   1024    4    1 : tunables   54   27    8
> : slabdata      1      1      0
> sgpool-16              2      8    512    8    1 : tunables   54   27    8
> : slabdata      1      1      0
> sgpool-8               2     15    256   15    1 : tunables  120   60    8
> : slabdata      1      1      0
> scsi_data_buffer       0      0     24  144    1 : tunables  120   60    8
> : slabdata      0      0      0
> scsi_io_context        0      0    112   34    1 : tunables  120   60    8
> : slabdata      0      0      0
> flow_cache             0      0     96   40    1 : tunables  120   60    8
> : slabdata      0      0      0
> cfq_io_context        58    207    168   23    1 : tunables  120   60    8
> : slabdata      9      9      0
> cfq_queue             56    308    136   28    1 : tunables  120   60    8
> : slabdata     11     11      0
>
> bsg_cmd                0      0    312   12    1 : tunables   54   27    8
> : slabdata      0      0      0
> mqueue_inode_cache      1      4    896    4    1 : tunables   54   27    8
> : slabdata      1      1      0
> isofs_inode_cache      0      0    608    6    1 : tunables   54   27    8
> : slabdata      0      0      0
> minix_inode_cache      0      0    624    6    1 : tunables   54   27    8
> : slabdata      0      0      0
> hugetlbfs_inode_cache      1      7    576    7    1 : tunables   54
> 27    8 : slabdata      1      1      0
> dnotify_cache          0      0     40   92    1 : tunables  120   60    8
> : slabdata      0      0      0
> dquot                  0      0    256   15    1 : tunables  120   60    8
> : slabdata      0      0      0
> inotify_event_cache      0      0     40   92    1 : tunables  120   60
> 8 : slabdata      0      0      0
> inotify_watch_cache     94    159     72   53    1 : tunables  120   60
> 8 : slabdata      3      3      0
>
> kioctx                 0      0    384   10    1 : tunables   54   27    8
> : slabdata      0      0      0
> kiocb                  0      0    256   15    1 : tunables  120   60    8
> : slabdata      0      0      0
> fasync_cache           0      0     24  144    1 : tunables  120   60    8
> : slabdata      0      0      0
> shmem_inode_cache    878   1040    784    5    1 : tunables   54   27    8
> : slabdata    208    208      0
>
> pid_namespace          0      0   2112    3    2 : tunables   24   12    8
> : slabdata      0      0      0
> nsproxy                0      0     56   67    1 : tunables  120   60    8
> : slabdata      0      0      0
> posix_timers_cache      0      0    192   20    1 : tunables  120   60    8
> : slabdata      0      0      0
> uid_cache              7     60    128   30    1 : tunables  120   60    8
> : slabdata      2      2      0
> UNIX                 128    220    704   11    2 : tunables   54   27    8
> : slabdata     20     20      0
>
> ip_mrt_cache           0      0    128   30    1 : tunables  120   60    8
> : slabdata      0      0      0
> UDP-Lite               0      0    832    9    2 : tunables   54   27    8
> : slabdata      0      0      0
> tcp_bind_bucket       15    118     64   59    1 : tunables  120   60    8
> : slabdata      2      2      0
>
> inet_peer_cache        1     59     64   59    1 : tunables  120   60    8
> : slabdata      1      1      0
> secpath_cache          0      0     64   59    1 : tunables  120   60    8
> : slabdata      0      0      0
> xfrm_dst_cache         0      0    384   10    1 : tunables   54   27    8
> : slabdata      0      0      0
> ip_fib_alias           0      0     32  112    1 : tunables  120   60    8
> : slabdata      0      0      0
> ip_fib_hash           15    106     72   53    1 : tunables  120   60    8
> : slabdata      2      2      0
> ip_dst_cache          40     84    320   12    1 : tunables   54   27    8
> : slabdata      7      7      0
>
> arp_cache              8     15    256   15    1 : tunables  120   60    8
> : slabdata      1      1      0
> RAW                   33     35    768    5    1 : tunables   54   27    8
> : slabdata      7      7      0
> UDP                   11     36    832    9    2 : tunables   54   27    8
> : slabdata      4      4      0
> tw_sock_TCP            4     20    192   20    1 : tunables  120   60    8
> : slabdata      1      1      0
>
> request_sock_TCP       0      0    128   30    1 : tunables  120   60    8
> : slabdata      0      0      0
> TCP                   16     24   1664    4    2 : tunables   24   12    8
> : slabdata      6      6      0
> eventpoll_pwq         69    159     72   53    1 : tunables  120   60    8
> : slabdata      3      3      0
> eventpoll_epi         69    150    128   30    1 : tunables  120   60    8
> : slabdata      5      5      0
>
> pfm_event_set          0      0  57344    1   16 : tunables    8    4    0
> : slabdata      0      0      0
> pfm_context            0      0   8192    1    2 : tunables    8    4    0
> : slabdata      0      0      0
> blkdev_integrity       0      0    112   34    1 : tunables  120   60    8
> : slabdata      0      0      0
> blkdev_queue          10     12   2264    3    2 : tunables   24   12    8
> : slabdata      4      4      0
> blkdev_requests       91    130    368   10    1 : tunables   54   27    8
> : slabdata     13     13     27
> blkdev_ioc            56    371     72   53    1 : tunables  120   60    8
> : slabdata      7      7      0
>
> biovec-256             2      2   4096    1    1 : tunables   24   12    8
> : slabdata      2      2      0
> biovec-128             2      4   2048    2    1 : tunables   24   12    8
> : slabdata      2      2      0
> biovec-64              2      8   1024    4    1 : tunables   54   27    8
> : slabdata      2      2      0
> biovec-16              2     30    256   15    1 : tunables  120   60    8
> : slabdata      2      2      0
> biovec-4               2    118     64   59    1 : tunables  120   60    8
> : slabdata      2      2      0
> biovec-1             223    606     16  202    1 : tunables  120   60    8
> : slabdata      3      3     70
>
> bio_integrity_payload      2     60    128   30    1 : tunables  120
> 60    8 : slabdata      2      2      0
> bio                  205    330    128   30    1 : tunables  120   60    8
> : slabdata     11     11     70
> sock_inode_cache     245    300    640    6    1 : tunables   54   27    8
> : slabdata     50     50      0
> skbuff_fclone_cache     14     14    512    7    1 : tunables   54   27
> 8 : slabdata      2      2      0
> skbuff_head_cache   5121   5985    256   15    1 : tunables  120   60    8
> : slabdata    399    399     68
> file_lock_cache        4     22    176   22    1 : tunables  120   60    8
> : slabdata      1      1      0
> Acpi-Operand         889   1749     72   53    1 : tunables  120   60    8
> : slabdata     33     33      0
>
> Acpi-ParseExt          0      0     72   53    1 : tunables  120   60    8
> : slabdata      0      0      0
> Acpi-Parse             0      0     48   77    1 : tunables  120   60    8
> : slabdata      0      0      0
> Acpi-State             0      0     80   48    1 : tunables  120   60    8
> : slabdata      0      0      0
> Acpi-Namespace       617    672     32  112    1 : tunables  120   60    8
> : slabdata      6      6      0
> task_delay_info      389    884    112   34    1 : tunables  120   60    8
> : slabdata     26     26      0
>
> taskstats              0      0    328   12    1 : tunables   54   27    8
> : slabdata      0      0      0
> page_cgroup            0      0     40   92    1 : tunables  120   60    8
> : slabdata      0      0      0
> proc_inode_cache    1397   1446    608    6    1 : tunables   54   27    8
> : slabdata    240    241    190
> sigqueue              29     96    160   24    1 : tunables  120   60    8
> : slabdata      4      4      1
> radix_tree_node   193120 196672    552    7    1 : tunables   54   27    8
> : slabdata  28096  28096    216
> bdev_cache             5     15    768    5    1 : tunables   54   27    8
> : slabdata      3      3      0
>
> sysfs_dir_cache    19120  19296     80   48    1 : tunables  120   60    8
> : slabdata    402    402      0
> mnt_cache             30    105    256   15    1 : tunables  120   60    8
> : slabdata      7      7      0
> inode_cache         1128   1176    560    7    1 : tunables   54   27    8
> : slabdata    166    168     24
> dentry              4651   8189    208   19    1 : tunables  120   60    8
> : slabdata    431    431      0
> filp                1563   2720    192   20    1 : tunables  120   60    8
> : slabdata    136    136    242
> names_cache          142    142   4096    1    1 : tunables   24   12    8
> : slabdata    142    142     96
>
> key_jar                0      0    192   20    1 : tunables  120   60    8
> : slabdata      0      0      0
> buffer_head         1129   3071    104   37    1 : tunables  120   60    8
> : slabdata     83     83      0
> mm_struct             86    136    896    4    1 : tunables   54   27    8
> : slabdata     34     34      1
> vm_area_struct      3406   4136    176   22    1 : tunables  120   60    8
> : slabdata    188    188     26
> fs_cache             140    531     64   59    1 : tunables  120   60    8
> : slabdata      9      9      1
> files_cache           83    150    768    5    1 : tunables   54   27    8
> : slabdata     30     30      1
> signal_cache         325    388    960    4    1 : tunables   54   27    8
> : slabdata     97     97      0
> sighand_cache        317    369   2112    3    2 : tunables   24   12    8
> : slabdata    123    123      0
> task_xstate          155    256    512    8    1 : tunables   54   27    8
> : slabdata     32     32      2
> task_struct          368    372   5872    1    2 : tunables    8    4    0
> : slabdata    368    372      0
> anon_vma             966   1728     24  144    1 : tunables  120   60    8
> : slabdata     12     12      0
> pid                  377    960    128   30    1 : tunables  120   60    8
> : slabdata     32     32      0
>
> shared_policy_node      0      0     48   77    1 : tunables  120   60    8
> : slabdata      0      0      0
> numa_policy           15    112    136   28    1 : tunables  120   60    8
> : slabdata      4      4      0
> idr_layer_cache      284    322    544    7    1 : tunables   54   27    8
> : slabdata     46     46      0
>
> size-4194304(DMA)      0      0 4194304    1 1024 : tunables    1    1    0
> : slabdata      0      0      0
> size-4194304           0      0 4194304    1 1024 : tunables    1    1    0
> : slabdata      0      0      0
> size-2097152(DMA)      0      0 2097152    1  512 : tunables    1    1    0
> : slabdata      0      0      0
> size-2097152           0      0 2097152    1  512 : tunables    1    1    0
> : slabdata      0      0      0
> size-1048576(DMA)      0      0 1048576    1  256 : tunables    1    1    0
> : slabdata      0      0      0
> size-1048576           0      0 1048576    1  256 : tunables    1    1    0
> : slabdata      0      0      0
> size-524288(DMA)       0      0 524288    1  128 : tunables    1    1    0
> : slabdata      0      0      0
> size-524288            0      0 524288    1  128 : tunables    1    1    0
> : slabdata      0      0      0
> size-262144(DMA)       0      0 262144    1   64 : tunables    1    1    0
> : slabdata      0      0      0
> size-262144            0      0 262144    1   64 : tunables    1    1    0
> : slabdata      0      0      0
> size-131072(DMA)       0      0 131072    1   32 : tunables    8    4    0
> : slabdata      0      0      0
> size-131072            3      3 131072    1   32 : tunables    8    4    0
> : slabdata      3      3      0
> size-65536(DMA)        0      0  65536    1   16 : tunables    8    4    0
> : slabdata      0      0      0
> size-65536             6      6  65536    1   16 : tunables    8    4    0
> : slabdata      6      6      0
> size-32768(DMA)        0      0  32768    1    8 : tunables    8    4    0
> : slabdata      0      0      0
> size-32768            10     10  32768    1    8 : tunables    8    4    0
> : slabdata     10     10      0
>
> size-16384(DMA)        0      0  16384    1    4 : tunables    8    4    0
> : slabdata      0      0      0
> size-16384            44     44  16384    1    4 : tunables    8    4    0
> : slabdata     44     44      0
>
> size-8192(DMA)         0      0   8192    1    2 : tunables    8    4    0
> : slabdata      0      0      0
> size-8192           3611   3611   8192    1    2 : tunables    8    4    0
> : slabdata   3611   3611      0
>
> size-4096(DMA)         0      0   4096    1    1 : tunables   24   12    8
> : slabdata      0      0      0
> size-4096           1771   1771   4096    1    1 : tunables   24   12    8
> : slabdata   1771   1771      0
>
> size-2048(DMA)         0      0   2048    2    1 : tunables   24   12    8
> : slabdata      0      0      0
> size-2048           4609   4714   2048    2    1 : tunables   24   12    8
> : slabdata   2357   2357      0
>
> size-1024(DMA)         0      0   1024    4    1 : tunables   54   27    8
> : slabdata      0      0      0
> size-1024           4829   4900   1024    4    1 : tunables   54   27    8
> : slabdata   1225   1225      0
>
> size-512(DMA)          0      0    512    8    1 : tunables   54   27    8
> : slabdata      0      0      0
> size-512            1478   1520    512    8    1 : tunables   54   27    8
> : slabdata    190    190     39
>
> size-256(DMA)          0      0    256   15    1 : tunables  120   60    8
> : slabdata      0      0      0
> size-256            4662   5550    256   15    1 : tunables  120   60    8
> : slabdata    370    370      1
>
> size-128(DMA)          0      0    128   30    1 : tunables  120   60    8
> : slabdata      0      0      0
> size-64(DMA)           0      0     64   59    1 : tunables  120   60    8
> : slabdata      0      0      0
> size-64            17232  29382     64   59    1 : tunables  120   60    8
> : slabdata    498    498      0
>
> size-32(DMA)           0      0     32  112    1 : tunables  120   60    8
> : slabdata      0      0      0
> size-128            9907  16140    128   30    1 : tunables  120   60    8
> : slabdata    538    538      0
> size-32            12487  13104     32  112    1 : tunables  120   60    8
> : slabdata    117    117      0
>
> kmem_cache           181    181   4224    1    2 : tunables    8    4    0
> : slabdata    181    181      0
>
>
> Tasks: 278 total,   1 running, 276 sleeping,   0 stopped,   1 zombie
> Cpu(s):  3.8%us,  0.1%sy,  0.0%ni, 96.0%id,  0.0%wa,  0.0%hi,  0.0%si,
> 0.0%st
> Mem:  198091444k total, 197636988k used,   454456k free,     4544k buffers
> Swap: 75505460k total,  8567448k used, 66938012k free, 29144008k cached
>
>   PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+
> COMMAND
>
>   107 root      15  -5     0    0    0 D   10  0.0   5:06.43
> kswapd1
>
> 19328 user1    20   0 66.5g  60g 2268 D    4 32.0  31:48.49
> R
>
>     1 root      20   0  1064   64   32 S    0  0.0   0:21.20
> init
>
>     2 root      15  -5     0    0    0 S    0  0.0   0:00.06
> kthreadd
>
>     3 root      RT  -5     0    0    0 S    0  0.0   0:00.24
> migration/0
>
>     4 root      15  -5     0    0    0 S    0  0.0   1:01.12
> ksoftirqd/0
>
>     5 root      RT  -5     0    0    0 S    0  0.0   0:00.30
> migration/1
>
>     6 root      15  -5     0    0    0 S    0  0.0   0:00.50
> ksoftirqd/1
>
>     7 root      RT  -5     0    0    0 S    0  0.0   0:00.22
> migration/2
>
>     8 root      15  -5     0    0    0 S    0  0.0   0:00.36
> ksoftirqd/2
>
>     9 root      RT  -5     0    0    0 S    0  0.0   0:00.28
> migration/3
>
>    10 root      15  -5     0    0    0 S    0  0.0   0:00.60
> ksoftirqd/3
>
>    11 root      RT  -5     0    0    0 S    0  0.0   0:00.18
> migration/4
>
>    12 root      15  -5     0    0    0 S    0  0.0   0:00.40
> ksoftirqd/4
>
>    13 root      RT  -5     0    0    0 S    0  0.0   0:00.26
> migration/5
>
>    14 root      15  -5     0    0    0 S    0  0.0   0:00.76
> ksoftirqd/5
>
>    15 root      RT  -5     0    0    0 S    0  0.0   0:00.20
> migration/6
>
>    16 root      15  -5     0    0    0 S    0  0.0   0:00.36
> ksoftirqd/6
>
>    17 root      RT  -5     0    0    0 S    0  0.0   0:00.26
> migration/7
>
>    18 root      15  -5     0    0    0 S    0  0.0   0:00.68
> ksoftirqd/7
>
>    19 root      RT  -5     0    0    0 S    0  0.0   0:00.88
> migration/8
>
>    20 root      15  -5     0    0    0 S    0  0.0   0:07.70
> ksoftirqd/8
>
>    21 root      RT  -5     0    0    0 S    0  0.0   0:01.12
> migration/9
>
>    22 root      15  -5     0    0    0 S    0  0.0   0:01.20
> ksoftirqd/9
>
>    23 root      RT  -5     0    0    0 S    0  0.0   0:03.50
> migration/10
>
>    24 root      15  -5     0    0    0 S    0  0.0   0:01.22
> ksoftirqd/10
>
>    25 root      RT  -5     0    0    0 S    0  0.0   0:04.84
> migration/11
>
>    26 root      15  -5     0    0    0 S    0  0.0   0:01.90
> ksoftirqd/11
>
>    27 root      RT  -5     0    0    0 S    0  0.0   0:01.46
> migration/12
>
>    28 root      15  -5     0    0    0 S    0  0.0   0:01.42
> ksoftirqd/12
>
>    29 root      RT  -5     0    0    0 S    0  0.0   0:01.62
> migration/13
>
>    30 root      15  -5     0    0    0 S    0  0.0   0:01.84
> ksoftirqd/13
>
>    31 root      RT  -5     0    0    0 S    0  0.0   0:01.90
> migration/14
>
>    32 root      15  -5     0    0    0 S    0  0.0   0:01.18
> ksoftirqd/14
> --
>
> Thanks,
> -J
>
> On Mon, Apr 19, 2010 at 10:07 AM, Andreas Dilger <
> andreas.dilger at oracle.com> wrote:
>
>> There is a known problem with the DLM LRU size that may be affecting you.
>> It may be something else too. Please check /proc/{slabinfo,meminfo} to see
>> what is using the memory on the client.
>>
>> Cheers, Andreas
>>
>>
>> On 2010-04-19, at 10:43, Jagga Soorma <jagga13 at gmail.com> wrote:
>>
>>  Hi Guys,
>>>
>>> My users are reporting some issues with memory on our lustre 1.8.1
>>> clients.  It looks like when they submit a single job at a time the run time
>>> was about 4.5 minutes.  However, when they ran multiple jobs (10 or less) on
>>> a client with 192GB of memory on a single node the run time for each job was
>>> exceeding 3-4X the run time for the single process.  They also noticed that
>>> the swap space kept climbing even though there was plenty of free memory on
>>> the system.  Could this possibly be related to the lustre client?  Does it
>>> reserve any memory that is not accessible by any other process even though
>>> it might not be in use?
>>>
>>> Thanks much,
>>> -J
>>> _______________________________________________
>>> Lustre-discuss mailing list
>>> Lustre-discuss at lists.lustre.org
>>> http://lists.lustre.org/mailman/listinfo/lustre-discuss
>>>
>>
>
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://lists.lustre.org/pipermail/lustre-discuss-lustre.org/attachments/20100419/8000e20d/attachment.htm>


More information about the lustre-discuss mailing list