RE: OEL - fork: Resource temporarily unavailable

From: Upendra N <nupendra_at_hotmail.com>
Date: Thu, 22 Sep 2011 00:10:37 -0400
Message-ID: <BLU129-W238CA4883BC41DB50FB36AD80C0_at_phx.gbl>

Plenty of space exists in the archive dest which is FLASH01.. proddb2:PRODDB2:/home/oracle> asmcmd lsdg

State    Type    Rebal  Sector  Block       AU  Total_MB  Free_MB  Req_mir_free_MB  Usable_file_MB  Offline_disks  Voting_files  Name
MOUNTED  EXTERN  N         512   4096  1048576      5120     4724                0            4724              0             Y  CRS_DATA/
MOUNTED  EXTERN  N         512   4096  1048576    614400   165008                0          165008              0             N  DATA01/
MOUNTED  EXTERN  N         512   4096  1048576    409600   348446                0          348446              0             N  FLASH01/

-Upendra

Date: Thu, 22 Sep 2011 09:29:01 +0530
Subject: Re: OEL - fork: Resource temporarily unavailable From: deshpande.subodh_at_gmail.com
To: nupendra_at_hotmail.com
CC: oracle-l_at_freelists.org

check space where archives are written..

On 22 September 2011 09:02, Upendra N <nupendra_at_hotmail.com> wrote:

We have a 2 node Oracle RAC clusters, both are running OEL 5.6 and Oracle 11g R2.

::::::::::::::

/etc/enterprise-release
::::::::::::::

Enterprise Linux Enterprise Linux Server release 5.6 (Carthage)
::::::::::::::

/etc/oracle-release
::::::::::::::

Oracle Linux Server release 5.6
::::::::::::::

/etc/redhat-release
::::::::::::::

Red Hat Enterprise Linux Server release 5.6 (Tikanga)

From one of the node I am seeing the following error consistently..

-bash: fork: Resource temporarily unavailable

(22:55:17) root_at_proddb1: /var/tmp # ulimit -a

core file size á á á á á(blocks, -c) 0
data seg size á á á á á (kbytes, -d) unlimited
scheduling priority á á á á á á (-e) 0
file size á á á á á á á (blocks, -f) unlimited

pending signals á á á á á á á á (-i) 1056768
max locked memory á á á (kbytes, -l) 32
max memory size á á á á (kbytes, -m) unlimited

open files á á á á á á á á á á á(-n) 100000 pipe size á á á á á á(512 bytes, -p) 8

POSIX message queues á á (bytes, -q) 819200
real-time priority á á á á á á á(-r) 0
stack size á á á á á á á(kbytes, -s) 10240
cpu time á á á á á á á (seconds, -t) unlimited
max user processes á á á á á á á(-u) 1056768

virtual memory á á á á á(kbytes, -v) unlimited file locks á á á á á á á á á á á(-x) unlimited

proddb1 is where the problem exists..

Number of database connections between the boxes look fine:

proddb1# ps -ef|grep -ic local=no
3800

proddb2# ps -ef|grep -ic local=no

4500

proddb1# ps -eLf|wc -l

32500

proddb2# ps -eLf|wc -l

6500

proddb1# strace lsof -o /tmp/lsof.out á á á á á<--- Produces the following output .....

.....

close(99982) á á á á á á á á á á á á á á= -1 EBADF (Bad file descriptor) close(99983) á á á á á á á á á á á á á á= -1 EBADF (Bad file descriptor)

close(99984) á á á á á á á á á á á á á á= -1 EBADF (Bad file descriptor)
close(99985) á á á á á á á á á á á á á á= -1 EBADF (Bad file descriptor)
close(99986) á á á á á á á á á á á á á á= -1 EBADF (Bad file descriptor)

close(99987) á á á á á á á á á á á á á á= -1 EBADF (Bad file descriptor)

close(99988) á á á á á á á á á á á á á á= -1 EBADF (Bad file descriptor) close(99989) á á á á á á á á á á á á á á= -1 EBADF (Bad file descriptor)

close(99990) á á á á á á á á á á á á á á= -1 EBADF (Bad file descriptor)
close(99991) á á á á á á á á á á á á á á= -1 EBADF (Bad file descriptor)
close(99992) á á á á á á á á á á á á á á= -1 EBADF (Bad file descriptor)

close(99993) á á á á á á á á á á á á á á= -1 EBADF (Bad file descriptor)

close(99994) á á á á á á á á á á á á á á= -1 EBADF (Bad file descriptor) close(99995) á á á á á á á á á á á á á á= -1 EBADF (Bad file descriptor)

close(99996) á á á á á á á á á á á á á á= -1 EBADF (Bad file descriptor)
close(99997) á á á á á á á á á á á á á á= -1 EBADF (Bad file descriptor)
close(99998) á á á á á á á á á á á á á á= -1 EBADF (Bad file descriptor)

close(99999) á á á á á á á á á á á á á á= -1 EBADF (Bad file descriptor)
open("/dev/null", O_RDWR) á á á á á á á = 3

close(3) á á á á á á á á á á á á á á á á= 0 umask(0) á á á á á á á á á á á á á á á á= 022

open("/usr/lib/locale/locale-archive", O_RDONLY) = 3 fstat(3, {st_mode=S_IFREG|0644, st_sizeV442544, ...}) = 0 mmap(NULL, 56442544, PROT_READ, MAP_PRIVATE, 3, 0) = 0x2b9c118e9000 close(3) á á á á á á á á á á á á á á á á= 0

getpid() á á á á á á á á á á á á á á á á= 760
getgid() á á á á á á á á á á á á á á á á= 0
getegid() á á á á á á á á á á á á á á á = 0
geteuid() á á á á á á á á á á á á á á á = 0
getuid() á á á á á á á á á á á á á á á á= 0

stat("/dev", {st_mode=S_IFDIR|0755, st_sizea80, ...}) = 0 open("/", O_RDONLY) á á á á á á á á á á = 3 lseek(3, 1, SEEK_SET) á á á á á á á á á = 1 lstat("/proc/760/fd/3", {st_mode=S_IFLNK|0500, st_sized, ...}) = 0

close(3) á á á á á á á á á á á á á á á á= 0 open("/proc/mounts", O_RDONLY) á á á á á= 3 fstat(3, {st_mode=S_IFREG|0444, st_size=0, ...}) = 0 mmap(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x2b9c14ebd000

read(3, "rootfs / rootfs rw 0 0\n/dev/root"..., 4096) = 1228
pipe([4, 5]) á á á á á á á á á á á á á á= 0
pipe([6, 7]) á á á á á á á á á á á á á á= 0

clone(child_stack=0, flags=CLONE_CHILD_CLEARTID|CLONE_CHILD_SETTID|SIGCHLD, child_tidptr=0x2b9c118e8670) = -1 EAGAIN (Resource temporarily unavailable)

write(2, "lsof: can't fork: Resource tempo"..., 51) = 51 exit_group(1) á á á á á á á á á á á á á = ?

Any help is appreciated.

-Upendra

--
http://www.freelists.org/webpage/oracle-l





-- 
==============================
DO NOT FORGET TO SMILE TODAY
==============================
 		 	   		  
--
http://www.freelists.org/webpage/oracle-l

Received on Wed Sep 21 2011 - 23:10:37 CDT