One process and the threads shut down. Can some give a idea

Clovertech Forums Read Only Archives Cloverleaf Cloverleaf One process and the threads shut down. Can some give a idea

  • Creator
    Topic
  • #52803
    Gerand Fontenot
    Participant

      The following is the is the log.

      Engine idle — 11/13/2011 17:56:25

      [pti :sign:WARN/0:hlabtrans_cmd:11/13/2011 17:56:49] Thread 0 received signal 11

      [pti :sign:WARN/0:hlabtrans_cmd:11/13/2011 17:56:49] PC = 0xd01e5080

      PANIC: “0”

      PANIC: Calling “pti” for thread hlabtrans_cmd


      Scheduler State


      Thread Events     State      Priority Runnable  PT Msgs

        0      0   SCHED_RUNNING      0       0       1,0,0

        1      0   SCHED_IDLE         0       0       0,0,0

        2      0   SCHED_IDLE         0       0       0,0,0

        3      0   SCHED_IDLE         0       0       0,0,0

        4      0   SCHED_IDLE         0       0       0,0,0

        5      0   SCHED_IDLE         0       0       0,0,0


      Thread 0


      ti: 0x20a941b8

         tid           :    0

         HostPthreadId : 0x1

         EventList     : 0x20a942f8

         PolledEvents  : 0x20a94318

         PthreadEvent  : 0x20a94488

         ReadyEvents   : 0x20a94338

         CtrlMsgs      : 0x20a94358

         UserCtrlMsgs  : 0x20a94378

         UserDataMsgs  : 0x20a94398

         StartArgs     : 0x0

         SchedState    : SCHED_RUNNING

         SchedPriority : 0

         Killed        : 1


      Registered Events


      el: 0x20a942f8

         elCount : 2

         elHead: 0x20a944c8

         elTail: 0x20bfd428

      ele: 0x20a944c8

         event: 0x20a94488

         prev : 0x0

         next : 0x20bfd428

      ev: 0x20a94488

          evType     : PTHREADS

          evStrDesc    :

          evSocket     : 0

          evMsgQue     : 0

          evTid        : 0

          evState      : 0

          evPtMsg      : 0x0

          evUserData   : 0x0

          evCallBack   : 0x0

          evCbShutdown : 0x0

          evRecurFreq  :

      ele: 0x20bfd428

         event: 0x20bfd3c8

         prev : 0x20a944c8

         next : 0x0

      ev: 0x20bfd3c8

          evType     : SOCKET

          evStrDesc    : Command port listen

          evSocket     : 7

          evMsgQue     : 0

          evTid        : 0

          evState      : 0

          evPtMsg      : 0x0

          evUserData   : 0x20bfd3a8

          evCallBack   : 0x200aacf0

          evCbShutdown : 0x200aacfc

          evRecurFreq  :


      Polled Events


      el: 0x20a94318

         elCount : 0

         elHead: 0x0

         elTail: 0x0


      Ready Events


      el: 0x20a94338

         elCount : 0

         elHead: 0x0

         elTail: 0x0


      Outstanding Pthread Ctrl Msgs


      pmq: 0x20a94358

      Count   : 1

      Head    : 0x21387d18

      Tail    : 0x21387d18

      PthreadMsg: 0x21387d18

         ptmType   : 1

         ptmSender : 0

         ptmCtrl   : 3358

         ptmNext   : 0x0

         ptmDataPtr: 0x0

         ptmDataInt: 0


      Outstanding Pthread User Ctrl Msgs


      pmq: 0x20a94378

      Count   : 0

      Head    : 0x0

      Tail    : 0x0


      Outstanding Pthread User Data Msgs


      pmq: 0x20a94398

      Count   : 0

      Head    : 0x0

      Tail    : 0x0


      Thread 1


      ti: 0x20cec918

         tid           :    1

         HostPthreadId : 0x102

         EventList     : 0x20bfd4c8

         PolledEvents  : 0x20bfd4e8

         PthreadEvent  : 0x20d5f6d8

         ReadyEvents   : 0x20bfd508

         CtrlMsgs      : 0x20bfd528

         UserCtrlMsgs  : 0x20bfd548

         UserDataMsgs  : 0x20bfd568

         StartArgs     : 0x20bfd488

         SchedState    : SCHED_IDLE

         SchedPriority : 0

         Killed        : 0


      Registered Events


      el: 0x20bfd4c8

         elCount : 3

         elHead: 0x20d5f618

         elTail: 0x20d5fdc8

      ele: 0x20d5f618

         event: 0x20d5f698

         prev : 0x0

         next : 0x20d5fb88

      ev: 0x20d5f698

          evType     : SOCKET

          evStrDesc    :

          evSocket     : 13

          evMsgQue     : 0

          evTid        : 1

          evState      : 0

          evPtMsg      : 0x0

          evUserData   : 0x20d5f198

          evCallBack   : 0x200a92c8

          evCbShutdown : 0x200a92b0

          evRecurFreq  :

      ele: 0x20d5fb88

         event: 0x20d5f6d8

         prev : 0x20d5f618

         next : 0x20d5fdc8

      ev: 0x20d5f6d8

          evType     : PTHREADS

          evStrDesc    :

          evSocket     : 0

          evMsgQue     : 0

          evTid        : 1

          evState      : 0

          evPtMsg      : 0x0

          evUserData   : 0x20d5f378

          evCallBack   : 0x200a92bc

          evCbShutdown : 0x200a92b0

          evRecurFreq  :

      ele: 0x20d5fdc8

         event: 0x20d5ff88

         prev : 0x20d5fb88

         next : 0x0

      ev: 0x20d5ff88

          evType     : POLLED

          evStrDesc    :

          evSocket     : 0

          evMsgQue     : 0

          evTid        : 1

          evState      : 0

          evPtMsg      : 0x0

          evUserData   : 0x0

          evCallBack   : 0x200a92e0

          evCbShutdown : 0x0

          evRecurFreq  :


      Polled Events


      el: 0x20bfd4e8

         elCount : 1

         elHead: 0x20d5fc78

         elTail: 0x20d5fc78

      ele: 0x20d5fc78 — POLLED event: 0x20d5ff88


      Ready Events


      el: 0x20bfd508

         elCount : 0

         elHead: 0x0

         elTail: 0x0


      Outstanding Pthread Ctrl Msgs


      pmq: 0x20bfd528

      Count   : 0

      Head    : 0x0

      Tail    : 0x0


      Outstanding Pthread User Ctrl Msgs


      pmq: 0x20bfd548

      Count   : 0

      Head    : 0x0

      Tail    : 0x0


      Outstanding Pthread User Data Msgs


      pmq: 0x20bfd568

      Count   : 0

      Head    : 0x0

      Tail    : 0x0


      Thread 2


      ti: 0x21145b58

         tid           :    2

         HostPthreadId : 0x203

         EventList     : 0x20e82668

         PolledEvents  : 0x20e82688

         PthreadEvent  : 0x212a2128

         ReadyEvents   : 0x20e826c8

         CtrlMsgs      : 0x20e82758

         UserCtrlMsgs  : 0x20e827e8

         UserDataMsgs  : 0x20e82888

         StartArgs     : 0x20e825e8

         SchedState    : SCHED_IDLE

         SchedPriority : 0

         Killed        : 0


      Registered Events


      el: 0x20e82668

         elCount : 5

         elHead: 0x212a2168

         elTail: 0x21839418

      ele: 0x212a2168

         event: 0x212a20c8

         prev : 0x0

         next : 0x212a21a8

      ev: 0x212a20c8

          evType     : SOCKET

          evStrDesc    :

          evSocket     : 22

          evMsgQue     : 0

          evTid        : 2

          evState      : 0

          evPtMsg      : 0x0

          evUserData   : 0x212a20a8

          evCallBack   : 0x200a92c8

          evCbShutdown : 0x200a92b0

          evRecurFreq  :

      ele: 0x212a21a8

         event: 0x212a2128

         prev : 0x212a2168

         next : 0x21296ef8

      ev: 0x212a2128

          evType     : PTHREADS

          evStrDesc    :

          evSocket     : 0

          evMsgQue     : 0

          evTid        : 2

          evState      : 0

          evPtMsg      : 0x0

          evUserData   : 0x212a2108

          evCallBack   : 0x200a92bc

          evCbShutdown : 0x200a92b0

          evRecurFreq  :

      ele: 0x21296ef8

         event: 0x21296e98

         prev : 0x212a21a8

         next : 0x20c28558

      ev: 0x21296e98

          evType     : POLLED

          evStrDesc    :

          evSocket     : 0

          evMsgQue     : 0

          evTid        : 2

          evState      : 0

          evPtMsg      : 0x0

          evUserData   : 0x0

          evCallBack   : 0x200aab34

          evCbShutdown : 0x0

          evRecurFreq  :

      ele: 0x20c28558

         event: 0x21356138

         prev : 0x21296ef8

         next : 0x21839418

      ev: 0x21356138

          evType     : SOCKET

          evStrDesc    : PDL server

          evSocket     : 30

          evMsgQue     : 0

          evTid        : 2

          evState      : 0

          evPtMsg      : 0x0

          evUserData   : 0x212a22e8

          evCallBack   : 0x200a99d0

          evCbShutdown : 0x0

          evRecurFreq  :

      ele: 0x21839418

         event: 0x21297018

         prev : 0x20c28558

         next : 0x0

      ev: 0x21297018

          evType     : ACTIVE_TIMER

          evStrDesc    :

          evSocket     : 0

          evMsgQue     : 0

          evTid        : 2

          evState      : 0

          evPtMsg      : 0x0

          evUserData   : 0x2128c618

          evCallBack   : 0x200a9328

          evCbShutdown : 0x0

          evRecurFreq  : 5.0000


      Polled Events


      el: 0x20e82688

         elCount : 1

         elHead: 0x21296ed8

         elTail: 0x21296ed8

      ele: 0x21296ed8 — POLLED event: 0x21296e98


      Ready Events


      el: 0x20e826c8

         elCount : 0

         elHead: 0x0

         elTail: 0x0


      Outstanding Pthread Ctrl Msgs


      pmq: 0x20e82758

      Count   : 0

      Head    : 0x0

      Tail    : 0x0


      Outstanding Pthread User Ctrl Msgs


      pmq: 0x20e827e8

      Count   : 0

      Head    : 0x0

      Tail    : 0x0


      Outstanding Pthread User Data Msgs


      pmq: 0x20e82888

      Count   : 0

      Head    : 0x0

      Tail    : 0x0


      Thread 3


      ti: 0x213815d8

         tid           :    3

         HostPthreadId : 0x304

         EventList     : 0x21378798

         PolledEvents  : 0x21378ae8

         PthreadEvent  : 0x2152a718

         ReadyEvents   : 0x21378b38

         CtrlMsgs      : 0x213790b8

         UserCtrlMsgs  : 0x213790d8

         UserDataMsgs  : 0x213790f8

         StartArgs     : 0x213737f8

         SchedState    : SCHED_IDLE

         SchedPriority : 0

         Killed        : 0


      Registered Events


      el: 0x21378798

         elCount : 5

         elHead: 0x21379198

         elTail: 0x213828b8

      ele: 0x21379198

         event: 0x2152a6b8

         prev : 0x0

         next : 0x20c32348

      ev: 0x2152a6b8

          evType     : SOCKET

          evStrDesc    :

          evSocket     : 42

          evMsgQue     : 0

          evTid        : 3

          evState      : 0

          evPtMsg      : 0x0

          evUserData   : 0x2152a698

          evCallBack   : 0x200a92c8

          evCbShutdown : 0x200a92b0

          evRecurFreq  :

      ele: 0x20c32348

         event: 0x2152a718

         prev : 0x21379198

         next : 0x21378f38

      ev: 0x2152a718

          evType     : PTHREADS

          evStrDesc    :

          evSocket     : 0

          evMsgQue     : 0

          evTid        : 3

          evState      : 0

          evPtMsg      : 0x0

          evUserData   : 0x2152a6f8

          evCallBack   : 0x200a92bc

          evCbShutdown : 0x200a92b0

          evRecurFreq  :

      ele: 0x21378f38

         event: 0x21509478

         prev : 0x20c32348

         next : 0x21379678

      ev: 0x21509478

          evType     : POLLED

          evStrDesc    :

          evSocket     : 0

          evMsgQue     : 0

          evTid        : 3

          evState      : 0

          evPtMsg      : 0x0

          evUserData   : 0x0

          evCallBack   : 0x200aab34

          evCbShutdown : 0x0

          evRecurFreq  :

      ele: 0x21379678

         event: 0x215ca348

         prev : 0x21378f38

         next : 0x213828b8

      ev: 0x215ca348

          evType     : SOCKET

          evStrDesc    : PDL server

          evSocket     : 37

          evMsgQue     : 0

          evTid        : 3

          evState      : 0

          evPtMsg      : 0x0

          evUserData   : 0x215076d8

          evCallBack   : 0x200a99d0

          evCbShutdown : 0x0

          evRecurFreq  :

      ele: 0x213828b8

         event: 0x215095b8

         prev : 0x21379678

         next : 0x0

      ev: 0x215095b8

          evType     : ACTIVE_TIMER

          evStrDesc    :

          evSocket     : 0

          evMsgQue     : 0

          evTid        : 3

          evState      : 0

          evPtMsg      : 0x0

          evUserData   : 0x214ffad8

          evCallBack   : 0x200a9328

          evCbShutdown : 0x0

          evRecurFreq  : 5.0000


      Polled Events


      el: 0x21378ae8

         elCount : 1

         elHead: 0x21297078

         elTail: 0x21297078

      ele: 0x21297078 — POLLED event: 0x21509478


      Ready Events


      el: 0x21378b38

         elCount : 0

         elHead: 0x0

         elTail: 0x0


      Outstanding Pthread Ctrl Msgs


      pmq: 0x213790b8

      Count   : 0

      Head    : 0x0

      Tail    : 0x0


      Outstanding Pthread User Ctrl Msgs


      pmq: 0x213790d8

      Count   : 0

      Head    : 0x0

      Tail    : 0x0


      Outstanding Pthread User Data Msgs


      pmq: 0x213790f8

      Count   : 0

      Head    : 0x0

      Tail    : 0x0


      Thread 4


      ti: 0x21394388

         tid           :    4

         HostPthreadId : 0x405

         EventList     : 0x21383438

         PolledEvents  : 0x21383498

         PthreadEvent  : 0x21793478

         ReadyEvents   : 0x213834b8

         CtrlMsgs      : 0x21383728

         UserCtrlMsgs  : 0x21383748

         UserDataMsgs  : 0x213837c8

         StartArgs     : 0x213833f8

         SchedState    : SCHED_IDLE

         SchedPriority : 0

         Killed        : 0


      Registered Events


      el: 0x21383438

         elCount : 5

         elHead: 0x215d1108

         elTail: 0x21358de8

      ele: 0x215d1108

         event: 0x21793418

         prev : 0x0

         next : 0x21385e28

      ev: 0x21793418

          evType     : SOCKET

          evStrDesc    :

          evSocket     : 55

          evMsgQue     : 0

          evTid        : 4

          evState      : 0

          evPtMsg      : 0x0

          evUserData   : 0x217933f8

          evCallBack   : 0x200a92c8

          evCbShutdown : 0x200a92b0

          evRecurFreq  :

      ele: 0x21385e28

         event: 0x21793478

         prev : 0x215d1108

         next : 0x217721f8

      ev: 0x21793478

          evType     : PTHREADS

          evStrDesc    :

          evSocket     : 0

          evMsgQue     : 0

          evTid        : 4

          evState      : 0

          evPtMsg      : 0x0

          evUserData   : 0x21793458

          evCallBack   : 0x200a92bc

          evCbShutdown : 0x200a92b0

          evRecurFreq  :

      ele: 0x217721f8

         event: 0x21772198

         prev : 0x21385e28

         next : 0x212a2188

      ev: 0x21772198

          evType     : POLLED

          evStrDesc    :

          evSocket     : 0

          evMsgQue     : 0

          evTid        : 4

          evState      : 0

          evPtMsg      : 0x0

          evUserData   : 0x0

          evCallBack   : 0x200aab34

          evCbShutdown : 0x0

          evRecurFreq  :

      ele: 0x212a2188

         event: 0x21832798

         prev : 0x217721f8

         next : 0x21358de8

      ev: 0x21832798

          evType     : SOCKET

          evStrDesc    : PDL server

          evSocket     : 74

          evMsgQue     : 0

          evTid        : 4

          evState      : 0

          evPtMsg      : 0x0

          evUserData   : 0x217703f8

          evCallBack   : 0x200a99d0

          evCbShutdown : 0x0

          evRecurFreq  :

      ele: 0x21358de8

         event: 0x21772318

         prev : 0x212a2188

         next : 0x0

      ev: 0x21772318

          evType     : ACTIVE_TIMER

          evStrDesc    :

          evSocket     : 0

          evMsgQue     : 0

          evTid        : 4

          evState      : 0

          evPtMsg      : 0x0

          evUserData   : 0x21768d78

          evCallBack   : 0x200a9328

          evCbShutdown : 0x0

          evRecurFreq  : 5.0000


      Polled Events


      el: 0x21383498

         elCount : 1

         elHead: 0x217721d8

         elTail: 0x217721d8

      ele: 0x217721d8 — POLLED event: 0x21772198


      Ready Events


      el: 0x213834b8

         elCount : 0

         elHead: 0x0

         elTail: 0x0


      Outstanding Pthread Ctrl Msgs


      pmq: 0x21383728

      Count   : 0

      Head    : 0x0

      Tail    : 0x0


      Outstanding Pthread User Ctrl Msgs


      pmq: 0x21383748

      Count   : 0

      Head    : 0x0

      Tail    : 0x0


      Outstanding Pthread User Data Msgs


      pmq: 0x213837c8

      Count   : 0

      Head    : 0x0

      Tail    : 0x0


      Thread 5


      ti: 0x2183d078

         tid           :    5

         HostPthreadId : 0x506

         EventList     : 0x21382dd8

         PolledEvents  : 0x21382eb8

         PthreadEvent  : 0x219d08b8

         ReadyEvents   : 0x21382f78

         CtrlMsgs      : 0x21383088

         UserCtrlMsgs  : 0x213830a8

         UserDataMsgs  : 0x213830c8

         StartArgs     : 0x21382d98

         SchedState    : SCHED_IDLE

         SchedPriority : 0

         Killed        : 0


      Registered Events


      el: 0x21382dd8

         elCount : 5

         elHead: 0x2173d128

         elTail: 0x213833d8

      ele: 0x2173d128

         event: 0x219d0858

         prev : 0x0

         next : 0x212cb208

      ev: 0x219d0858

          evType     : SOCKET

          evStrDesc    :

          evSocket     : 66

          evMsgQue     : 0

          evTid        : 5

          evState      : 0

          evPtMsg      : 0x0

          evUserData   : 0x219d0838

          evCallBack   : 0x200a92c8

          evCbShutdown : 0x200a92b0

          evRecurFreq  :

      ele: 0x212cb208

         event: 0x219d08b8

         prev : 0x2173d128

         next : 0x21385c18

      ev: 0x219d08b8

          evType     : PTHREADS

          evStrDesc    :

          evSocket     : 0

          evMsgQue     : 0

          evTid        : 5

          evState      : 0

          evPtMsg      : 0x0

          evUserData   : 0x219d0898

          evCallBack   : 0x200a92bc

          evCbShutdown : 0x200a92b0

          evRecurFreq  :

      ele: 0x21385c18

         event: 0x219c5718

         prev : 0x212cb208

         next : 0x21772378

      ev: 0x219c5718

          evType     : POLLED

          evStrDesc    :

          evSocket     : 0

          evMsgQue     : 0

          evTid        : 5

          evState      : 0

          evPtMsg      : 0x0

          evUserData   : 0x0

          evCallBack   : 0x200aab34

          evCbShutdown : 0x0

          evRecurFreq  :

      ele: 0x21772378

         event: 0x21a8c588

         prev : 0x21385c18

         next : 0x213833d8

      ev: 0x21a8c588

          evType     : SOCKET

          evStrDesc    : PDL server

          evSocket     : 51

          evMsgQue     : 0

          evTid        : 5

          evState      : 0

          evPtMsg      : 0x0

          evUserData   : 0x219c5598

          evCallBack   : 0x200a99d0

          evCbShutdown : 0x0

          evRecurFreq  :

      ele: 0x213833d8

         event: 0x219e6738

         prev : 0x21772378

         next : 0x0

      ev: 0x219e6738

          evType     : ACTIVE_TIMER

          evStrDesc    :

          evSocket     : 0

          evMsgQue     : 0

          evTid        : 5

          evState      : 0

          evPtMsg      : 0x0

          evUserData   : 0x219c5758

          evCallBack   : 0x200a9328

          evCbShutdown : 0x0

          evRecurFreq  : 5.0000


      Polled Events


      el: 0x21382eb8

         elCount : 1

         elHead: 0x218392d8

         elTail: 0x218392d8

      ele: 0x218392d8 — POLLED event: 0x219c5718


      Ready Events


      el: 0x21382f78

         elCount : 0

         elHead: 0x0

         elTail: 0x0


      Outstanding Pthread Ctrl Msgs


      pmq: 0x21383088

      Count   : 0

      Head    : 0x0

      Tail    : 0x0


      Outstanding Pthread User Ctrl Msgs


      pmq: 0x213830a8

      Count   : 0

      Head    : 0x0

      Tail    : 0x0


      Outstanding Pthread User Data Msgs


      pmq: 0x213830c8

      Count   : 0

      Head    : 0x0

      Tail    : 0x0

      PANIC: Calling “dbi shutdown” for thread hlabtrans_cmd

      PANIC: Calling “dbi shutdown” for thread hlabtrans_xlate

      PANIC: Calling “dbi shutdown” for thread hlabt1

      PANIC: Calling “dbi shutdown” for thread hlaborderst

      PANIC: Calling “dbi shutdown” for thread hlabchgt

      PANIC: Calling “dbi shutdown” for thread hlabtextrsltt

      PANIC: Process panic—engine going down

      PANIC: assertion ‘0’ failed at PthreadInterface.cpp/699

    Viewing 3 reply threads
    • Author
      Replies
      • #75528
        Rob Abbott
        Keymaster

          Hi Gerand, I suggest you open a support case on this.

          Rob Abbott
          Cloverleaf Emeritus

        • #75529
          Gerand Fontenot
          Participant

            Thanks

          • #75530
            Ed Mastascusa
            Participant

              Hi Gerand,

              search on the assertion that failed (“assertion ‘0’ failed at PthreadInterface.cpp/699”). “PthreadInterface and 699” gets about 5 hits. I can’t tell you exactly what causes the initial panic but stopping the site and restarting cleared it up for us once.

            • #75531
              Peter Heggie
              Participant

                We are having a similar problem, but not quite the same – the number at the end of the line is 719, not 699. What does this number refer to?

                We have had this same error two nights in a row (we recycle through cron every night).

                [pti :sign:WARN/0:sms_invision_xlate:12/15/2011 01:13:58] Thread 1 ( sms_invision_xlate ) received signal 11

                [pti :sign:WARN/0:sms_invision_xlate:12/15/2011 01:13:58] PC = 0x10305058

                PANIC: “0”

                PANIC: Calling “pti” for thread sms_invision_cmd


                Scheduler State


                Thread Events     State      Priority Runnable  PT Msgs

                  0      0   SCHED_IDLE         0       0       0,0,0

                  1      0   SCHED_RUNNING      0       0       1,0,0

                  2      0   SCHED_IDLE         0       0       0,0,0

                PANIC: Calling “dbi shutdown” for thread sms_invision_cmd

                PANIC: Calling “dbi shutdown” for thread sms_invision_xlate

                PANIC: Calling “clean up ODBC” for thread sms_invision_cmd

                PANIC: Calling “dbi shutdown” for thread invision_grv3

                PANIC: Process panic—engine going down

                PANIC: assertion ‘0’ failed at PthreadInterface.cpp/719

                This signal 11 happens about 5 minutes after startup, after processing about 300 messages successfully. This is the main incoming thread from our HIM system with all kinds of ADT and orders going through it.

                Peter

                Peter Heggie

            Viewing 3 reply threads
            • The forum ‘Cloverleaf’ is closed to new topics and replies.