dangvietchauさん、こんにちは。

PROP_LAYERとは、Propagation Layerの事で、
　　{qualnet_home}/include/main.h
の中で定義されています。

NODE_ProcessEvent()関数を呼ぶのはQualNetのエンジン部分で、ソースは公開されていないのでどのように呼ばれているかは知ることはできないようです。
呼ばれるタイミングとしては、Nodeにおいてパケットの伝搬（Propagation）に関わるタイマーが切れたときにNode_ProcessEventが呼ばれ、
そのときのメッセージによって PROP_LAYERのPROP_ProcessEventが呼ばれます。

メッセージやタイマーに関してはProgrammer's Guideの3.3章（3.9.5では）などが参考になると思いますよ。