ルーティングプロトコルのような処理を実装するのだと理解しました。

まず、QualNet-5.2-ProgrammersGuide.pdf の
4 Developing Protocol Models in QualNet を読んで下さい。
この章に様々なルーティングプロトコルの実装手順が書いてあります。

それから、既存のルーティングプロトコルの実装を参考にするのも役に立ちます。
具体的にどれを参考にすると良いか、私には判断できません。

でも私なら、まずTCPを使うのかUDPを使うのかで判断して、
できるだけ単純なルーティングプロトコルを参考にすると思います。