使う言葉の定義をはっきりしておきます。

『Routing』はパケットを宛先表をみて送出すること、
とすれば、ネットワーク層でやるとこと。
『Routing Protocols』は宛先表をごにょごにょする仕掛け、
とすれば、どこでやってもかまわない。

Routing の仕組みを自分で新たに作るのであれば、
ネットワーク層に組み込むべきです。
Routing Protocols の仕組みを自分で新たに作るのであれば、
好きなところでやればよいでしょう。

とにかく、4.2.1.2 Routing Protocols をまず読みましょう。

QualNet全体はこんな感じで全体のレイヤ構成などを作りこんであるから、
自分で新しい物を作りこむ場合は、この辺をよく理解して作った方がいいよ、
というための情報が ProgrammersGuide です。

少し話がずれてしまいますけど。

QualNetでは、できるだけ実際の世の中にあるネットワークなどの仕組みに
合わせて作りこまれていますが、シミュレーションの速度を稼ぐために、
なんちゃって部分もあります。
CBRなどを含めて、実際のデータパケットを丁寧に構築しているものは
少なく、これ X byteのパケットということにするんで、みんなよろしく、
という実装がたくさんあります。

何が本物(実世界と同じ)で、何が仮想(QualNet内部のみ)なのかを
意識しておくことも大切です。