> 転送がどこのレイヤ、プログラム上では関数、
> で行われているのかがわかりません。

QualNet-4.5.1-ProgrammersGuide.pdf の
FIGURE 1-1. QualNet Protocol Stack (3ページ)
の図がわかりやすいと思います。

TABLE 4-4. Application Layer versus
Network Layer Routing Protocols (63ページ)
も参考にして下さい。

それから、network_ip.cpp で定義されている
関数を読んでみて下さい。
NetworkIpReceivePacketFromMacLayer
あたりから始めるとよいと思います。