検討されているプロトコルについて、ちょっと理解しきれなかったのですが
QualNetのプログラミング/デバッギングの観点から3点ほど。

単純な話なのですが、allocしたmessageを解放しているでしょうか？
Message構造体の基本的な流れは
MESSAGE_Allocで生成→MESSAGE_Sendで配送→受け取り側でMESSAGE_Freeで(1度だけ)解放
という感じですが、これは正しく行われているでしょうか？

また、"Unknown Dsr packet type"は
関数DsrHandleOptions内の*optionsによる分岐で
当該タイプが見つからない、かつoptionSizeが0の時に出ますね。
これら、optionsもしくはoptionSizeの値がどのようになるべきか
(そもそも間違った値をセットしていたなどということはないか)
確認してみてはいかがでしょうか？

ちょっと無理矢理なアプローチですが
Message絡みで"12"というマジックナンバというとmessage.hで
#define MAX_INFO_FIELDS 12
というのが見つかりました。もしMessageのInfo領域を使用した
プログラミングをしている場合、このあたりを疑ってもいいかもしれません。