> その上で直接application layer
というのは、MACレイヤで動かすのか、
それともその上のLinkレイヤで動かすのでしょうか?
上だから、Linkレイヤ?

CBRはUDPパケットを使います。
したがってトランスポートレイヤしか相手にしていません。
というか、少なくともQualNetにおいてapplication layerで括られているものは
トランスポートレイヤしか相手にしていません。

> 使わない場合には特に何も指定しない
というのがよくわかりません。
具体的に何を指定しないということですか?

> 単発のメッセージの送受信
『単発』というのをもう少し詳しく教えて下さい。
『単発』ではないものとはたとえば何でしょうか。

> 状態遷移も含めて自前での作成が必要でしょうか
状態というのがどのような状態を想定してるのかわからないので...
たとえば、ルーティングプロトコルなどはある状態に従って、
ルーティングのための制御パケット(HELLOなど)の送受信を行いますが、
このようなものですか。

MACレイヤを直接叩いて、あるアルゴリズムでデータを流したい。
ということがやりたいのであれば、自作するしかないと思います。