トレース機能はあまり使った事が無いので、ご参考までに、なのですが、出力ファイルのサイズ制限というのはなさそうですね。
適当なシナリオで走らせた時に、189MBのどでかいトレースファイルができた記憶があります(確認してみたら、やはりOKでした)。
中身も一応それっぽくなってます。
シナリオ設定によるのか、あるいはもっと別な問題かもしれませんね。。

ちなみに、別件かもしれませんが、Traceを有効にしたシナリオを以下の様にExperimentName(=Statファイル名)付きでコマンドライン実行すると、
　%~ qualnet.exe test.config mytest
文字化けしたような名前のファイルが出来ました(QualNet3.9.5、添付画像参照)。
拡張子すら付いていないのですが、テキストエディタで無理矢理開くと、中身はTraceファイルでした。
実行途中に一時ファイル(.TRACE.0など)は出来ていたので、最後のファイル名変換に失敗している感じがします。statファイルは問題なく作成されているのですが、、

ちょっとまとまりが無くなってしまいましたが、こんな事もありましたという、ご参考までに。
InvalidTraceFilename.png