こんにちは。

QualNetのTCPのソースコードはFreeBSDから移植したものなので、BSDのTCP/IPの実装を解説した以下の書籍をご覧になると、理解が進むかと思います。

TCP/IP Illustrated Vol.2
http://www.amazon.co.jp/dp/020163354X
http://www.amazon.co.jp/dp/4894714957

TCPの再送タイムアウトは、初期値1.5秒で、その後タイムアウトするたびに
3秒→6秒→12秒→24秒→48秒→64秒→64秒→64秒→・・・
となるはずで、actさんが仰っているように1.5秒よりも短い時間でタイムアウトを起こすことはないはずです。


質問への回答としては、

・t_rxtcurとt_rttの単位はどのようになっているか
500msです。

・そもそも、再送タイムアウトとRTTを調べるにあたってこれらの値を出力させることは適切かどうか
t_rxcurr, t_rtt, t_srtt, t_rttvarの4つを見るのが良いかと思います。出力させる場所はtransport_tcp_outputだけでよいかどうかは疑問ですが、ではどこで出力させればよいか・・・は、私も調べてみないと分からないので、上記の本などを参考にもう少し検討を進めてみてください。