<font size=2 face="sans-serif">Thank you for the explanations concerning
the -m option. I misinterpret it.</font>
<br><font size=2 face="sans-serif">I attach 128b results because it is
where the throughput results are the best in TCP and I am just looking
for the best reachable performance.</font>
<br><font size=2 face="sans-serif">According to what you say I make a new
test without configuring the -m option.</font>
<br>
<br><font size=2 face="sans-serif">This is the first script. I start getting
statistics and then I launch my netperf test.</font>
<br><font size=2 face="Courier New">#!/bin/bash</font>
<br><font size=2 face="Courier New">mpstat -P ALL 1 &gt; mpstat100412_x4
&amp;</font>
<br><font size=2 face="Courier New">./test-netperf-fsl-x4_tcp2.sh 10.0.17.200
&gt; res160412_x4</font>
<br><font size=2 face="Courier New">pkill -x mpstat</font>
<br>
<br><font size=2 face="Courier New">Here is the netperf test:</font>
<br><font size=2 face="Courier New">#!/bin/bash</font>
<br><font size=2 face="Courier New">echo &quot;Date: `date`&quot;</font>
<br><font size=2 face="Courier New">echo &quot;=================TCP===================&quot;</font>
<br><font size=2 face="Courier New">echo &quot;============Msg Size : 65535==============&quot;</font>
<br><font size=2 face="Courier New">netperf -cC -H $1 -t TCP_STREAM --
-C &amp;</font>
<br><font size=2 face="Courier New">netperf -cC -H $1 -t TCP_STREAM --
-C &amp;</font>
<br><font size=2 face="Courier New">netperf -cC -H $1 -t TCP_STREAM --
-C</font>
<br><font size=2 face="Courier New">wait</font>
<br><font size=2 face="Courier New">echo &quot;Date: `date`&quot;</font>
<br>
<br><font size=2 face="sans-serif">Does the '&gt;' redirection could be
limiting?</font>
<br><font size=2 face="sans-serif">This is the final results obtained:</font>
<br>
<br><font size=2 face="Courier New">Date: Tue Apr 17 08:52:09 CEST 2012</font>
<br><font size=2 face="Courier New">=================TCP===================</font>
<br><font size=2 face="Courier New">============Msg Size : 65535==============</font>
<br><font size=2 face="Courier New">TCP STREAM TEST from 0.0.0.0 (0.0.0.0)
port 0 AF_INET to 10.0.17.200 (10.0.17.200) port 0 AF_INET</font>
<br><font size=2 face="Courier New">Recv &nbsp; Send &nbsp; &nbsp;Send
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp;Utilization &nbsp; &nbsp; &nbsp; Service Demand</font>
<br><font size=2 face="Courier New">Socket Socket &nbsp;Message &nbsp;Elapsed
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Send &nbsp; &nbsp; Recv
&nbsp; &nbsp; Send &nbsp; &nbsp;Recv</font>
<br><font size=2 face="Courier New">Size &nbsp; Size &nbsp; &nbsp;Size
&nbsp; &nbsp; Time &nbsp; &nbsp; Throughput &nbsp;local &nbsp; &nbsp;remote
&nbsp; local &nbsp; remote</font>
<br><font size=2 face="Courier New">bytes &nbsp;bytes &nbsp; bytes &nbsp;
&nbsp;secs. &nbsp; &nbsp;10^6bits/s &nbsp;% S &nbsp; &nbsp; &nbsp;% S &nbsp;
&nbsp; &nbsp;us/KB &nbsp; us/KB</font>
<br>
<br><font size=2 face="Courier New">&nbsp;87380 &nbsp;16384 &nbsp;16384
&nbsp; &nbsp;10.01 &nbsp; &nbsp; &nbsp; 484.42 &nbsp; 8.26 &nbsp; &nbsp;
-1617.02 &nbsp; 2.794 &nbsp; -2187.620 </font>
<br><font size=2 face="Courier New">TCP STREAM TEST from 0.0.0.0 (0.0.0.0)
port 0 AF_INET to 10.0.17.200 (10.0.17.200) port 0 AF_INET</font>
<br><font size=2 face="Courier New">Recv &nbsp; Send &nbsp; &nbsp;Send
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp;Utilization &nbsp; &nbsp; &nbsp; Service Demand</font>
<br><font size=2 face="Courier New">Socket Socket &nbsp;Message &nbsp;Elapsed
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Send &nbsp; &nbsp; Recv
&nbsp; &nbsp; Send &nbsp; &nbsp;Recv</font>
<br><font size=2 face="Courier New">Size &nbsp; Size &nbsp; &nbsp;Size
&nbsp; &nbsp; Time &nbsp; &nbsp; Throughput &nbsp;local &nbsp; &nbsp;remote
&nbsp; local &nbsp; remote</font>
<br><font size=2 face="Courier New">bytes &nbsp;bytes &nbsp; bytes &nbsp;
&nbsp;secs. &nbsp; &nbsp;10^6bits/s &nbsp;% S &nbsp; &nbsp; &nbsp;% S &nbsp;
&nbsp; &nbsp;us/KB &nbsp; us/KB</font>
<br>
<br><font size=2 face="Courier New">&nbsp;87380 &nbsp;16384 &nbsp;16384
&nbsp; &nbsp;10.01 &nbsp; &nbsp; &nbsp; 493.43 &nbsp; 8.22 &nbsp; &nbsp;
-1616.32 &nbsp; 2.729 &nbsp; -2146.741 </font>
<br><font size=2 face="Courier New">TCP STREAM TEST from 0.0.0.0 (0.0.0.0)
port 0 AF_INET to 10.0.17.200 (10.0.17.200) port 0 AF_INET</font>
<br><font size=2 face="Courier New">Recv &nbsp; Send &nbsp; &nbsp;Send
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp;Utilization &nbsp; &nbsp; &nbsp; Service Demand</font>
<br><font size=2 face="Courier New">Socket Socket &nbsp;Message &nbsp;Elapsed
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Send &nbsp; &nbsp; Recv
&nbsp; &nbsp; Send &nbsp; &nbsp;Recv</font>
<br><font size=2 face="Courier New">Size &nbsp; Size &nbsp; &nbsp;Size
&nbsp; &nbsp; Time &nbsp; &nbsp; Throughput &nbsp;local &nbsp; &nbsp;remote
&nbsp; local &nbsp; remote</font>
<br><font size=2 face="Courier New">bytes &nbsp;bytes &nbsp; bytes &nbsp;
&nbsp;secs. &nbsp; &nbsp;10^6bits/s &nbsp;% S &nbsp; &nbsp; &nbsp;% S &nbsp;
&nbsp; &nbsp;us/KB &nbsp; us/KB</font>
<br>
<br><font size=2 face="Courier New">&nbsp;87380 &nbsp;16384 &nbsp;16384
&nbsp; &nbsp;10.21 &nbsp; &nbsp; &nbsp; 493.68 &nbsp; 8.07 &nbsp; &nbsp;
-1582.90 &nbsp; 2.677 &nbsp; -2101.319 </font>
<br><font size=2 face="Courier New">Date: Tue Apr 17 08:52:19 CEST 2012</font>
<br>
<br><font size=2 face="sans-serif">This is what top returns:</font>
<br><font size=2 face="Courier New">top - 06:41:14 up 56 min, &nbsp;1 user,
&nbsp;load average: 0.08, 0.05, 0.05</font>
<br><font size=2 face="Courier New">Tasks: &nbsp;67 total, &nbsp; 5 running,
&nbsp;62 sleeping, &nbsp; 0 stopped, &nbsp; 0 zombie</font>
<br><font size=2 face="Courier New">Cpu(s): &nbsp;0.0%us, &nbsp;2.1%sy,
&nbsp;0.0%ni, 97.7%id, &nbsp;0.0%wa, &nbsp;0.0%hi, &nbsp;0.2%si, &nbsp;0.0%st</font>
<br><font size=2 face="Courier New">Mem: &nbsp; 3762812k total, &nbsp;
184724k used, &nbsp;3578088k free, &nbsp; &nbsp; &nbsp;928k buffers</font>
<br><font size=2 face="Courier New">Swap: &nbsp; &nbsp; &nbsp; &nbsp;0k
total, &nbsp; &nbsp; &nbsp; &nbsp;0k used, &nbsp; &nbsp; &nbsp; &nbsp;0k
free, &nbsp; &nbsp; 8640k cached</font>
<br>
<br><font size=2 face="Courier New">&nbsp; PID USER &nbsp; &nbsp; &nbsp;PR
&nbsp;NI &nbsp;VIRT &nbsp;RES &nbsp;SHR S %CPU %MEM &nbsp; &nbsp;TIME+
&nbsp;COMMAND</font>
<br><font size=2 face="Courier New">&nbsp;3132 root &nbsp; &nbsp; &nbsp;20
&nbsp; 0 &nbsp;3044 &nbsp;536 &nbsp;288 R &nbsp; 35 &nbsp;0.0 &nbsp; 0:01.06
netserver</font>
<br><font size=2 face="Courier New">&nbsp;3134 root &nbsp; &nbsp; &nbsp;20
&nbsp; 0 &nbsp;3044 &nbsp;536 &nbsp;288 R &nbsp; 24 &nbsp;0.0 &nbsp; 0:00.73
netserver</font>
<br><font size=2 face="Courier New">&nbsp;3133 root &nbsp; &nbsp; &nbsp;20
&nbsp; 0 &nbsp;3044 &nbsp;536 &nbsp;288 R &nbsp; 22 &nbsp;0.0 &nbsp; 0:00.67
netserver</font>
<br><font size=2 face="Courier New">&nbsp;3131 root &nbsp; &nbsp; &nbsp;20
&nbsp; 0 &nbsp;2952 1104 &nbsp;908 R &nbsp; &nbsp;0 &nbsp;0.0 &nbsp; 0:00.06
top</font>
<br><font size=2 face="Courier New">&nbsp; &nbsp; 1 root &nbsp; &nbsp;
&nbsp;20 &nbsp; 0 &nbsp;2000 &nbsp;536 &nbsp;476 S &nbsp; &nbsp;0 &nbsp;0.0
&nbsp; 0:03.65 init</font>
<br>
<br><font size=2 face="sans-serif">Is that 3 netserver threads? Independent
but running on the cpu where netserver process is allocated? In fact, there
is no synchronization!</font>
<br>
<br><font size=2 face="sans-serif">The other test uses the cpu bind option
as following:</font>
<br><font size=2 face="Courier New">#!/bin/bash</font>
<br><font size=2 face="Courier New">echo &quot;Date: `date`&quot;</font>
<br><font size=2 face="Courier New">echo &quot;=================TCP===================&quot;</font>
<br><font size=2 face="Courier New">echo &quot;============Msg Size : 65535==============&quot;</font>
<br><font size=2 face="Courier New">netperf -cC -H $1 <b>-T,1</b> -t TCP_STREAM
-- -C &amp;</font>
<br><font size=2 face="Courier New">netperf -cC -H $1 <b>-T,1</b> -t TCP_STREAM
-- -C &amp;</font>
<br><font size=2 face="Courier New">netperf -cC -H $1 <b>-T,1</b> -t TCP_STREAM
-- -C</font>
<br><font size=2 face="Courier New">wait</font>
<br><font size=2 face="Courier New">echo &quot;Date: `date`&quot;</font>
<br>
<br><font size=2 face="sans-serif">The result of the top command looks
like the previous one:</font>
<br><font size=2 face="Courier New">top - 06:50:19 up &nbsp;1:05, &nbsp;1
user, &nbsp;load average: 0.01, 0.03, 0.05</font>
<br><font size=2 face="Courier New">Tasks: &nbsp;67 total, &nbsp; 2 running,
&nbsp;65 sleeping, &nbsp; 0 stopped, &nbsp; 0 zombie</font>
<br><font size=2 face="Courier New">Cpu(s): &nbsp;0.0%us, &nbsp;0.6%sy,
&nbsp;0.0%ni, 99.3%id, &nbsp;0.0%wa, &nbsp;0.0%hi, &nbsp;0.1%si, &nbsp;0.0%st</font>
<br><font size=2 face="Courier New">Mem: &nbsp; 3762812k total, &nbsp;
184184k used, &nbsp;3578628k free, &nbsp; &nbsp; &nbsp;928k buffers</font>
<br><font size=2 face="Courier New">Swap: &nbsp; &nbsp; &nbsp; &nbsp;0k
total, &nbsp; &nbsp; &nbsp; &nbsp;0k used, &nbsp; &nbsp; &nbsp; &nbsp;0k
free, &nbsp; &nbsp; 8640k cached</font>
<br>
<br><font size=2 face="Courier New">&nbsp; PID USER &nbsp; &nbsp; &nbsp;PR
&nbsp;NI &nbsp;VIRT &nbsp;RES &nbsp;SHR S %CPU %MEM &nbsp; &nbsp;TIME+
&nbsp;COMMAND</font>
<br><font size=2 face="Courier New"><b>&nbsp;3138 root &nbsp; &nbsp; &nbsp;20
&nbsp; 0 &nbsp;3044 &nbsp;536 &nbsp;304 S &nbsp; 32 &nbsp;0.0 &nbsp; 0:01.14
netserver</b></font>
<br><font size=2 face="Courier New"><b>&nbsp;3139 root &nbsp; &nbsp; &nbsp;20
&nbsp; 0 &nbsp;3044 &nbsp;536 &nbsp;304 R &nbsp; 30 &nbsp;0.0 &nbsp; 0:01.13
netserver</b></font>
<br><font size=2 face="Courier New"><b>&nbsp;3140 root &nbsp; &nbsp; &nbsp;20
&nbsp; 0 &nbsp;3044 &nbsp;536 &nbsp;304 S &nbsp; 25 &nbsp;0.0 &nbsp; 0:00.94
netserver</b></font>
<br><font size=2 face="Courier New">&nbsp;3131 root &nbsp; &nbsp; &nbsp;20
&nbsp; 0 &nbsp;2952 1104 &nbsp;908 R &nbsp; &nbsp;1 &nbsp;0.0 &nbsp; 0:00.94
top</font>
<br><font size=2 face="Courier New">&nbsp; 853 root &nbsp; &nbsp; &nbsp;20
&nbsp; 0 &nbsp; &nbsp; 0 &nbsp; &nbsp;0 &nbsp; &nbsp;0 S &nbsp; &nbsp;0
&nbsp;0.0 &nbsp; 0:00.01 kworker/2:1</font>
<br><font size=2 face="Courier New">&nbsp; &nbsp; 1 root &nbsp; &nbsp;
&nbsp;20 &nbsp; 0 &nbsp;2000 &nbsp;536 &nbsp;476 S &nbsp; &nbsp;0 &nbsp;0.0
&nbsp; 0:03.66 init</font>
<br>
<br><font size=2 face="Courier New">And the results of the netperf test:</font>
<br><font size=2 face="Courier New">Date: Tue Apr 17 09:00:24 CEST 2012</font>
<br><font size=2 face="Courier New">=================TCP===================</font>
<br><font size=2 face="Courier New">============Msg Size : 65535==============</font>
<br><font size=2 face="Courier New">TCP STREAM TEST from 0.0.0.0 (0.0.0.0)
port 0 AF_INET to 10.0.17.200 (10.0.17.200) port 0 AF_INET : cpu bind</font>
<br><font size=2 face="Courier New">Recv &nbsp; Send &nbsp; &nbsp;Send
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp;Utilization &nbsp; &nbsp; &nbsp; Service Demand</font>
<br><font size=2 face="Courier New">Socket Socket &nbsp;Message &nbsp;Elapsed
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Send &nbsp; &nbsp; Recv
&nbsp; &nbsp; Send &nbsp; &nbsp;Recv</font>
<br><font size=2 face="Courier New">Size &nbsp; Size &nbsp; &nbsp;Size
&nbsp; &nbsp; Time &nbsp; &nbsp; Throughput &nbsp;local &nbsp; &nbsp;remote
&nbsp; local &nbsp; remote</font>
<br><font size=2 face="Courier New">bytes &nbsp;bytes &nbsp; bytes &nbsp;
&nbsp;secs. &nbsp; &nbsp;10^6bits/s &nbsp;% S &nbsp; &nbsp; &nbsp;% S &nbsp;
&nbsp; &nbsp;us/KB &nbsp; us/KB</font>
<br>
<br><font size=2 face="Courier New">&nbsp;87380 &nbsp;16384 &nbsp;16384
&nbsp; &nbsp;10.02 &nbsp; &nbsp; &nbsp; 405.51 &nbsp; 19.51 &nbsp; &nbsp;-547.57
&nbsp; 7.882 &nbsp; -884.953 </font>
<br><font size=2 face="Courier New">TCP STREAM TEST from 0.0.0.0 (0.0.0.0)
port 0 AF_INET to 10.0.17.200 (10.0.17.200) port 0 AF_INET : cpu bind</font>
<br><font size=2 face="Courier New">Recv &nbsp; Send &nbsp; &nbsp;Send
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp;Utilization &nbsp; &nbsp; &nbsp; Service Demand</font>
<br><font size=2 face="Courier New">Socket Socket &nbsp;Message &nbsp;Elapsed
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Send &nbsp; &nbsp; Recv
&nbsp; &nbsp; Send &nbsp; &nbsp;Recv</font>
<br><font size=2 face="Courier New">Size &nbsp; Size &nbsp; &nbsp;Size
&nbsp; &nbsp; Time &nbsp; &nbsp; Throughput &nbsp;local &nbsp; &nbsp;remote
&nbsp; local &nbsp; remote</font>
<br><font size=2 face="Courier New">bytes &nbsp;bytes &nbsp; bytes &nbsp;
&nbsp;secs. &nbsp; &nbsp;10^6bits/s &nbsp;% S &nbsp; &nbsp; &nbsp;% S &nbsp;
&nbsp; &nbsp;us/KB &nbsp; us/KB</font>
<br>
<br><font size=2 face="Courier New">&nbsp;87380 &nbsp;16384 &nbsp;16384
&nbsp; &nbsp;10.01 &nbsp; &nbsp; &nbsp; 405.01 &nbsp; 19.54 &nbsp; &nbsp;-548.15
&nbsp; 7.903 &nbsp; -886.995 </font>
<br><font size=2 face="Courier New">TCP STREAM TEST from 0.0.0.0 (0.0.0.0)
port 0 AF_INET to 10.0.17.200 (10.0.17.200) port 0 AF_INET : cpu bind</font>
<br><font size=2 face="Courier New">Recv &nbsp; Send &nbsp; &nbsp;Send
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp;Utilization &nbsp; &nbsp; &nbsp; Service Demand</font>
<br><font size=2 face="Courier New">Socket Socket &nbsp;Message &nbsp;Elapsed
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Send &nbsp; &nbsp; Recv
&nbsp; &nbsp; Send &nbsp; &nbsp;Recv</font>
<br><font size=2 face="Courier New">Size &nbsp; Size &nbsp; &nbsp;Size
&nbsp; &nbsp; Time &nbsp; &nbsp; Throughput &nbsp;local &nbsp; &nbsp;remote
&nbsp; local &nbsp; remote</font>
<br><font size=2 face="Courier New">bytes &nbsp;bytes &nbsp; bytes &nbsp;
&nbsp;secs. &nbsp; &nbsp;10^6bits/s &nbsp;% S &nbsp; &nbsp; &nbsp;% S &nbsp;
&nbsp; &nbsp;us/KB &nbsp; us/KB</font>
<br>
<br><font size=2 face="Courier New">&nbsp;87380 &nbsp;16384 &nbsp;16384
&nbsp; &nbsp;10.01 &nbsp; &nbsp; &nbsp; 394.21 &nbsp; 19.54 &nbsp; &nbsp;-548.10
&nbsp; 8.119 &nbsp; -911.191 </font>
<br><font size=2 face="Courier New">Date: Tue Apr 17 09:00:34 CEST 2012</font>
<br>
<br><font size=2 face="Courier New">The performance are a bit lower. In
any case, they are not really what is expected.</font>
<br><font size=2 face="Courier New">The CPU utilization is more realistic
than with 128b socket size. This CPU utilization concerns the sender which
is a dual core Intel Xeon and not the 8 cores Freescale processor. Netserver
is running on the 8 The CPU utilization is very high when I send little
packet and decrease when I get closer to the MTU both in UDP and TCP.</font>
<br>
<br><tt><font size=2>netperf -p 17170 -cC -H ip_addr -t TCP_STREAM -- <b>-m
128</b><br>
<br>
So in this results, the send message size corresponds to the send buffer
size according to what you say?<br>
TCP STREAM TEST from 0.0.0.0 (0.0.0.0) port 0 AF_INET to 10.0.17.200 <br>
(10.0.17.200) port 0 AF_INET<br>
Recv &nbsp; Send &nbsp; &nbsp;Send &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Utilization &nbsp; &nbsp;
&nbsp; Service <br>
Demand<br>
Socket Socket &nbsp;<b>Message</b> &nbsp;Elapsed &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp;Send &nbsp; &nbsp; Recv &nbsp; &nbsp; Send Recv<br>
Size &nbsp; Size &nbsp; &nbsp;<b>Size &nbsp; &nbsp; </b>Time &nbsp; &nbsp;
Throughput &nbsp;local &nbsp; &nbsp;remote &nbsp; local <br>
remote<br>
bytes &nbsp;bytes &nbsp; <b>bytes &nbsp; &nbsp;</b>secs. &nbsp; &nbsp;10^6bits/s
&nbsp;% S &nbsp; &nbsp; &nbsp;% S &nbsp; &nbsp; &nbsp;us/KB us/KB<br>
<br>
 87380 &nbsp;16384 &nbsp; &nbsp;<b>128 &nbsp; &nbsp;</b>10.00 &nbsp; &nbsp;
&nbsp;1867.39 &nbsp; 100.00 &nbsp; 46.75 &nbsp; &nbsp;8.774 </font></tt>
<br>
<br><font size=2 face="sans-serif">Have a nice day.</font>
<br>
<br><font size=2 face="sans-serif">Best regards.</font>
<br>
<br><font size=2 face="sans-serif">Simon Duboué</font>
<br>
<br>