problema das latencias

• To: idd-brasil@xxxxxxxxxxxxxxxx
• Subject: problema das latencias
• From: Waldenio <gambi@xxxxxxxxxxxxx>
• Date: Thu, 15 Jun 2006 13:23:11 -0300

Prezados participantes do IDD-Brasil,

Já estivemos discutindo o problema das altas latências observadas
nas recepções de fluxos de dados massivos, como o CONDUIT e o NIMAGE.

Observamos também que estas latências estavam resultando em perda
de dados, uma vez que nas últimas versões do LDM o default dos requests
se limita a uma hora, e as transferências estavam demorando mais do
que isso.

Esse problema também têm prejudicado a participação do CPTEC no
projeto TIGGE, uma vez que o LDM é a ferramenta oficial para a 
transferência dos dados e as latências estavam impedindo o envio
de nossos ensembles (30 Gb/dia) para o NCAR e o ECMWF.

Alguns já estão a par da conclusão de que existe um "freio" em algum
lugar na nossa rota de comunicação com o exterior. Um software que
reduz a prioridade de nossas transferências mais massivas, criando
as latências observadas. Esse freio é uma ferramenta de administração
de roteadores, também conhecido como "packet shaping" ou QoS (Quality
of Service).

Ainda estamos pesquisando para descobrir onde está e como funciona 
esse "QoS", mas por enquanto ja temos uma boa notícia: já sabemos como
contorná-lo, e isso pode ser observado nas estatísticas de recepção
da moingobe.cptec, no feed conduit.

A explicação é simples: se as transferências massivas perdem prioridade,
estão nós dividimos a tranferência. Por exemplo, para receber o modelo
GFS com 10 transferêcias, precisamos de 10 linhas de request no ldmd.conf:

request CONDUIT "MT.gfs_CY.(00|06|12|18).*0$" mopora.cptec.inpe.br PRIMARY
request CONDUIT "MT.gfs_CY.(00|06|12|18).*1$" mopora.cptec.inpe.br PRIMARY
request CONDUIT "MT.gfs_CY.(00|06|12|18).*2$" mopora.cptec.inpe.br PRIMARY
request CONDUIT "MT.gfs_CY.(00|06|12|18).*3$" mopora.cptec.inpe.br PRIMARY
request CONDUIT "MT.gfs_CY.(00|06|12|18).*4$" mopora.cptec.inpe.br PRIMARY
request CONDUIT "MT.gfs_CY.(00|06|12|18).*5$" mopora.cptec.inpe.br PRIMARY
request CONDUIT "MT.gfs_CY.(00|06|12|18).*6$" mopora.cptec.inpe.br PRIMARY
request CONDUIT "MT.gfs_CY.(00|06|12|18).*7$" mopora.cptec.inpe.br PRIMARY
request CONDUIT "MT.gfs_CY.(00|06|12|18).*8$" mopora.cptec.inpe.br PRIMARY
request CONDUIT "MT.gfs_CY.(00|06|12|18).*9$" mopora.cptec.inpe.br PRIMARY

Com isso as latências cairam para cerca de 300 segundos, para um 
volume que chega a 1.5 Gb/hora.

Estes testes estão sendo executados com a direta colaboração do
Yoshihiro, em portugal, e do Tom Yoksas no Colorado. Não posso 
deixar de agradecer por essa valiosa colaboração.

Abraços a todos,
Waldenio.

==============================================================================
To unsubscribe idd-brasil, visit:
http://www.unidata.ucar.edu/mailing-list-delete-form.html
==============================================================================