zunbe

2005/07/20

今日、こんな事があった。

簡単なフィルタ・プログラムを社員に書かせたんだな。
仕様はこうだ。

(1).標準入力からデータを取り込み、標準出力に出力する。
　　まぁ、フィルタだから、当然ですな。
(2).データは数百メガバイト～数ギガバイトもありうる。

この仕様で、社員が書いたプログラムは、こうだ。

-----
@idata = ();
foreach $line (<STDIN>)
{
　　push(@idata, $line);
}

@odata = ();
foreach $line (@idata)
{
　　# フィルタ処理

　　push(@odata, $line);
}

print @odata;
-----

こんなプログラムで何百メガも読み込ませたら、あっという間にマシンはパンクだ。
プログラムをよく見ると、エラー出力も、全部溜め込んで、最後に出力しているようだ。
ダメだ…。

メモリをバカ食い。
パイプラインを組んでも並列処理されない。
エラーで落ちても、何もエラーが残らない。もちろん、原因究明もできない。

まったく。
どうして、こういう発想になるのだろうか。

このエピソードはいかがでしたか？

投稿者 zunbe : 2005/07/20 00:59:52