Excelからのデー​タの読み込みと書き出​しの速度を速くするに​はどうしたらいいです​か？

ある計測器の出力データがExcelで出力されます． 1フレーム35×35の数値データで1シートに100フレームのデータが入っており，それが8シートぐらいあります．(ファイルごとにシートの枚数は異なります) ここから繰り返し処理を使って1フレームずつのcsv形式のデータに出力しているのですが，1つのファイルを処理するのに何時間もかかってしまいます．コードは以下のような形で書いていますが処理を速くする方法があったら教えてください．

　　　　%切り抜き範囲の設定
        xlrange=strcat(start_col,num2str(start_row),':',end_col,num2str(end_row));

          %切り抜き
          mat=xlsread(inputfilename,sheet,xlrange); 

          %csvで書き出し
          dlmwrite(outputfilename,mat);

[michio]

３つの処理を書いていただいていますが、どの処理が最も時間かかっていますか？ （添付キャプチャ写真で示している「実行および時間の計測」機能で確認できます。）

[michio]

参考エントリー： MATLAB で Excel ファイルの読み込み、書き込みの処理を高速に処理を行うことはできませんか？

Answer 1

[michio]

xlsread/xlswrite 関数は R2015b で繰り返し実行の際のパフォーマンスが改善されています。もし R2015a 以前のバージョンを使用されている場合は、是非バージョンアップを。

他にも、 readtable 関数 も有効かもしれません。

また提示のコードでは、1シートに100フレームのデータを、100回に分けて xlsread関数で読み取っているようですが、例えば一度に100フレーム分読み取ったあとで個別に処理をするなど、読み取り回数を減らすことでも高速化が望めそうです。

上記以外でも、ユーザコミュニティである MATLAB Central/File Exchange において、xlswrite 関数の高速化を図ったコードがいくつか紹介されていますので、試してみてください。

MATLAB Central: File Exchange https://jp.mathworks.com/matlabcentral/fileexchange/?utf8=%E2%9C%93&term=xlswrite+fast

[Yumi Iwakami]

コメントありがとうございます．

MATLABのバージョンはR2017aですのでxlsreadは試してみます．

1シートをまるごと読み取って個別に処理することも考えたのですが，ヘッダー等文字列やフレームの間に3行スペースが入ってしまっているため，難しいと考えました．

現状の処理では１日に数人しか切り出せないため，打開策を考えてみます．

[michio]

各フレーム（35×35の数値データ）の間に空白の行が存在するようでしたら、

 mat=xlsread(inputfilename,sheet);

とシート全体を読み込んだ場合に、NaNが空白の位置に入った行列として読み込まれると思います。その後、すでに実施されている「切り抜き範囲の設定」で行列の範囲を指定すれば、個別に処理ができるのかなと考えていました。

[Jiro Doke]

Michioさんが仰っている通り、せめて1シートに対して1回だけ xlsread を使うのをお勧めします。100フレーム × 8 シート × ファイル数の回数 xlsread を呼ぶのは非常に遅くなります。

[Jiro Doke]

こんな感じでできるかと思います。

data = xlsread('test.xls'); % フレーム間の空行は NaN で入ってくる
startID = 1:38:size(data,1); % フレームは 35 行でフレーム間は 3 行とする
endID = 35:38:size(data,1);
for iF = 1:length(startID)
    mat = data(startID(iF):endID(iF),:);
    csvwrite(sprintf('data%02d.csv',iF),mat)
end

[Yumi Iwakami]

ありがとうございます！うまくいきました

Answer 2

[mizuki]

Excelファイルのすべての列ではなく特定列だけであれば、 datastoreや並列計算を組み合わせたらさらに高速化できる可能性があります。

ただし、Michioさんのご提案された基本的な内容をお試しされた後にご検討ください。