datastoreを途中から読み込む方法

複数のcsvファイルからdatastoreを作成したとき、途中から読み込む方法はありますか？

read関数の説明では、resetして始めから読み込む方法しか書かれてなく時間がかかります。

https://jp.mathworks.com/help/simulink/slref/matlab.io.datastore.simulationdatastore.read.html

画像ファイルの時のreadimage関数のように何番目を指定して読む方法はないでしょうか。

（例）img = readimage(imds,I)

https://jp.mathworks.com/help/matlab/ref/matlab.io.datastore.imagedatastore.readimage.html

いい方法がありましたら教えていただけると幸いです。

[Kojiro Saito]

データストアのReadSizeによって手順が異なりますが、現在はfile (ファイル単位)になっているか20000とかの数値になっているかどちらでしょうか？前者のファイル単位での読み取りで良ければストレートなやり方があり、後者だとちょっと工夫が必要です。

[shingo maruyama]

回答ありがとうございます。

データストアのReadSizeですがデフォルトのまま20000になっていますが、各csvファイルの行数は1000程度なので、ファイル単位で読み込んでいます。ですので、前者のはずです。

よろしくお願いします。

Answer 1

[Kojiro Saito]

CSV で使われる表形式データストア(tabularTextDatastore)がサポートしているpartitionで指定した位置のデータを抽出できます。ただ、位置(下記コードの変数index)は1つしか指定できないのでx番目以降をまとめて取得したい場合はindexの値を変えて繰り返し実施する必要があります。

ttds = tabularTextDatastore("*.csv");

% 分割数を取得
n = numpartitions(ttds);

% データストアを分割して4番目を取得
index = 4;
subds = partition(ttds, n, index);

% 当該データを読み込む
while hasdata(subds)
	data = read(subds);
end

また、datastoreのサブセットを作れるsubsetコマンドがあるのでこれが使えるmatlab.io.datastore.FileSetのタイプでデータストアを作成することでも実現可能です。subsetでは指定する位置を複数入れられるので、3番目以降とするときは3:maxpartitions(fs)のように指定できます。

fs = matlab.io.datastore.FileSet("*.csv");

% 分割数を取得
n = maxpartitions(fs);

% 3番目以降の分割を取得
subds = subset(fs, 3:n);
while hasNextFile(subds)
   % ファイル情報を取得
   file = nextfile(subds);

   % テーブルとして読み取り
   t = readtable(file.Filename);
   
   % 何かしらの処理
end

[shingo maruyama]

回答ありがとうございます。

おかげさまで、希望通り、途中から読み込むことができるようになりました。