技術メモ (ソフトウェア開発) >

NTFS代替ストリーム

(2008.1.10)

WindowsのファイルシステムNTFSは、UNIXのファイルシステムとは違った機能・特徴があります。その一つ代替ストリームについて書いてみます。

代替ストリームを扱うプログラムの書き方。

ストリーム

UNIXでは「ファイル」はバイトの集まりです。ファイルを開いて頭から読めば、すべてのデータを取り出すことができます。まったく当たり前です。

ところがNTFSでは、ファイルは構造を持っています。普通にファイルを開いたときに読み出せるバイト列以外に、複数のバイト列を格納できます。普通に開いたときのバイト列を主ストリーム、それ以外のバイト列を代替ストリームといいます。

Internet Explorerは、代替ストリームにファイルの出どころを書き込み、これを利用して信頼できる出どころでない実行ファイルを実行する時に警告を出したりします。

代替ストリームにアクセスするには、ファイル名に「:ストリーム名」を付けてファイルを開くだけです。

● テキストファイルに実行ファイルを足してみる。

エクスプローラでこのファイルの長さを見ても主ストリームの分しか表示されません。しかし、実行することができます。（セキュリティ上のリスク？）

WINE, Sambaでの扱い

WINEでは、今のところ、代替ストリームはサポートされていません。代替ストリームは、単純に「:」以降がファイル名に付いた別のファイルになります。ストリームを開いて読むだけであれば問題ありませんが、それ以上のことをしようとするとエラーになってしまいます。

Windows で作った代替ストリームを含むファイルを Samba サーバにコピー・移動すると、代替ストリームはエラーなく失われます。Windows のローカルのFATファイルシステムなどにコピーするときには警告メッセージが出ますが、それもありません。注意が必要です。

プログラムで代替ストリームを操作

普通にファイルを開くと代替ストリームが読めないので、ファイルをコピーするときに write(read(...)) のようにしては失敗します。（内容が失われる）

C++で代替ストリームを扱うプログラムを書いてみます。

共通の関数

まず、以降のサンプルで使いまわす関数を書いておきます。

  1. #include <string>
  2. using namespace std;
  4. // エラーメッセージを出力
  5. void error(const char* message) {
  6. char* buf = NULL;
  7. FormatMessage(FORMAT_MESSAGE_ALLOCATE_BUFFER |
  8. FORMAT_MESSAGE_FROM_SYSTEM,
  9. NULL,
  10. GetLastError(),
  11. LANG_USER_DEFAULT,
  12. (LPTSTR) &buf,
  13. 0,
  14. NULL);
  15. printf("%s: %s¥n", message, buf);
  16. LocalFree(buf);
  17. exit(1);
  18. }
  20. void dump(const BYTE* buf, size_t len) {
  21. for (int i = 0; i < len; i++) {
  22. if (buf[i] >= 0x20 && buf[i] <= 0x7e)
  23. printf("%c ", buf[i]);
  24. else
  25. printf("%02x ", buf[i]);
  26. if ((i % 16) == 15)
  27. printf("¥n");
  28. }
  29. printf("¥n");
  30. }
  32. void w2a(const WCHAR* p,
  33. int char_count, // 文字数。ナル終端のときは-1
  34. string& r) {
  35. int bytes = ::WideCharToMultiByte(CP_THREAD_ACP,
  36. 0,
  37. p,
  38. char_count,
  39. NULL,
  40. 0, // バイト数を得る
  41. NULL,
  42. NULL);
  43. if (!bytes)
  44. error("w2a");
  45. char* buf = (char*) malloc(bytes + 1);
  46. bytes = ::WideCharToMultiByte(CP_THREAD_ACP, 0, p, char_count,
  47. buf, bytes, NULL, NULL);
  48. buf[bytes] = '¥0';
  49. r = buf;
  50. free(buf);
  51. }

ストリームを読み書き

まずは、ストリームに書き込んだり、その内容を読み出したりしてみます。

  1. #include <windows.h>
  2. #include <stdio.h>
  3. #include <string.h>
  4. #include "stream_common.cc"
  6. const char* TEST_FILE = "test.txt";
  8. // 書き込みモードでストリームを開く
  9. HANDLE open_stream(const string& fname) {
  10. HANDLE hFile = CreateFile(fname.c_str(),
  11. GENERIC_WRITE,
  12. 0,
  13. NULL,
  14. OPEN_ALWAYS,
  15. FILE_ATTRIBUTE_NORMAL,
  16. NULL);
  17. if (hFile == INVALID_HANDLE_VALUE)
  18. error(fname.c_str());
  19. return hFile;
  20. }

CreateFile() API でストリームを開きます。与えるオプションに変わったものはありません。読み込むときも、普通にファイルを開くときと同じです。

  1. // ストリームから読み込み、表示する。
  2. void read_stream(const char* name) {
  3. HANDLE hRead = CreateFile((string(TEST_FILE) + ":" + name).c_str(),
  4. GENERIC_READ,
  5. FILE_SHARE_READ,
  6. NULL,
  7. OPEN_EXISTING,
  8. 0,
  9. NULL);
  10. if (hRead == INVALID_HANDLE_VALUE)
  11. error(name);
  13. char buf[100];
  14. DWORD read_bytes = 0;
  15. ReadFile(hRead, buf, sizeof(buf) - 1, &read_bytes, NULL);
  16. buf[read_bytes] = '¥0';
  17. printf("data = '%s'¥n", buf);
  19. CloseHandle(hRead);
  20. }

代替ストリームは「ファイル名 : ストリーム名」になります。主ストリームはファイル名だけてもアクセスできますし、:$DATAという別名でもアクセスできます。:$DATA でのアクセスはWINEではエラーになります。

  1. int main() {
  2. DWORD dwRet;
  4. // 主ストリームに書き込む
  5. HANDLE hFile = open_stream(TEST_FILE);
  6. const char* s = "This is a test file.¥n";
  7. WriteFile(hFile, s, strlen(s), &dwRet, NULL);
  8. CloseHandle(hFile);
  10. // 代替ストリームに書き込む
  11. HANDLE hStream = open_stream(string(TEST_FILE) + ":stream");
  12. s = "This is a test file's stream.¥nSTREAM STREAM STREAM¥n";
  13. WriteFile(hStream, s, strlen(s), &dwRet, NULL);
  14. CloseHandle(hStream);
  16. // 主ストリームは:$DATAという別名がある。WINE では失敗する。
  17. read_stream("stream");
  18. read_stream(":$DATA");
  20. return 0;
  21. }

すべてのストリームを読み出す

ストリーム名を指定すれば特定のストリームにアクセスできます。では、すべてのストリームのデータを読み込むにはどうしたらいいのでしょうか。

ファイルのバックアップのためのAPI、BackupRead() を用います。

CreateFile() でファイルを開いたうえで、BackupRead() でファイルを読み込むと、

ストリームヘッダ 内容 ストリームヘッダ 内容 ...
というようなバイト列が取り出せます。自分でコピーする場合はBackupWrite()。

contextで読み込み位置など(？)を保持します。

  1. #include <windows.h>
  2. #include <stdio.h>
  3. #include "stream_common.cc"
  5. int main() {
  6. HANDLE hFile = CreateFile("test.txt",
  7. GENERIC_READ,
  8. FILE_SHARE_READ,
  9. NULL,
  10. OPEN_EXISTING,
  11. FILE_FLAG_BACKUP_SEMANTICS,
  12. NULL);
  13. if (hFile == INVALID_HANDLE_VALUE)
  14. error("open error");
  16. BYTE buf[10000];
  17. size_t bufsiz = sizeof(buf);
  18. memset(buf, 0, bufsiz);
  20. LPVOID context = NULL;
  21. DWORD ret_bytes = 0;
  22. BOOL r = BackupRead(hFile,
  23. buf,
  24. bufsiz,
  25. &ret_bytes,
  26. FALSE,
  27. FALSE,
  28. &context);
  29. printf("ret %ld¥n", ret_bytes);
  30. if (!r)
  31. error("BackupRead");
  33. // 表示する
  34. dump(buf, ret_bytes);
  36. return 0;
  37. }

このサンプルを実行すると、次のように表示されます。 

ret 138
01 00 00 00 00 00 00 00 15 00 00 00 00 00 00 00 
00 00 00 00 T  h  i  s     i  s     a     t  e  
s  t     f  i  l  e  .  0a 04 00 00 00 00 00 00 
00 3  00 00 00 00 00 00 00 1a 00 00 00 :  00 s  
00 t  00 r  00 e  00 a  00 m  00 :  00 $  00 D  
00 A  00 T  00 A  00 T  h  i  s     i  s     a  
   t  e  s  t     f  i  l  e  '  s     s  t  r  
e  a  m  .  0a S  T  R  E  A  M     S  T  R  E  
A  M     S  T  R  E  A  M  0a

代替ストリーム名が「:stream:$DATA」になっています。実際、test.txt:stream でも、test.txt:stream:$DATA でも内容にアクセスできます。なんという。

ストリーム名を取り出す

複数のストリームを含むファイルをバイト列に展開できたので、今度はストリーム名を一覧 (列挙) してみましょう。

ストリームヘッダは WIN32_STREAM_ID 構造体で、<winbase.h> で次のように定義されています。dwStreamNameSize はバイト数なので、適宜 sizeof(WCHAR) で割ってやります。

  1. typedef struct _WIN32_STREAM_ID {
  2. DWORD dwStreamId;
  3. DWORD dwStreamAttributes;
  4. LARGE_INTEGER Size; // 内容の長さ（バイト数）
  5. DWORD dwStreamNameSize; // ストリーム名の長さ（文字数ではなくバイト数）
  6. WCHAR cStreamName[ANYSIZE_ARRAY]; // dwStreamNameSizeが非0のときのみ
  7. } WIN32_STREAM_ID, *LPWIN32_STREAM_ID;

主ストリームは、dwStreamNameSizeが0で、cStreamNameが1バイトも確保されていません。そのため、dwStreamNameSizeまでを読み込み、ストリーム名がある場合のみ読み進めるようにします。

offsetofで構造体内部の位置を取れます。(弱気にassert() していますが。)

  1. #include <windows.h>
  2. #include <stdio.h>
  3. #include <string.h>
  4. #include "stream_common.cc"
  6. // ストリームヘッダを読む
  7. bool read_header(HANDLE hFile, LPVOID* context) {
  8. WIN32_STREAM_ID sid;
  9. memset(&sid, 0, sizeof(sid));
  10. size_t header_size = offsetof(WIN32_STREAM_ID, cStreamName);
  11. assert(header_size == 20);
  13. // BackupRead() は、ファイルに含まれるストリームを結合したバイト列を読み込む
  14. // sid, ストリーム1, sid, ストリーム2, ...
  15. DWORD ret_bytes = 0;
  16. BOOL r = BackupRead(hFile,
  17. (BYTE*) &sid, header_size,
  18. &ret_bytes,
  19. FALSE,
  20. FALSE,
  21. context);
  22. if (!r)
  23. error("BackupRead");
  25. // ストリームの終端でさらにBackupRead()すると、正常に終了して、ret_bytes = 0
  26. printf("ret %ld¥n", ret_bytes);
  27. if (!ret_bytes)
  28. return false;
  30. printf("dwStreamId = %ld, dwStreamAttributes = %ld, Size = %ld, dwStreamNameSize = %ld¥n",
  31. sid.dwStreamId,
  32. sid.dwStreamAttributes,
  33. sid.Size.LowPart,
  34. sid.dwStreamNameSize);

代替ストリームのときは、ストリーム名が格納できるメモリを動的に確保します。NTFSのファイル名は非常に長くできるので、静的に確保してはいけません。

  1. // 主ストリームはストリーム名がない
  2. if (!sid.dwStreamNameSize)
  3. printf("stream name: n/a¥n");
  4. else {
  5. // ストリーム名を読む。ストリーム名は MAX_PATH より長いことがある。
  6. WCHAR* name = (WCHAR*) malloc(sid.dwStreamNameSize + sizeof(WCHAR));
  7. memset(name, 0, sid.dwStreamNameSize + sizeof(WCHAR));
  8. r = BackupRead(hFile, (BYTE*) name, sid.dwStreamNameSize,
  9. &ret_bytes, FALSE, FALSE, context);
  10. printf("stream name: ret %ld¥n", ret_bytes);
  11. if (!r)
  12. error("read stream name");
  14. string sn;
  15. w2a(name, sid.dwStreamNameSize / sizeof(WCHAR), sn);
  16. printf("%s¥n", sn.c_str());
  17. free(name);
  18. }

ストリームの内容があるとき（長さ1バイト以上）は、BackupSeek() API でファイルを読み進めます。BackupSeek() には相対位置を渡します。

  1. // 内容があるとき、次のストリームへ進める
  2. if (sid.Size.LowPart || sid.Size.HighPart) {
  3. DWORD dw1, dw2;
  4. r = BackupSeek(hFile,
  5. sid.Size.LowPart, sid.Size.HighPart,
  6. &dw1, &dw2,
  7. context);
  8. if (!r)
  9. error("seek");
  10. }
  12. return true;
  13. }

BackupRead() は、ファイルの最後まで読み込んだ状態で呼び出されると、呼び出しに成功し、かつ読み込めたバイト数0を返します。そのときは、リソース (context) を解放します。

リソースの解放も BackupRead() を呼び出します。close...などの関数が別にあるわけではありません。

  1. const char* fname = "test.txt";
  3. int main() {
  4. HANDLE hFile = CreateFile(fname,
  5. GENERIC_READ,
  6. FILE_SHARE_READ,
  7. NULL,
  8. OPEN_EXISTING,
  9. FILE_FLAG_BACKUP_SEMANTICS,
  10. NULL);
  11. if (hFile == INVALID_HANDLE_VALUE)
  12. error("open file");
  14. LPVOID context = NULL;
  15. bool has_next;
  16. do {
  17. has_next = read_header(hFile, &context);
  18. } while (has_next);
  20. // リソースを解放する
  21. BOOL r = BackupRead(hFile,
  22. NULL, 0,
  23. NULL,
  24. TRUE, // bAbort
  25. FALSE,
  26. &context);
  27. if (!r)
  28. error("end read");
  29. CloseHandle(hFile);
  30. return 0;
  31. }

ストリーム名その2

BackupRead(), BackupSeek() はドキュメント化された方法ですが、まどろっこしいです。undocumented ですが、ntdll.dll の NtQueryInformationFile() を呼び出す方法もあります。

まず、構造体などを宣言します。

  1. #include <windows.h>
  2. #include <ntdef.h>
  3. #include <stdio.h>
  4. #include "stream_common.cc"
  6. // <ddk/winddk.h>
  7. typedef struct _IO_STATUS_BLOCK {
  8. _ANONYMOUS_UNION union {
  9. NTSTATUS Status;
  10. PVOID Pointer;
  11. } DUMMYUNIONNAME;
  12. ULONG_PTR Information;
  13. } IO_STATUS_BLOCK;
  15. // <ddk/winddk.h>
  16. typedef enum _FILE_INFORMATION_CLASS {
  17. FileStreamInformation = 22,
  18. } FILE_INFORMATION_CLASS, *PFILE_INFORMATION_CLASS;
  20. // <ddk/ntifs.h>
  21. typedef struct _FILE_STREAM_INFORMATION {
  22. ULONG NextEntryOffset;
  23. ULONG StreamNameLength;
  24. LARGE_INTEGER StreamSize;
  25. LARGE_INTEGER StreamAllocationSize;
  26. WCHAR StreamName[1]; // 可変長
  27. } FILE_STREAM_INFORMATION, *PFILE_STREAM_INFORMATION;
  29. typedef NTSTATUS (*NtQueryInformationFileFunc)(
  30. /* IN */ HANDLE hFile,
  31. /* OUT */ IO_STATUS_BLOCK* io,
  32. /* OUT */ void* ptr,
  33. /* IN */ LONG len,
  34. /* IN */ FILE_INFORMATION_CLASS information_class);

GetProcAddress() で NtQueryInformationFile 関数を取得します。

  1. NtQueryInformationFileFunc NtQueryInformationFile = NULL;
  3. void load_dll() {
  4. HINSTANCE dll = LoadLibrary("ntdll.dll");
  5. if (!dll)
  6. error("load ntdll");
  8. NtQueryInformationFile = (NtQueryInformationFileFunc)
  9. GetProcAddress(dll, "NtQueryInformationFile");
  10. if (!NtQueryInformationFile)
  11. error("get address");
  12. }

一撃でストリームの情報を取得できます。

  1. int main() {
  2. load_dll();
  4. HANDLE hFile = CreateFile("test.txt",
  5. GENERIC_READ,
  6. FILE_SHARE_READ,
  7. NULL,
  8. OPEN_EXISTING,
  9. 0,
  10. NULL);
  11. if (hFile == INVALID_HANDLE_VALUE)
  12. error("open error");
  14. BYTE buf[10000]; // 固定長で確保すると不味そうだが？
  15. size_t bufsiz = sizeof(buf);
  16. memset(buf, 0, bufsiz);
  17. IO_STATUS_BLOCK io_status;
  18. memset(&io_status, 0, sizeof(io_status));
  20. NTSTATUS r = NtQueryInformationFile(hFile, &io_status, buf, bufsiz,
  21. FileStreamInformation);
  22. if (!NT_SUCCESS(r))
  23. error("query");
  25. dump((BYTE*) &io_status, sizeof(io_status));
  26. dump(buf, sizeof(FILE_STREAM_INFORMATION) * 3);
  28. BYTE* p = buf;
  29. while (p + ((FILE_STREAM_INFORMATION*) p)->NextEntryOffset <= buf + bufsiz) {
  30. FILE_STREAM_INFORMATION* info = (FILE_STREAM_INFORMATION*) p;
  31. string r;
  32. w2a(info->StreamName, info->StreamNameLength / sizeof(WCHAR), r);
  33. printf("name = %s¥n", r.c_str());
  34. if (!info->NextEntryOffset)
  35. break;
  36. p += info->NextEntryOffset;
  37. }
  39. return 0;
  40. }

実行結果はこうなります。 

00 00 00 00 Z  00 00 00 
(  00 00 00 0e 00 00 00 15 00 00 00 00 00 00 00 
18 00 00 00 00 00 00 00 :  00 :  00 $  00 D  00 
A  00 T  00 A  00 00 00 00 00 00 00 1a 00 00 00 
3  00 00 00 00 00 00 00 8  00 00 00 00 00 00 00 
:  00 s  00 t  00 r  00 e  00 a  00 m  00 :  00 
$  00 D  00 A  00 T  00 A  00 00 00 00 00 00 00 

name = ::$DATA
name = :stream:$DATA

外部リンク

プログラマから見た NTFS 2000 Part1: ストリームとハード リンク
ストリーム、ハードリンクなどの解説。
8-3. NTFS のセキュリティ機能と落とし穴
ぬるり。: C# と NTFS ストリームの甘くなくもない関係
COMインターフェイスIPropertySetStorage経由でのストリームへのアクセス。
NTFS Alternate Streams: What, When, and How To