NTFS代替ストリーム

(2008.1.10)

(2018.11.1) Visual Studio 2017 で再ビルド.

Windowsのファイルシステム NTFSは、UNIXのファイルシステムとは違った機能・特徴があります。その一つ, 代替ストリームについて書いてみます。

代替ストリームを扱うプログラムの書き方。

ストリーム

UNIXでは「ファイル」はバイトの集まりです。ファイルを開いて頭から読めば、すべてのデータを取り出すことができます。まったく当たり前です。

ところが Windows NTFSでは、ファイルは構造を持っています。普通にファイルを開いたときに読み出せるバイト列以外に、複数のバイト列を格納できます。普通に開いたときのバイト列を主ストリーム、それ以外のバイト列を代替ストリームといいます。

例えば, Internet Explorerは、代替ストリームにファイルの出どころを書き込み、これを利用して信頼できる出どころでない実行ファイルを実行する時に警告を出したりします。

エクスプローラでこのファイルの長さを見ても主ストリームの分しか表示されません。実際にはディスク上でもっと大きい領域を占めていることがあります。

WINE, Sambaでの扱い

WINEでは、今のところ、代替ストリームはサポートされていません。代替ストリームは、単純に「:」以降がファイル名に付いた別のファイルになります。ストリームを開いて読むだけであれば問題ありませんが、それ以上のことをしようとするとエラーになってしまいます。

(2018.11 更新)

Samba 4.8 は、代替ストリームを問題なくサポートしています (ただし設定によります).

代替ストリームを有効にしていない場合, Windows で作った代替ストリームを含むファイルを Samba サーバにコピー・移動すると、代替ストリームはエラーなく失われます。Windows のローカルのFATファイルシステムなどにコピーするときには警告メッセージが出ますが、それもありません。注意が必要です。

PowerShell でストリームを読み出す

ストリーム名が分かっていれば、例えば次のようにするだけで、ストリームの中身を表示できます。 

> cat '.\test.txt:すとりーむ1'

代替ストリームにアクセスするには、ファイル名に「:ストリーム名」を付けるだけです。

プログラムで代替ストリームを操作

普通にファイルを開くと主ストリームしか読めないので、ファイルをコピーするときに read() したバイト列をそのまま write() しては失敗します (内容が失われる).

C++で代替ストリームを扱うプログラムを書いてみます。

共通の関数

まず、以降のサンプルで使いまわす関数を書いておきます。

C++
[RAW]
  1. #include "pch.h"
  2. #include <tchar.h>
  3. #include <string>
  4. using namespace std;
  6. // エラーメッセージを出力. プログラムを終了する.
  7. void error(const wstring& message)
  8. {
  9. LPTSTR buf = nullptr;
  10. ::FormatMessage(FORMAT_MESSAGE_ALLOCATE_BUFFER |
  11. FORMAT_MESSAGE_FROM_SYSTEM,
  12. NULL,
  13. GetLastError(),
  14. LANG_USER_DEFAULT,
  15. (LPTSTR) &buf,
  16. 0,
  17. NULL);
  18. MessageBox(NULL, (message + L"\n" + buf).c_str(), NULL,
  19. MB_OK | MB_ICONERROR );
  20. ::LocalFree(buf);
  22. exit(1);
  23. }
  25. // ASCII は文字を表示する.
  26. void dump(const BYTE* buf, size_t len)
  27. {
  28. int i;
  29. for ( i = 0; i < len; i++) {
  30. if (buf[i] >= 0x20 && buf[i] <= 0x7e)
  31. printf("%c ", buf[i]);
  32. else
  33. printf("%02x ", buf[i]);
  34. if ((i % 16) == 15)
  35. printf("\n");
  36. }
  37. if ( (i % 16) != 0 )
  38. printf("\n");
  39. }

FormatMessage() で確保した領域は LocalFree() で解放するのを忘れずに。

ストリームを読み書き

ストリームに書き込んだり、その内容を読み出したりしてみます。

まず, 書き込みモードでストリームを開きます。

C++
[RAW]
  1. #include "pch.h"
  2. #include <stdio.h>
  3. #include "../stream_common.h"
  4. #include <assert.h>
  5. #include <tchar.h>
  6. #include <string>
  7. using namespace std;
  9. // 書き込みモードでストリームを開く
  10. HANDLE open_stream( LPCTSTR fname, LPCTSTR stream )
  11. {
  12. assert(fname);
  13. wstring file;
  14. if (stream && wstring(stream) != L"" )
  15. file = wstring(fname) + L":" + stream;
  16. else
  17. file = fname;
  19. HANDLE hFile = ::CreateFile( file.c_str(),
  20. GENERIC_WRITE,
  21. 0, // dwShareMode
  22. NULL, // lpSecurityAttributes
  23. OPEN_ALWAYS,
  24. FILE_ATTRIBUTE_NORMAL,
  25. NULL); // hTemplateFile
  26. if (hFile == INVALID_HANDLE_VALUE)
  27. error(wstring(L"create failed: ") + fname + L":" + stream );
  28. return hFile;
  29. }

CreateFile() API でストリームを開きます。「ファイル名 ":" ストリーム名」を開くだけです。与えるオプションに変わったものはありません。

書き込むのは, 単に WriteFile() するだけです。

C++
[RAW]
  1. int _tmain( int argc, TCHAR* argv[] )
  2. {
  3. DWORD dwRet;
  5. if (argc != 2) {
  6. _tprintf(L"%s <filename>\n", argv[0]);
  7. exit(1);
  8. }
  10. const TCHAR* fname = argv[1];
  12. // 主ストリームに書き込む
  13. HANDLE hFile = open_stream( fname, nullptr );
  14. const char* s = "This is a test file.\n";
  15. ::WriteFile(hFile, s, strlen(s), &dwRet, NULL);
  16. ::CloseHandle(hFile);
  18. // 代替ストリームに書き込む
  19. HANDLE hStream = open_stream( fname, L"すとりーむ1" );
  20. s = "This is a test file's stream.\nSTREAM STREAM STREAM\n";
  21. ::WriteFile(hStream, s, strlen(s), &dwRet, NULL);
  22. ::CloseHandle(hStream);
  24. // 主ストリームは ":$DATA" という別名がある。コロンに注意. WINE では失敗する。
  25. read_stream( fname, L"すとりーむ1" );
  26. read_stream( fname, L":$DATA" );
  28. return 0;
  29. }

主ストリームはファイル名だけてもアクセスできますし、:$DATA という別名でもアクセスできます。: (コロン) は、区切りではなく, ストリーム名の先頭文字です。:$DATA でのアクセスは WINEではエラーになります。

(2018.11) 厳密には, :$DATA は stream type で, 主ストリームのストリーム名は無名です。

読み込むときも、普通にファイルを開くだけです。

C++
[RAW]
  1. // ストリームを開き、読み込み、表示する。
  2. void read_stream( LPCTSTR fname, LPCTSTR stream )
  3. {
  4. assert(fname);
  5. assert(stream);
  7. HANDLE hRead = ::CreateFile((wstring(fname) + L":" + stream).c_str(),
  8. GENERIC_READ,
  9. FILE_SHARE_READ,
  10. NULL,
  11. OPEN_EXISTING,
  12. 0,
  13. NULL);
  14. if (hRead == INVALID_HANDLE_VALUE)
  15. error(wstring(L"open for read failed: ") + fname + L":" + stream);
  17. BYTE buf[100];
  18. DWORD read_bytes = 0;
  19. ::ReadFile(hRead, buf, sizeof(buf) - 1, &read_bytes, NULL);
  20. buf[read_bytes] = '\0';
  21. printf("data = '%s'\n", buf);
  23. ::CloseHandle(hRead);
  24. }

ReadFile() でバイト列を読み込みます。

実行結果: 

> .\alt_stream1.exe test.txt
data = 'This is a test file's stream.
STREAM STREAM STREAM
'
data = 'This is a test file.
'

すべてのストリームを読み出す

ストリーム名を指定すれば特定のストリームにアクセスできます。では、すべてのストリームのデータを読み込むにはどうしたらいいのでしょうか。

読み込みは, ファイルのバックアップのためのAPI, BackupRead() を用います。代替ストリームも含めて自分でコピーする場合は BackupWrite() を使います。

(2018.11) Windows Vista 以降に限れば, 新しいAPI, FindFirstStreamW() および FindNextStreamW() を使うこともできます。

まず, 以降で作る関数を呼び出す main() です。

C++
[RAW]
  1. #include "pch.h"
  2. #include <tchar.h>
  3. #include <stdio.h>
  4. #include <stdlib.h>
  5. #include "../stream_common.h"
  6. #include <string>
  7. using namespace std;
  10. extern void enum_stream_headers(LPCTSTR fname);
  11. extern void dump_all_streams(LPCTSTR fname);
  13. int _tmain( int argc, TCHAR* argv[] )
  14. {
  15. // __TEXT() は <winnt.h> で, _T() は <tchar.h> で定義される.
  16. _tsetlocale(LC_ALL, _T("")); // printf()に必要.
  18. if (argc != 2) {
  19. _tprintf(L"%s <filename>\n", argv[0]);
  20. exit(1);
  21. }
  23. dump_all_streams(argv[1]);
  24. enum_stream_headers(argv[1]);
  26. return 0;
  27. }

内容も含めて表示

CreateFile() で, FILE_FLAG_BACKUP_SEMANTICS を指定するのがポイントです。

こうやって開いてから BackupRead() でファイルを読み込むと、

ストリームヘッダ 内容 ストリームヘッダ 内容 ...
というようなバイト列が取り出せます。

ストリームをダンプします。

C++
[RAW]
  1. #include "pch.h"
  2. #include <stdio.h>
  3. #include <string.h>
  4. #include "../stream_common.h"
  5. #include <assert.h>
  6. #include <tchar.h>
  7. #include <string>
  8. using namespace std;
  10. void dump_all_streams(LPCTSTR fname)
  11. {
  12. HANDLE hFile = CreateFile(fname,
  13. GENERIC_READ,
  14. FILE_SHARE_READ,
  15. NULL,
  16. OPEN_EXISTING,
  17. FILE_FLAG_BACKUP_SEMANTICS, // これがポイント
  18. NULL);
  19. if (hFile == INVALID_HANDLE_VALUE)
  20. error(wstring(L"open file error: ") + fname);
  22. BYTE buf[10000];
  23. size_t bufsiz = sizeof(buf);
  24. memset(buf, 0, bufsiz);
  26. LPVOID context = NULL; // a pointer to an internal data structure
  27. DWORD ret_bytes = 0;
  28. BOOL r = ::BackupRead(hFile, // the file or directory to be backed up.
  29. buf,
  30. bufsiz,
  31. &ret_bytes, // lpNumberOfBytesRead
  32. FALSE,
  33. FALSE,
  34. &context);
  35. printf("bytes read = %ld\n", ret_bytes);
  36. if (!r)
  37. error(L"BackupRead() failed");
  39. // 表示する
  40. dump(buf, ret_bytes);
  42. // 最初のストリームだけ, ヘッダを表示する
  43. WIN32_STREAM_ID* sid = (WIN32_STREAM_ID*)buf;
  44. printf("dwStreamId = %ld, dwStreamAttributes = %ld, Size = %lld, dwStreamNameSize = %ld\n",
  45. sid->dwStreamId,
  46. sid->dwStreamAttributes,
  47. *(long long*)&sid->Size, // LARGE_INTEGER 型
  48. sid->dwStreamNameSize);
  50. // context を解放する (必須)
  51. r = BackupRead(hFile,
  52. NULL, 0,
  53. NULL,
  54. TRUE, // bAbort = TRUE で解放
  55. FALSE,
  56. &context);
  57. CloseHandle(hFile);
  58. }

すごい不思議なAPIです。context で読み込み位置など (?) を保持します。使い終わったら、必ず解放しなければなりません。

解放は, 同じく BackupRead() を bAbort = TRUE で呼び出します。

このサンプルを実行すると、次のように表示されます (前半): 

> .\all_streams.exe test.txt
bytes read = 138
01 00 00 00 00 00 00 00 15 00 00 00 00 00 00 00
00 00 00 00 T  h  i  s     i  s     a     t  e
s  t     f  i  l  e  .  0a 04 00 00 00 00 00 00
00 3  00 00 00 00 00 00 00 1a 00 00 00 :  00 Y
0  h  0  8a 0  fc 0  80 0  1  00 :  00 $  00 D
00 A  00 T  00 A  00 T  h  i  s     i  s     a
   t  e  s  t     f  i  l  e  '  s     s  t  r
e  a  m  .  0a S  T  R  E  A  M     S  T  R  E
A  M     S  T  R  E  A  M  0a
dwStreamId = 1, dwStreamAttributes = 0, Size = 21, dwStreamNameSize = 0

代替ストリーム名が「:streamname:$DATA」になっています。実際, test.txt:streamname でも, test.txt:streamname:$DATA でも同じ内容にアクセスできます。

(2018.11) 上述のとおり, :$DATA は stream type です。ストリームタイプの一覧はこちら; File Streams | Microsoft Docs

ストリーム名を列挙する

複数のストリームを含むファイルをバイト列に展開できたので、今度はストリーム名を一覧 (列挙) してみましょう。

ストリームヘッダは WIN32_STREAM_ID 構造体です。<WinBase.h> で, 次のように定義されています。

C++
[RAW]
  1. typedef struct _WIN32_STREAM_ID {
  2. DWORD dwStreamId ;
  3. DWORD dwStreamAttributes ;
  4. LARGE_INTEGER Size ; // 内容の長さ (バイト数)
  5. DWORD dwStreamNameSize ; // ストリーム名の長さ (文字数ではなくバイト数)
  6. WCHAR cStreamName[ ANYSIZE_ARRAY ] ; // dwStreamNameSizeが非0のときのみ
  7. } WIN32_STREAM_ID, *LPWIN32_STREAM_ID ;

dwStreamNameSize が文字数ではなくバイト数なのに注意です。適宜 sizeof(WCHAR) で割ってやります。

主ストリームは、dwStreamNameSize が 0で、cStreamName が1バイトも確保されていません。そのため、dwStreamNameSize までを読み込み、ストリーム名がある場合のみ読み進めるようにします。

まず、一つのストリームの名前を表示し, 内容をスキップするコードを作ります.

C++
[RAW]
  1. constexpr size_t header_size = offsetof(WIN32_STREAM_ID, cStreamName);
  3. // ストリームヘッダを一つ読み、表示する。内容をスキップする
  4. // @return 終端のとき false
  5. bool read_header(HANDLE hFile, LPVOID* context)
  6. {
  7. WIN32_STREAM_ID sid;
  8. memset(&sid, 0, sizeof(sid));
  10. // BackupRead() は、ファイルに含まれるストリームを結合したバイト列を読み込む
  11. // sid, ストリーム1, sid, ストリーム2, ...
  12. DWORD ret_bytes = 0;
  13. BOOL r = BackupRead(hFile,
  14. (BYTE*) &sid, header_size,
  15. &ret_bytes,
  16. FALSE,
  17. FALSE,
  18. context);
  19. if (!r)
  20. error(L"BackupRead() failed");
  21. // ストリームの終端でさらにBackupRead()すると、正常に終了して、ret_bytes = 0
  22. printf("ret_bytes = %ld\n", ret_bytes);
  23. if (!ret_bytes)
  24. return false;
  26. printf("dwStreamId = %ld, dwStreamAttributes = %ld, Size = %lld, dwStreamNameSize = %ld\n",
  27. sid.dwStreamId,
  28. sid.dwStreamAttributes,
  29. *(long long*) &sid.Size, // LARGE_INTEGER 型
  30. sid.dwStreamNameSize);
  32. // 主ストリームはストリーム名がない
  33. if (!sid.dwStreamNameSize)
  34. printf("stream name: (none)\n");
  35. else {
  36. // ストリーム名を読む。ストリーム名は MAX_PATH より長いことがある。
  37. // dwStreamNameSize は, 文字数ではなくバイト数.
  38. WCHAR* name = (WCHAR*) malloc(sid.dwStreamNameSize + sizeof(WCHAR));
  39. ret_bytes = 0;
  40. r = ::BackupRead(hFile, (BYTE*) name, sid.dwStreamNameSize,
  41. &ret_bytes, FALSE, FALSE, context);
  42. if (!r)
  43. error(L"read stream-name");
  44. name[ret_bytes / sizeof(WCHAR)] = '\0';
  46. // 表示
  47. _tprintf(L"%s\n", name );
  48. free(name);
  49. }
  51. // 次のストリームまでスキップする.
  52. if (sid.Size.LowPart || sid.Size.HighPart) {
  53. if (sid.dwStreamId == BACKUP_SPARSE_BLOCK) {
  54. // おそらく、どれぐらい穴を空けるか、の情報: 0x1 0008 (65,544) bytes 固定?
  55. BYTE* sparse_buf = (LPBYTE)GlobalAlloc(GPTR, sid.Size.LowPart);
  56. DWORD dwRead = 0;
  57. ::BackupRead(hFile, sparse_buf, sid.Size.LowPart, &dwRead,
  58. FALSE, TRUE, context);
  59. ::GlobalFree(sparse_buf);
  60. }
  61. else {
  62. DWORD dw1, dw2;
  63. r = BackupSeek(hFile,
  64. sid.Size.LowPart, sid.Size.HighPart,
  65. &dw1, &dw2,
  66. context);
  67. if (!r)
  68. error(L"BackupSeek() failed");
  69. }
  70. }
  72. return true;
  73. }

offsetof マクロで, 構造体内部の位置を取れます。

BackupRead() は、ストリームの終端でさらに読み出そうとすると、呼び出しに成功したうえで, ret_bytes = 0 になります。

代替ストリームのときは、ストリーム名が格納できるメモリを動的に確保します。NTFSのファイル名は非常に長くできるので、静的に確保してはいけません。

ストリームの内容があるとき (長さ1バイト以上) は、BackupSeek() API でファイルを読み進めます。BackupSeek() には相対位置を渡します。

BACKUP_SPARSE_BLOCK の場合, BackupSeek() は失敗します。workaround として BackupRead() で進めます。

以上を踏まえて, 列挙します。

C++
[RAW]
  1. void enum_stream_headers( LPCTSTR fname )
  2. {
  3. HANDLE hFile = CreateFile( fname,
  4. GENERIC_READ,
  5. FILE_SHARE_READ,
  6. NULL,
  7. OPEN_EXISTING,
  8. FILE_FLAG_BACKUP_SEMANTICS,
  9. NULL);
  10. if (hFile == INVALID_HANDLE_VALUE)
  11. error(wstring(L"open file error: ") + fname);
  13. LPVOID context = NULL;
  14. bool has_next;
  15. do {
  16. has_next = read_header(hFile, &context);
  17. } while (has_next);
  19. // リソースを解放する (必須)
  20. BOOL r = BackupRead(hFile,
  21. NULL, 0,
  22. NULL,
  23. TRUE, // bAbort
  24. FALSE,
  25. &context);
  26. if (!r)
  27. error(L"BackupRead() for release failed");
  28. CloseHandle(hFile);
  29. }

BackupRead() を使い終わったら, リソース (context) を解放します。

リソースの解放も BackupRead() を呼び出します。close...などの関数が別にあるわけではありません。

実行結果 (後半): 

ret_bytes = 20
dwStreamId = 1, dwStreamAttributes = 0, Size = 21, dwStreamNameSize = 0
stream name: (none)
ret_bytes = 20
dwStreamId = 4, dwStreamAttributes = 0, Size = 51, dwStreamNameSize = 26
:すとりーむ1:$DATA
ret_bytes = 0

ストリーム名その2

BackupRead(), BackupSeek() はドキュメント化された方法ですが、まどろっこしいです。undocumented ですが、ntdll.dll の NtQueryInformationFile() を呼び出す方法もあります。

まず、構造体などを宣言します。

C++
[RAW]
  1. #include <windows.h>
  2. #include <ntdef.h>
  3. #include <stdio.h>
  4. #include "stream_common.cc"
  6. // <ddk/winddk.h>
  7. typedef struct _IO_STATUS_BLOCK {
  8. _ANONYMOUS_UNION union {
  9. NTSTATUS Status;
  10. PVOID Pointer;
  11. } DUMMYUNIONNAME;
  12. ULONG_PTR Information;
  13. } IO_STATUS_BLOCK;
  15. // <ddk/winddk.h>
  16. typedef enum _FILE_INFORMATION_CLASS {
  17. FileStreamInformation = 22,
  18. } FILE_INFORMATION_CLASS, *PFILE_INFORMATION_CLASS;
  20. // <ddk/ntifs.h>
  21. typedef struct _FILE_STREAM_INFORMATION {
  22. ULONG NextEntryOffset;
  23. ULONG StreamNameLength;
  24. LARGE_INTEGER StreamSize;
  25. LARGE_INTEGER StreamAllocationSize;
  26. WCHAR StreamName[1]; // 可変長
  27. } FILE_STREAM_INFORMATION, *PFILE_STREAM_INFORMATION;
  29. typedef NTSTATUS (*NtQueryInformationFileFunc)(
  30. /* IN */ HANDLE hFile,
  31. /* OUT */ IO_STATUS_BLOCK* io,
  32. /* OUT */ void* ptr,
  33. /* IN */ LONG len,
  34. /* IN */ FILE_INFORMATION_CLASS information_class);

GetProcAddress() で NtQueryInformationFile 関数のアドレスを取得します。

C++
[RAW]
  1. NtQueryInformationFileFunc NtQueryInformationFile = NULL;
  3. void load_dll() {
  4. HINSTANCE dll = LoadLibrary("ntdll.dll");
  5. if (!dll)
  6. error("load ntdll");
  8. NtQueryInformationFile = (NtQueryInformationFileFunc)
  9. GetProcAddress(dll, "NtQueryInformationFile");
  10. if (!NtQueryInformationFile)
  11. error("get address");
  12. }

一撃でストリームの情報を取得できます。

C++
[RAW]
  1. int main() {
  2. load_dll();
  4. HANDLE hFile = CreateFile("test.txt",
  5. GENERIC_READ,
  6. FILE_SHARE_READ,
  7. NULL,
  8. OPEN_EXISTING,
  9. 0,
  10. NULL);
  11. if (hFile == INVALID_HANDLE_VALUE)
  12. error("open error");
  14. BYTE buf[10000]; // 固定長で確保すると不味そうだが？
  15. size_t bufsiz = sizeof(buf);
  16. memset(buf, 0, bufsiz);
  17. IO_STATUS_BLOCK io_status;
  18. memset(&io_status, 0, sizeof(io_status));
  20. NTSTATUS r = NtQueryInformationFile(hFile, &io_status, buf, bufsiz,
  21. FileStreamInformation);
  22. if (!NT_SUCCESS(r))
  23. error("query");
  25. dump((BYTE*) &io_status, sizeof(io_status));
  26. dump(buf, sizeof(FILE_STREAM_INFORMATION) * 3);
  28. BYTE* p = buf;
  29. while (p + ((FILE_STREAM_INFORMATION*) p)->NextEntryOffset <= buf + bufsiz) {
  30. FILE_STREAM_INFORMATION* info = (FILE_STREAM_INFORMATION*) p;
  31. string r;
  32. w2a(info->StreamName, info->StreamNameLength / sizeof(WCHAR), r);
  33. printf("name = %s¥n", r.c_str());
  34. if (!info->NextEntryOffset)
  35. break;
  36. p += info->NextEntryOffset;
  37. }
  39. return 0;
  40. }

実行結果はこうなります。 

00 00 00 00 Z  00 00 00 
(  00 00 00 0e 00 00 00 15 00 00 00 00 00 00 00 
18 00 00 00 00 00 00 00 :  00 :  00 $  00 D  00 
A  00 T  00 A  00 00 00 00 00 00 00 1a 00 00 00 
3  00 00 00 00 00 00 00 8  00 00 00 00 00 00 00 
:  00 s  00 t  00 r  00 e  00 a  00 m  00 :  00 
$  00 D  00 A  00 T  00 A  00 00 00 00 00 00 00 

name = ::$DATA
name = :stream:$DATA

外部リンク

NTFS Alternate Streams: What, When, and How To
非常に詳しい解説。ストリームの削除、コピー, FindFirstStreamW() を使った列挙方法もある。