Boas,
Eu acho que entendi o que você quer fazer. Você precisa de um algoritmo próprio seu (seu próprio compilador e descompilador), que formate um conteúdo só texto por exemplo, ou um conjunto de imagens ou gráficos em um arquivo ilegível para qualquer pessoa que não tenha o algoritmo. Por e.g. no caso do Warcraft 3 a extensão .w3x é um conjunto de dados sobre o mapa do jogo, somente a desenvolvedora do jogo (Blizzard Entertainment) tem acesso ao algoritmo ou software que decodifica o conteúdo para algo legível (imagens, sons, NPC, spawn-points, etc). Isso me parece muito complexo, mas existem alguns compiladores/decompiladores distribuídos gratuitamente. Como no caso dos mapas do Half Life 1, extensão .bsp tem o Valve Hammer Editor[1][2]. No caso do S.T.A.L.K.E.R. - Call of Pripyat tem um ferramenta[3][4] desenvolvida pela comunidade para descompilar os arquivos .ltx se me lembro bem, e por aí vai.
Sobre criar sua própria extensão eu não achei nada relevante na internet. Exceto a biblioteca <ios> do C++[5]. Você pode criar uma ordem leitura dos seus dados. Por exemplo: O programa abre tal arquivo, se a extensão for tal ele chama determinada função para decompilar/ler o conteúdo do mesmo. Alternativamente ele pode enviar o conteúdo descompilado para um arquivo de saída. No caso de editores de mapas de jogos, etc. O processo segue esse lógica, só que muito mais complexo.
Lista extensão arquivos conhecidas:
A a E: https://en.wikipedia.org/wiki/List_of_filename_extensions_(A–E)
F a L: https://en.wikipedia.org/wiki/List_of_filename_extensions_(F–L)
M a R: https://en.wikipedia.org/wiki/List_of_filename_extensions_(M–R)
S a Z: https://en.wikipedia.org/wiki/List_of_filename_extensions_(S–Z)
[1] - https://developer.valvesoftware.com/wiki/Valve_Hammer_Editor
[2] - https://developer.valvesoftware.com/wiki/Category:Tools
[3] - http://www.moddb.com/tutorials/creating-your-first-stalker-call-of-pripyat-mod
[4] - http://www.moddb.com/games/stalker-call-of-pripyat/tutorials/editing-allspawn-in-stalker-using-acdcpl
[5] - http://www.cplusplus.com/reference/ios/
[]'s