五色旗中的五色代表五个民族，这个说法孙中山本身就不赞同，孙中山说过赞同五族共和，但他总是认为这个说法太片面，他晚年认为至少还要加上苗族，因为孙中山认为“中国原始之住民，实为苗族”，仅仅是五族那是不行的，“我……言及种族，则必曰六族共和、六族平等，不得仅以五族称也”。孙中山不知道的是，五色旗中所谓的文化传统最早可不是中国的，而是他口中的“鞑虏”提出的，是被另一个“鞑虏”默认的。
五色旗的民族代表也是红色代表汉人，黑色代表藏族，白色代表回族，黄色代表满族，蓝色代表蒙古族。五色旗中红色代表汉人或许还可以用炎汉来解释，但其他四个民族的颜色的由来就和《十善福经白史》这本书有关了。这本书的全名叫做《崇高至上转轮圣王十善福经白史》，是蒙古贵族让喇嘛教僧侣帮忙编写的，编写年代不详，16世纪晚期被俺答汗的部下发现，在增加了不少私货后重新出现。因为这本书，蒙古人提出了所谓的五色四夷观念，他们口中的五色正好就能和五色旗对上，他们的说法是“东方之白色莎郎合思（高丽）、速而不思，南方黄色撒儿塔兀勒（西域民族）、兀儿土惕（克烈人），西方红色汉儿与南家子，北方黑色吐蕃与唐兀惕……中央之四十万青色蒙古与瓦剌”。
所谓的“四夷”（四夷谓后四者为前者之属国）说也再次强调了汉人的代表色是红色，具体说法是“孛儿帖赤那为青蒙古，其一为白高丽，其一为黄撒儿塔兀勒，其一为红汉人，其一为黑唐古特也，总之在蒙古人的观念中汉人天然属于红色，蒙古人是长生天的宠儿，蒙古代表色就应该是蓝色，西藏藏族的代表色就应该是黑色，白色则要在东北亚的朝鲜人和新疆、中亚的“回回”中二选一（看需要，北元拉拢高丽时就让朝鲜人充当白色代表）。
蒙古人的五色四夷观念是一个大杂烩，集中了汉人的五行五方观念，也集中了他们的长生天信仰和喇嘛教的说法。在这个说法中大梵天王的化身投胎成了成吉思汗，“来治理赡布洲，收抚五大国”，是注定的南瞻部洲征服者。俺答汗生不逢时，没能打下先祖一样的地盘，俺答汗就五色国作为自己政权的代称。这个理论也继承了元朝四等人的说法，对新崛起的满清比较有利，它认为“南赡部洲”所属的族群和人口中“通古斯”（女真人）和“南家思”（汉人）是一家。满清的统治者吸收了这种说法(努尔哈赤认识科尔沁的囊苏喇嘛，两人是故交，所以满清知道这个说法不足为奇），把黄龙旗的黄色当成了自己的代表，并把它变成了中国的“传统文化”。
民国初年，虽然孙中山等人一度喊着要恢复汉地十八省，但内心也是觉得民国地盘越大越好。北洋政府也觉得自己可以继承了东北和外蒙，于是这种蒙古人最早提出的五色观念就安置在五色旗上，成了民国前期的国旗。
