关于璇玑图的起源的两种说法都跟一对夫妻有关，只不过流传下来的起源经过大相径庭。
第一种关于璇玑图的起源说法来自于《晋书·窦滔妻苏氏传》中的记载：“窦滔妻苏氏，始平人也，名蕙，字若兰。善属文。滔，苻坚时为秦州刺史，被徙流沙。苏氏思之，织锦为回文旋图诗以赠滔，宛转循环以读之，词甚凄婉，凡八百四十字。”是讲回文诗的起源，前秦苻坚时期有个叫窦滔的秦州刺史，因罪被流放，他的妻子是个才女叫苏蕙，日夜思念被流放的丈夫，用织锦刺绣一首诗送给窦滔表达思念之情，此诗共840个字，可以循环反复地读，诗词凄婉。
第二种关于璇玑图的起源说法来自于武则天为璇玑图作的序，武则天在序中所描述的窦滔夫妻不像第一种对他们描绘的如此恩爱。在此序中叙述了苏蕙是位精通诗词歌赋的才女，她苦于遇不到知音而闷闷不乐，就这样一直到嫁窦滔为妻，一心期盼与丈夫能够琴瑟和鸣，怎奈窦滔是一员武将，对诗词毫无兴趣，只喜欢刀枪，所以两人关系甚为冷淡，后来窦滔甚至娶一歌伎为妾，恰逢朝廷派窦滔去镇守襄阳，窦滔便携小妾上任将苏蕙抛在家中。此时的苏蕙方感觉丈夫也有许多优点，心中万分后悔，于是用她擅长的诗词来排解，她将一首840个字的诗织在锦缎之上，纵横各29个字，五彩相间，纵横反复都是一首诗。待此图完成后，苏蕙托人将此图捎给了窦滔，窦滔如此不通文采的人看到此图竟然奇异地看懂了妻子的思念和深情，顿时勾起了对妻子的愧疚和惦念，马上派人将苏蕙接到了任上，从此以后夫妻终于过上了恩爱的生活。
从两种说法综合来看，我们不难看出璇玑图出自于前秦时期的苏蕙之手。
