Задоринка – это нечто аналогичное с сучком, по словарю Ожегова какая-то шероховатость на поверхности. У меня лично ассоциация с тоненькой щепкой или занозой. В обиходе оно встречается в этом значении, лишь в этой поговорке (по крайней мере в наше время).
Задоринка – уменьшительное от задорины. Задорина – это задранное место на обструганной поверхности доски, шероховатость, заструга, заноза на дереве. “Без сучка, без задоринки”, то есть гладко, без изъянов.
Опираясь на само словосочетание (сучок, задоринка – шероховатая поверхность), сразу можно предположить, что выражение имеет истоки от профессии, которая имела дело с деревом. Его ни так уж легко обработать, особенно тогда, когда попадается сучок, и идеалом для мастера является когда поверхность совершенно гладкая на ощупь.