右側の責（せき）は、
「せき」という読みを表します。
上の部分は標識として立てた柱という意味もあります。
下の貝がお金をあらわしています。
この柱の所へお金のような物、税金や貢ぎ物（みつぎもの）を持ってこいということで、
責には、税金などを割り当てるとか、税金などをもとめる、という意味があります。

この責の左に糸をつけて、織物（おりもの）の税金などのことを績といいます。
糸の代わりに禾（のぎ）ととりかえると、積という漢字になります。
これは穀物の税金などのことです。

税金などの種類が漢字になったんですね。