question

В случае с касссандрой (я с ней почти незнаком)

Скажу сразу что проблема решаема в Кассандре, но нужно потратить время чтобы разобраться как Кассандра хранит данные и какие запросы возможны.

Очень советую начать с этого простого курса: https://www.datastax.com/learn/cassandra-fundamentals. Как минимум, посмотрите уроки 4, 5, 6 и 8. Это чтобы начать разбираться что в таблице может быть 3 ключа - primary key, partition key и clustering key - и как они влияют на запросы.

Дальше я отвечу на некоторые ваши вопросы и затем приведу пример.

мы должны иметь одну таблицу на тенант для фиксации вышеуказанных статусов и значений.

Это один из способов и у него есть ограничения: если тенантов несколько сотен, то лучшего его не использовать. Таблиц на одном Кассандра кластере лучше не более 500, а то и меньше (250). Другой способ который я предпочитаю - это хранить данные всех тенантов в одной таблице но в разных разделах. Именно его я использую в примере ниже.

Скажем в строках будут пользователи, а столбцы будут представлять из себя структуру "бота". Если в боте 100 шагов и 50 переменных, а в другом боте 200 шагов и 500 ременных то на одного и того же пользователя мы получим 2 строки в одной будет 150 столбцов а в другой 700, при этом ключ будет состоять из ID пользователя и ID бота?

Нет, не так. У каждого пользователя будет свой раздел (partition) в таблице. Количество столбцов будет одинаково, а вот количество строк в каждом разделе будет разным. Опять же смотрите пример ниже.

и в такой таблице всегда можно отсортировать строки по любому из столбцов, примерно так как это делается в фильтрах задач в Jira.

Это сложнее. Кассандра не сортирует данные. Она хранит данные в отсортированном виде по ключу кластеризации (clustering key - смотрите урок 5). Чтобы поддерживать разные критерии сортировки с помощью Кассандра, нужно создавать дополнительные таблицы с соответствующими clustering keys и сохранять туда копии данных. Это один способ. Другой способ - сортировать данные в приложении. Небольшое количество строк может быть проще отсортировать в приложении.

Или же если ключ это просто ИД пользователя, то в строку к боту добавлять супер столбцы, структура каждого представляла бы структуру шагов и сущностей бота?

Супер столбцы (super column family) - использовались в очень старой версии Кассандры лет 8-10 назад. Вам это не нужно.

ПРИМЕР

Из описания, данные имеют приблизительно следующую организацию:

тенант -> пользователь -> бот -> шаг -> переменная -> значение

или

tenant -> user -> bot -> step -> parameter -> value 

Вот пример таблицы с которой можно начать.

Но это только начало. Для разных запросов возможно прийдется создавать дополнительные таблицы и индексы. Где-то может даже фильтровать в приложении если данных немного.

CREATE TABLE data_by_tenant_user (
    tenant     TEXT,
    user       TEXT,
    bot        TEXT,
    step       TEXT,
    parameter  TEXT,
    value      TEXT,
    PRIMARY KEY( (tenant, user), bot, step, parameter)
);
-- Partition key:  tenant, user
-- Clustering key: bot, step, parameter

INSERT INTO data_by_tenant_user (tenant, user, bot, step, parameter, value) 
VALUES ('TA','user1','botX','step1','status','completed');
INSERT INTO data_by_tenant_user (tenant, user, bot, step, parameter, value) 
VALUES ('TA','user1','botX','step1','timestamp','2021-04-26 10:33:55');
INSERT INTO data_by_tenant_user (tenant, user, bot, step, parameter, value) 
VALUES ('TA','user1','botX','step2','status','in progress');
INSERT INTO data_by_tenant_user (tenant, user, bot, step, parameter, value) 
VALUES ('TA','user1','botY','step1','satisfaction','high');
INSERT INTO data_by_tenant_user (tenant, user, bot, step, parameter, value) 
VALUES ('TB','user991','botZ','step1','status','completed');
INSERT INTO data_by_tenant_user (tenant, user, bot, step, parameter, value) 
VALUES ('TB','user991','botZ','step1','date','2020-11-23');
INSERT INTO data_by_tenant_user (tenant, user, bot, step, parameter, value) 
VALUES ('TB','user991','botZ','step2','temperature','33C');


SELECT * FROM data_by_tenant_user;

 tenant | user    | bot  | step  | parameter    | value
--------+---------+------+-------+--------------+---------------------
     TB | user991 | botZ | step1 |         date |          2020-11-23
     TB | user991 | botZ | step1 |       status |           completed
     TB | user991 | botZ | step2 |  temperature |                 33C
     TA |   user1 | botX | step1 |       status |           completed
     TA |   user1 | botX | step1 |    timestamp | 2021-04-26 10:33:55
     TA |   user1 | botX | step2 |       status |         in progress
     TA |   user1 | botY | step1 | satisfaction |                high

SELECT * FROM data_by_tenant_user WHERE tenant = 'TA' AND user = 'user1';

 tenant | user  | bot  | step  | parameter    | value
--------+-------+------+-------+--------------+---------------------
     TA | user1 | botX | step1 |       status |           completed
     TA | user1 | botX | step1 |    timestamp | 2021-04-26 10:33:55
     TA | user1 | botX | step2 |       status |         in progress
     TA | user1 | botY | step1 | satisfaction |                high