Общее руководство по настройке источника данных MongoDB

Ссылки

Если вы используете MongoDB Atlas, см. отдельное руководство здесь.

Включите хранение oplog

Для репликации требуется минимальное время хранения oplog в 24 часа. Мы рекомендуем установить время хранения oplog на 72 часа или дольше, чтобы гарантировать, что oplog не будет усечён до завершения первоначального снимка.

Вы можете проверить текущее время хранения oplog, выполнив следующую команду в оболочке MongoDB (для этого у вас должна быть роль clusterMonitor):

db.getSiblingDB("admin").serverStatus().oplogTruncation.oplogMinRetentionHours

Чтобы установить период хранения журнала oplog на 72 часа, выполните следующую команду на каждом узле в наборе реплик от имени пользователя с правами администратора:

db.adminCommand({
    "replSetResizeOplog" : 1,
    "minRetentionHours": 72
})

Дополнительные сведения о команде replSetResizeOplog и политике хранения oplog см. в документации MongoDB.

Настройка пользователя базы данных

Подключитесь к экземпляру MongoDB под учетной записью администратора и выполните следующую команду, чтобы создать пользователя для ClickPipes MongoDB CDC:

db.getSiblingDB("admin").createUser({
    user: "clickpipes_user",
    pwd: "some_secure_password",
    roles: ["readAnyDatabase", "clusterMonitor"],
})

Примечание

Обязательно замените clickpipes_user и some_secure_password на выбранные вами имя пользователя и пароль.

Что дальше?

Теперь вы можете создать ClickPipe и начать приём данных из экземпляра MongoDB в ClickHouse Cloud. Обязательно запишите параметры подключения, которые вы использовали при настройке экземпляра MongoDB, так как они понадобятся вам в процессе создания ClickPipe.