Если в вашей компании невозможно загружать модели с сайта huggingface, вы можете пользоваться каталогом aihoster.ru. Каталог aihoster.ru является российским и размещается на российских серверах.
Для скачивания моделей используется библиотека huggingface-cli
, но необходимо
объявить переменную окружения:
HF_ENDPOINT=https://hf.aihoster.ru
Введите полной название модели, как на huggingface, например: TheBloke/deepseek-coder-6.7B-instruct-GGUF