道松观点

在 AI 领域，模型推理的环境配置和安装过程常常让人头疼。如果你也有这样的困扰，那么 llamafile 将会是你的福音。本文由 deepin（深度）社区用户川顺页创作，让你一文学会如何玩转 llamafile！

 llamafile到底是什么？

llamafile 是一种可在你自己的电脑上运行的可执行大型语言模型（LLM），它包含了给定的开放 LLM 的权重，以及运行该模型所需的一切。让人惊喜的是，你无需进行任何安装或配置。

 llamafile如何实现这一切？

这一切都得益于 llama.cpp 与 Cosmopolitan Libc 的结合，提供了强大的功能：

  • 跨 CPU 微架构运行：llamafiles 可以在多种 CPU 微架构上运行，支持新的 Intel 系统使用现代 CPU 特性，同时兼容旧计算机。
  • 跨 CPU 架构运行：llamafiles 可以在 AMD64 和 ARM64 等多种 CPU 架构上运行，兼容 Win32 和大多数 UNIX shell。
  • 跨操作系统运行：llamafiles 可以在 MacOS、Windows、Linux、FreeBSD、OpenBSD和 NetBSD 六种操作系统上运行。
  • 权重嵌入：LLM 的权重可以嵌入到 llamafile 中，使得未压缩的权重可以直接映射到内存中，类似于自解压缩的存档。

 llamafile支持哪些操作系统和CPU？

llamafile 支持 Linux 2.6.18+、Darwin (MacOS) 23.1.0+、Windows 8+、FreeBSD 13+、NetBSD 9.2+、OpenBSD 7+ 等操作系统。在 CPU 方面，支持 AMD64 和 ARM64 两种微处理器。

llamafile对GPU的支持如何

llamafile 支持 Apple Metal、NVIDIA 和 AMD 三种类型的 GPU。在 MacOS ARM64 上，可以通过编译一个小模块来支持 GPU。NVIDIA 和 AMD 显卡的所有者需要传递特定参数来启用 GPU。

你也可以创建自己的llamafiles！

有了这个项目包含的工具，你可以创建自己的 llamafiles，使用任何你想要的兼容模型权重。然后，你可以将这些 llamafiles 分发给其他人轻松地使用它们，无论他们使用的是什么类型的计算机。

llamafile 无疑是一个强大的工具，它使得模型推理变得更加便捷，无需安装或配置复杂的环境。如果你还在为模型推理的环境配置而烦恼，那么为何不试试 llamafile 呢？具体可以参考这个教程：https://zhuanlan.zhihu.com/p/686886176《利用llamafile构造傻瓜式，支持多平台启动的大模型》

如何在deepin上使用？

打开终端，运行 sh ./xxxx.llamafile

如何在Windows上面使用？

改后缀为.exe，双击打开即可。

如何使用GPU运行而不是CPU?

需要装好 NVIDIA/AMD 驱动，对应 NVIDIA，还应该装了 CUDA，然后在运行时加上 -ngl 99999 即可，这个代表将 99999 层（实际也就几百上千层）网络都搬到 GPU，如果你显存不够，可以适当降低这个数值，比如 99、999 等。

综合来看，对于 deepin: sh ./xxxx.llamafile -ngl 99999

对于 Windows: ./xxx.lamafile.exe -ngl 9999

获取地址

百度网盘链接：

https://pan.baidu.com/s/14cv7McPa1XpXBNKy914HyQ?pwd=msjn       提取码：msjn

123云盘链接：

https://www.123pan.com/s/oEqDVv-IP4o.html        提取码：8MCi

（注：后缀.exe 可以忽略，因为 llamafile 是跨平台的，可以同时在 Linux、Windows、Mac、BSD上运行。）

使用截图

如何接入其他客户端？

推荐这个，一键拥有你自己的跨平台 ChatGPT/Gemini 应用：

https://github.com/ChatGPTNextWeb/ChatGPT-Next-Web

《ChatGPTNextWeb/ChatGPT-Next-Web: A cross-platform ChatGPT/Gemini UI (Web / PWA / Linux / Win / MacOS)》

安装后再设置，模型服务商选择 OpenAI，接口地址换成  http://127.0.0.1:8080

接入UOS-AI（不推荐普通用户尝试）

  • 先启动 llamafile。
  • 再安装 NGINX  sudo apt install nginx
  • 利用 OpenSSL 自签名 SSL 证书，有效期 10 年。

openssl req -newkey rsa:2048 -x509 -nodes -keyout localhost.key -new -out localhost.crt -subj /CN=Hostname -reqexts SAN -extensions SAN -config <(cat /usr/lib/ssl/openssl.cnf \
<(printf ‘[SAN]\nsubjectAltName=DNS:hostname,IP:127.0.0.1’)) -sha256 -days 3650

  • 在 NGINX 配置目录，创建证书目录，将刚刚的证书移过去。

sudo mkdir /etc/nginx/cert/
sudo cp localhost.* /etc/nginx/cert/

  • 编辑NGINX默认网站配置文件，sudo vim /etc/nginx/sites-enabled/default 配置如下：

##
# You should look at the following URL’s in order to grasp a solid understanding
# of Nginx configuration files in order to fully unleash the power of Nginx.
# https://www.nginx.com/resources/wiki/start/
# https://www.nginx.com/resources/wiki/start/topics/tutorials/config_pitfalls/
# https://wiki.debian.org/Nginx/DirectoryStructure
#
# In most cases, administrators will remove this file from sites-enabled/ and
# leave it as reference inside of sites-available where it will continue to be
# updated by the nginx packaging team.
#
# This file will automatically load configuration files provided by other
# applications, such as Drupal or WordPress. These applications will be made
# available underneath a path with that package name, such as /drupal8.
#
# Please see /usr/share/doc/nginx-doc/examples/ for more detailed examples.
##

# Default server configuration
#
server {
listen 80 default_server;
listen [::]:80 default_server;

# SSL configuration
listen 443 ssl default_server;
listen [::]:443 ssl default_server;
ssl_certificate cert/localhost.crt;
ssl_certificate_key cert/localhost.key;
ssl_session_timeout 5m;
ssl_ciphers ECDHE-RSA-AES128-GCM-SHA256:ECDHE:ECDH:AES:HIGH:!NULL:!aNULL:!MD5:!ADH:!RC4;
ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
ssl_prefer_server_ciphers on;
# Add index.php to the list if you are using PHP
index index.html index.htm index.nginx-debian.html;

# server_name _;
server_name api.openai.com;

location / {
proxy_pass http://127.0.0.1:8080;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}

}

  • 重启 NGINX。

sudo systemctl restart nginx

  • 修改本机 Host，将本机 IP: 127.0.0.1 映射到刚刚配置的 api.openai.com ，修改方法：sudo vim /etc/hosts 在任意行增加一行 127.0.0.1 api.openai.com
  • 然后按照该内容：https://bbs.deepin.org/zh/post/267049  让 UOS AI 进入英语环境，这样才能添加 ChatGPT 设置。
  • 添加配置：
image.png
  • 添加成功（电脑配置差的可能要多试几次）：
image.png
  • 开始使用：
image.png

注意：目前选择 GPT3.5/GPT4 在 UOS AI 里貌似不支持流式传输，也就是没办法一个字一个字吞吐，导致要等待较长时间，等所有字都预测好了才会返回，体验较差，而其他 API 比如讯飞星火是支持流的，所以建议还是用 llamafile 自带的网页聊天窗吧。

原贴地址：https://bbs.deepin.org/zh/post/269443

441 个评论

    7. Множество игроков стремятся найти надежные казино, но как выбрать среди множества предложений? В поисках идеального онлайн-заведения можно легко запутаться, ведь на рынке появляется все больше новых сайтов. Однако что важно для игроков при выборе? Конечно, репутация и честность!

      Основной критерий оценки — это доверие игроков. Именно на основе их опыта мы и строим рейтинг казино. Для того чтобы попасть в топ казино, онлайн-казино должны соответствовать ключевым ожиданиям пользователей: быстрые выплаты, удобный интерфейс, разнообразие игр и защита персональных данных.

      Давайте порассуждаем! Многие игроки обращают внимание на отзывы, и это не просто так. За годы работы и игры на реальных деньгах люди научились отличать качественные казино от посредственных. На что стоит смотреть в первую очередь? Репутация, конечно. Если казино долго работает на рынке, с положительными отзывами и без негативных случаев, то это отличный признак.

      Кроме того, настоящие профессионалы всегда ищут казино с лицензией. Без неё играть можно, но зачем рисковать? Лицензированные сайты обеспечивают дополнительную безопасность и гарантии для игроков. А вот бонусные программы и акции — важный фактор, который привлекает внимание, но всегда помните: чем выше бонус, тем сложнее его отыграть.

      Не стоит забывать и о мобильных версиях казино. Ведь куда удобнее, когда все под рукой, и можно сыграть в любимые игры даже на ходу. А если еще учесть, что многие казино предлагают бесплатные демо-режимы, то это замечательная возможность попробовать удачу без вложений.

      Итак, лучшие казино для игры на деньги — это те, которые не только радуют высоким качеством сервиса, но и обеспечивают честность и безопасность. И если вы хотите всегда быть в курсе актуальных новинок, обращайте внимание на оценки игроков и не забывайте о своем мнении!

      Завершаем на позитивной ноте! Прежде чем отправиться в новое казино, всегда следите за рейтингом и проверяйте, насколько оно соответствует вашим ожиданиям. Подписывайтесь на надежные казино по версии игроков, чтобы всегда быть в курсе лучших предложений и не пропустить выгодные моменты.

      CasinoRF
      回复

  20. После того как я купил защитные очки от лазерного излучения, я понял, что это необходимо для обеспечения безопасности при работе с лазерами. Мои глаза теперь защищены, и я могу спокойно выполнять свою работу, не беспокоясь о возможных рисках.

    Очки защитные от лазерного излучения купить
    回复

    9. Хотите наслаждаться азартом и при этом зарабатывать реальные деньги? Тогда вам точно нужен проверенный рейтинг казино, где выплаты происходят быстро и без задержек. В современном мире онлайн-казино уже давно перестали быть просто развлечением — это полноценный источник дохода для тех, кто знает, что делает. Особенно актуально сегодня — играть на реальные деньги с выводом, ведь безопасность и честность игр стали приоритетами для игроков по всей России.

      Основной критерий, по которому мы оцениваем лучшие казино — это надежность. Тут важна не только щедрая бонусная политика или разнообразие игр, но и возможность легально вывести выигрыш на карту или электронный кошелек без лишних заморочек. Когда выбираешь сайт для игры на деньги, хочешь быть уверенным, что твои деньги в безопасности, а процесс вывода — гладкий и прозрачный. Ни один игрок не хочет тратить часы или дни, чтобы получить свои выигранные деньги.

      Об этом рынке можно рассказывать бесконечно. Например, многие отмечают, что в лучших казино гарантирован быстрый вывод средств — зачастую в течение нескольких минут или часов после подачи заявки. А при этом создание аккаунта — просто, а вывод можно осуществлять с помощью популярных способов: банковские карты, электронные кошельки или даже криптовалюты. Не секрет, что именно такие нюансы делают игру более приятной: ничего не мешает насладиться процессом и чувствовать уверенность в своих финансах.

      Конечно, не все так гладко. На рынке много недобросовестных сайтов, которые обещают “лучшие выплаты” и “безопасную игру”, а по итогу скрывают сроки вывода или требуют дополнительных платежей. Например, есть онлайн-казино с лицензией, которая вызывает доверие, и сайты, которые просто имитируют честность. Именно поэтому в топ казино всегда входит проверка лицензий, репутации и отзывов других игроков. Там, где есть отзывы о стабильных выплатах и честных условиях, — вы точно найдете надежное место для игры на деньги с выводом.

      Наш совет — выбирайте только лучшие казино, которые мы регулярно обновляем в рейтинге. Не гоняйтесь за “супер-бонусами” с кабальными условиями, а лучше обращайте внимание на реальные отзывы и лицензии. Играть на реальные деньги с выводом — это не только про шанс выиграть, но и про доверие к выбранному сайту. Чем больше у вас уверенности, тем спокойнее проводить время в любимых слотах или румах.

      Хотите всегда быть в курсе свежих новинок и проверенных сайтов? Тогда обязательно подписывайтесь на наш канал Текст. Мы подобрали для вас только лучшие и проверенные казино, где можно играть на деньги с выводом и чувствовать себя защищенным. Сделайте правильный выбор сегодня, и вперед к победам! Помните, удача любит подготовленных.

      Casino
      回复

    7. Выбирая казино для игры на деньги, многие сталкиваются с проблемой: как выбрать надежное место для ставок? В интернете множество вариантов, но как понять, кто из них действительно стоит вашего внимания?

      Главный критерий выбора — это надежность. Надежные казино должны предоставлять честные игры, гарантировать безопасность ваших данных и выплат. Но, конечно, на этом список критериев не заканчивается.

      Давайте поразмышляем о том, что же нужно учитывать при выборе казино. Прежде всего, это безопасность. Проверенные казино всегда используют современные технологии шифрования для защиты ваших личных данных. Чем выше уровень безопасности, тем выше вероятность того, что ваше время и деньги не будут потеряны.

      Второй момент — это наличие лицензии. Только те казино, которые имеют официальные лицензии от регулирующих органов, могут гарантировать честную игру. Вы не хотите столкнуться с ситуацией, когда вы выигрываете, а казино не выплачивает вам деньги? Лицензия — это первый шаг к проверенному и надежному сервису.

      Что еще важно? Конечно, бонусы и акции. Лучшие казино всегда рады приветствовать новых игроков щедрыми предложениями. Однако не забывайте, что бонусы не всегда бывают такими выгодными, как кажутся на первый взгляд. Читайте условия и будьте внимательны!

      Процесс вывода средств — еще одна важная часть. Поищите казино с быстрыми выплатами. Задержки в этом процессе могут испортить ваше впечатление от игры. Надежные казино обычно гарантируют минимальные сроки вывода.

      Не забывайте и о качестве клиентской поддержки. Важный момент для любого игрока — возможность быстро решить возникшие проблемы. Проверенные казино обеспечивают круглосуточную поддержку и быструю реакцию на запросы пользователей.

      Итак, как выбрать топовое казино? Главное — это не спешить и исследовать все доступные отзывы. Наша команда всегда работает для вас, чтобы предоставить самые актуальные и точные данные в мире азартных игр. Для более подробного сравнения казино, а также актуальной информации о лучших и надежных онлайн-казино, подписывайтесь на наш канал сравнение казино.

      И помните, что выбирать нужно с умом — всегда проверяйте информацию и не рискуйте без необходимости. Удачи в поисках вашего идеального казино!

      CasinoRF
      回复

    8. Музыка и азарт — комбинация, которая захватывает и не отпускает. Кто из нас не любит под шум песен погружаться в мир ставок и выигрышей? Особенно если речь идет об играем в казино песня — топе развлечений для настоящих любителей риска. Этот жанр — не просто музыка, а целая вселенная эмоций, драйва и адреналина. Самое время понять, как правильно выбрать надежные казино, чтобы играть без опасений и получать максимум удовольствия. В этом топе мы расскажем о критериях, по которым оцениваем лучшие казино для игры на деньги и как выбрать сайт, где каждый раунд — как хит на сцене.

      Главный критерий — это безопасность и честность платформы. Надежные казино используют лицензию, проверенные платежные системы и современные технологии шифрования. Почему это важно? Чтобы ваши деньги и личные данные были под надежной защитой, а результат игры оставался абсолютно честным. Не стоит доверять сомнительным сайтам с черной репутацией и отсутствием лицензии — это как играть с фальшивой пластинкой, рискуя застрять в проигрышах.

      Обзор топ казино показывает, что лучшие площадки отличаются не только надежностью, но и богатым выбором игр. В них есть всё: яркие слоты с музыкальными мотивами, рулетки, карточные игры и свежие новинки, которые появляются буквально каждые пару дней. Такая многообразность — залог того, что каждый найдет свою любимую песню и свой способ выиграть. К примеру, одни игроки предпочитают классические слоты, а кто-то любит экспериментировать с новыми тематическими автоматами — и все это есть у топовых казино.

      Почему люди любят играть именно под любимые песни? Потому что музыка создает атмосферу праздника, помогает расслабиться и настроиться на выигрыш. А когда еще и можно сорвать джекпот под любимую мелодию, азарт зашкаливает. Но есть и нюансы: важно быть аккуратными. Не стоит погружаться в азарт до отказа. Надежное казино всегда заботится о вашей ответственности и предлагает лимиты, чтобы игра оставалась приятным развлечением, а не проблемой.

      Плюсы играем в казино песня — это возможность подключиться к вечеринке прямо из дома. Онлайн-казино создают атмосферу концерта, где каждый раунд — это новая песня, новый шанс. Единственное, минус — иногда можно потеряться в огромном выборе. Тогда важно ориентироваться по рейтингу казино и отзывам. Рекомендуем присоединиться к официальному каналу ТопРуКазинос — там свежие новости, акции и проверенные площадки.

      В итоге, играем в казино песня — это не только про музыку, но и про качество, надежность и удовольствие. Выбирайте лучшие казино по рейтингу, обращайте внимание на лицензию и отзывы. Не забывайте — главное в азартных играх — получать удовольствие и помнить о мере. Не бросайтесь в игру без подготовки — и пусть каждая ставка будет звучать как хит, а не последний аккорд вашей удачи. Подписывайтесь на наш канал — не пропустите лучшие новости и акции! Ведь именно с правильным выбором надежного казино игра превращается в настоящее шоу и источник позитивных эмоций.

      Casino
      回复

  57. 10 Lotto Online 10line oynamaq təhlükəsizdir?, lotereya oyunlarının təhlükəsizliyi və qaydalara uyğunluğu haqqında məlumat təqdim edir. Bu, istifadəçilərə lotereya oynamanın təhlükəsiz olduğunu və platformanın bütün tədbirləri götürdüyünü göstərir ki, onlar oyun prosesinə güvənə bilərlər.

    Kayla
    回复

  58. İstifadəçi Təcrübələri və Rəyləri, istifadəçilərin platforma ilə bağlı fikirlərini və təcrübələrini paylaşmaq üçün bir məkan təmin edir. Bu, yeni istifadəçilərə platformanın pullu loto keyfiyyətini qiymətləndirmək üçün dəyərli məlumatlar təmin edir.

    Amelia
    回复

  59. Спасибо за информацию, которую нигде не мог найти. Сделанная с любовью и вниманием к деталям, мебель из сосны деревянная мебель станет не только функциональным элементом интерьера, но и настоящим произведением искусства.

    Леонид
    回复

    10. Не секрет, что большинство игроков в онлайн-казино жаждут одного – чтобы их выигрыши не остались лишь красивыми цифрами на экране. Проблема с выводом средств остаётся актуальной для многих, и к этому вопросу стоит подходить с особой внимательностью.

      При выборе лучшего онлайн-казино для игры на деньги главным критерием всегда будет именно возможность быстрого и безопасного вывода средств. Важно не только получить свой выигрыш, но и сделать это без лишних проблем. Как же выбрать надёжное место для игры, где этот процесс будет максимально простым и быстрым?

      Онлайн-казино с выводом средств должны предложить игрокам не только обширный выбор игр и бонусов, но и гарантировать безопасность транзакций. Конечно, все казино обещают золотые горы, но настоящие лидеры рейтинга – это те, кто давно зарекомендовал себя на рынке и имеет положительные отзывы игроков. Зачем рисковать своими средствами, когда можно выбрать среди проверенных казино?

      Преимущества таких платформ очевидны. Во-первых, они используют защищённые каналы для всех финансовых операций. Во-вторых, на таких сайтах обычно доступна не одна, а несколько популярных систем для вывода денег. Это могут быть как традиционные банковские переводы, так и электронные кошельки или криптовалюты. Всё зависит от ваших предпочтений.

      Не стоит забывать и о таких моментах, как сроки вывода. Важно, чтобы выигранные деньги поступали на счёт игрока без долгих ожиданий. Лучшие казино всегда работают над тем, чтобы предложить максимально быстрые транзакции. В некоторых случаях, при определённых условиях, деньги могут быть переведены уже через несколько минут!

      Конечно, есть и свои недостатки. Например, на некоторых платформах могут взимать комиссию за вывод средств, что, согласитесь, не всегда приятно. Но это скорее исключение, чем правило. К тому же, в топ казино обычно такие моменты чётко прописаны в правилах, и игроки всегда могут ознакомиться с ними до того, как сделают первый депозит.

      Чтобы не попасть в ловушку недобросовестных казино, важно проверять лицензии, отзывы других игроков, а также общую репутацию ресурса. Если сайт активно работает в социальных сетях, у него есть общедоступная информация о партнёрских программах и проводимых акциях – это хороший знак.

      В заключение, выбирая казино с выводом средств, не стоит спешить. Лучше заранее оценить все плюсы и минусы, почитать отзывы, посмотреть на репутацию сайта. Помните, что хорошее онлайн казино не только предлагает отличные игры, но и гарантирует безопасность ваших финансов.

      Если хотите всегда быть в курсе актуальных предложений и лучших сайтов для игры, подписывайтесь на наш канал.

      CasinoRF
      回复

  74. Hello there, I discovered your site by means of Google while searching for a
    comparable subject, your web site came up, it seems great.
    I’ve bookmarked it in my google bookmarks.
    Hello there, simply turned into alert to your weblog through Google, and located that
    it’s truly informative. I am going to be careful for brussels.
    I’ll appreciate if you continue this in future.
    Numerous other people will probably be benefited out of your writing.
    Cheers!

    Accounting IT Professional Year
    回复

    7. Если вы зашли сюда, то, наверно, думали, где найти достойное место для игр на реальные деньги. В конце концов, рынок онлайн-казино в России растёт как на дрожжах, и выбрать из сотен вариантов действительно сложно. Ну кто не хочет попасть в топ казино, где и выплаты быстрые, и игры честные, и эмоции зашкаливают? Именно поэтому мы подготовили для вас рейтинг казино, который поможет не ошибиться.

      Самый главный критерий оценки — это надежность. Безопасность ваших денег, честность игр и прозрачность работы платформы — вот что важно. Потому что однажды, когда вы уже начинаете выигрывать, хочется, чтобы всё шло по-честному, а не пришлось бороться с недобросовестными сайтами.

      Давайте посмотрим, чем отличаются лучшие и надежные казино в России. Представьте, вы попадаете в такое место, где всё сделано для вас: приятный дизайн, удобный интерфейс, быстрые выплаты и бонусы, которые реально работают. Эдакое уютное казино, где чувствуешь себя как дома, и не переживаешь — а вдруг деньги не выплатят? Ведь честные казино полностью соблюдают лицензии и правила. А ещё у них много акций и турниров, так что играть интересно и выгодно.

      Знаете, у каждого человека есть свои любимчики. Кто-то любит классические слоты и рулетку, кто-то предпочитает покер и блекджек. В лучших казино собираются такие игры, что и сам не заметишь, как станешь профессионалом. И главное — все эти сайты работают без задержек и с хорошей поддержкой. Ну а если вдруг что — консультанты отвечают быстро и по делу.

      Но есть и нюансы. Некоторые казино иногда бывают чрезмерно щедры на бонусы, но требуют много условий для их отыгрыша. Так что, выбирая лучшее казино в России, советуем обращать внимание не только на рекламные акции, но и на отзывы игроков. В интернете полно реальных историй — кто-то выиграл крупную сумму, а кто-то остался ни с чем из-за навязчивых условий.

      Хочу сказать вам, что выбирать лучшее казино — это не просто, но интересно. Можно сказать так: это как искать свою second половинку, только для игры — важно почувствовать, что вам комфортно и надежно. Может, вы предпочитаете классические автоматы или предпочитаете покер? В любом случае, в топ казино всё есть. А ещё — приятный бонус: регулярные акции, подарки, быстрые выплаты — всё для вашего удовольствия.

      В конце хотелось бы дать вам совет: не спешите, изучите рейтинг казино, рекомендации и отзывы. Не рискуйте своими деньгами в сомнительных местах. Путь к победе — это знание и выбор правильной платформы. И помните, что самый надежный источник информации — наш канал ТопРуКазино. Подписывайтесь и будьте в курсе всех новинок и лучших предложений в мире онлайн-казино России.

      Выбирайте только проверенные и надежные казино, и пусть удача всегда будет на вашей стороне!

      CasinoRF
      回复

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注