Задавайте вопросы, мы ответим
Вы не зашли.
3 и 4 октября в Москве пройдет конференция разработчиков высоконагруженных систем Highload++, за годы проведения ставшая знаковым событием для разработчиков рунета. Цель конференции - профессиональный рост каждого из участников, приобретение практических знаний, а также установление новых полезных связей и контактов.
В течении нескольких последних лет (тезисы 2007, 2008, 2009 и 2010 годов) мы подробно изучили все, что можно назвать стандартом в разработке сложных веб-проектов. Сейчас трехзвенная архитектура, горизонтальное масштабирование, репликация, шардинг, nginx и memcached знакомы уже многим веб-разработчикам. Участники HighLoad++ в раздаточном материале найдут книжку "Стандарты построения высоконагруженных систем".
В 2011 году на конференции мы поговорим о новых архитектурах, новых концепциях и подходах в построении крупных проектов. Вот примерный рубрикатор HighLoad++:
Архитектуры:
- Проектирование; масштабируемые и отказоустойчивые архитектуры; примеры работающих решений;
- Алгоритмы работы, системы массового обслуживания;
- Языки программирования: PHP, Perl, Java, Erlang, Ruby;
- Технологии: BigIP, DSP-программирование, параллельные вычисления;
- Российские разработки: быстрые веб-сервера, application-сервера, шаблонизаторы, системы мониторинга;
- Вертикальное и горизонтальное масштабирование;
Базы данных, системы хранения:
- Базы данных, оптимизация баз данных от самих их создателей; хранение данных; репликация, шардинг;
- Кластерные файловые системы, сетевые файловые системы;
- Нереляционные базы данных;
Менеджмент:
- Разработка, организация разработки высоконагруженных проектов;
- Управление бизнесом, подбор персонала, ценообразование, организация процесса, оценка стоимости высоконагруженных проектов;
Системное администрирование:
- Поддержка, мониторинг, деплоймент;
- Системное администрирование; операционные системы (Linux, Solaris, FreeBSD), тюнинг операционных систем;
- Хостинг, защита от и организация DDOS атак;
- Инфраструктура интернет: канальные операторы, каналы;
- Железо, специализированное оборудование;
- Балансирование нагрузки;
Смежные области:
- VoIP, крупные биллинги, системы бесперебойного обслуживания;
Тестирование:
- Тестирование: функциональное и нагрузочное;
- Безопасность;
Традиционно четверть докладов на Highload++ от западных коллег, и уже есть первые подтверждения участия - на конференцию приезжает Марк Ноттингем, известный веб-разработчик, один из авторов WS-I Basic Profile, автор RFC 4229: HTTP Header Registrations, руководитель рабочих групп IETF HTTPBIS и W3C Web Services.
Подробная информация на сайте конференции.
Еще сомневаетесь? Читайте наш обзор прошедшего РИТ++.
Неактивен
Идея провести независимую конференцию веб-разработчиков впервые возникла 5 лет назад. С тех пор утекло много воды, и начальная конференция с плагиаторским названием WWW Russia трансформиовалась в серию профессиональных конференций HighLoad++, Whale Rider и РИТ++.
Лучше всего события тех времен описаны в статье ВебПланеты "WWW2006 Russia: разработчики приплыли!":
http://www.webplanet.ru/company/life/20 … 5/www.html
http://webplanet.ru/news/life/2006/08/23/www2006.html
В честь юбилея объявлена скидка на Highload++. Все, кто зарегистрируется и оплатит свое участие до конца этой недели, до 24 июня 2011 включительно, получат скидку на участие в 30% от текущей цены. Введите код Anniversary в поле для скидки и Ваш счет будет пересчитан по сниженной цене.
И еще одна новость - на конференцию вновь приезжает Лейф Хедсторм (Leif Hedstorm), главный архитектор Akamai Technologies, с мастер-классом "Как это сделать? Создание сервиса укорачивания URL".
Целью, разумеется, является не создание еще одного сервиса укорачивания ссылок, а передача знаний по проектированию таких систем и демонстрация инструментов, необходимых для этого. Мы покажем все этапы проектирования и запуска системы, при этом проанализируем “узкие места” функциональности и масштабируемости и предоставим варианты решения проблем.
Мы начнем рассказывать с простейшего дизайнерского решения, а затем перейдем к проблемам производительности, масштабируемости и способам их устранения. С каждым разом мы будем увеличивать сложность предлагаемых решений и таким образом от элементарных, немасштабируемых и медленных систем мы придем к сервису с миллионом пользователей и десятью тысячами запросов в секунду.
Подробное описание мастер-класса
Неактивен
Приведем несколько заявок на доклады, поступившие на конференцию:
Константин Осипов думает над провокационным докладом "12 наиболее часто используемых юзкейсов Redis, работающих быстрее в Tarantool". Проект Tarantool, о котором разработчики Mail.ru рассказывали ранее на наших конференциях, активно развивается, вокруг него собирается комьюнити, появляются новые фичи и ускоряются существующие. Отличный пример российской инновационной разработки.
Александр Крижановский предлагает доклад "Как построить высокопроизводительный front-end сервер". В Интернете можно найти массу статей о том, как построить быстрый сервер - это и пулы тредов, и pre-fork, и мультиплексирование, sendfile(), FSM и пр. Все это хорошо известно любому севрерному программисту. Тем не менее есть методики, которые позволяют продвинуться дальше - о них и пойдет речь, прежде всего в разрезе HTTP-серверов. В докладе будет рассказано о:
+ CPU binding и как им пользоваться для достижения максимальной производительности;
+ zero-copy network IO;
+ атомарные операции и lock-free структуры данных;
+ оптимизации, предоставляемые операционными системами (FreeBSD accf_http и пр.).
Неактивен
Сформирован Программный комитет HighLoad++ (http://www.highload.ru/) - именно эти люди будут определять программу конференции. Каждый из них в своей области - один из лучших профессионалов Рунета. В этом году, кроме гуру, известных по прошлым годам, в Программный Комитет конференции согласился войти известный западный профессионал Тео Шлосснейгл.
Тео Шлосснейгл (Theo Schlossnagle), чей доклад вы наверняка запомнили по конференции РИТ++ — исполнительный директор OmniTI, написавший одну из первых книг по высоконагруженным системам — "Масштабируемые Интернет-архитектуры".
Тео основал OmniTI в 1997 году. Под его руководством компания зарекомендовала себя как компетентный партнер для организаций, которые имеют дело с самыми серьезными вопросами масштабируемости, производительности и безопасности.
Тео отличается способностью находить элегантные решения сложных задач и умением применять новейшие технологии для решения будничных проблем. Будучи не только руководителем компании, но и практиком, он применяет свой опыт и мастерство в создании инновационных решений для клиентов OmniTI.
http://ritconf.ru/guru/897.html
Не забудем и о постоянных членах Программного комитета HighLoad++ /2011:
Владимир Габриелян — технический директор компании Mail.ru.
Игорь Сысоев
Разработчик быстрого (очень быстрого) HTTP-сервера nginx (http://sysoev.ru/nginx/), который используется на каждом десятом российском интернет-сайте. Кстати, Игорь открыл свою компанию, которая будет заниматься развитием и поддержкой nginx, с чем мы его очень-очень поздравляем
Алексей Рыбак
Руководитель отдела веб-разработчиков компании Badoo Development. Занимается разработкой веб-проектов с 1999 года. Основное направление работы в последние годы — массовые социальные сервисы. Участвовал в создании и поддержке ряда крупнейших российских и международных проектов.
Николай Самохвалов
Разработчик и администратор баз данных PostgreSQL крупных интернет-стартапов, технический директор Postgresmen;
Иван Золотухин
Научный сотрудник Парижской обсерватории и ГАИШ МГУ, кандидат физико-математических наук, специалист по IT-инфраструктуре в мировом астрономическом научном сообществе, независимый IT-эксперт. В прошлом — разработчик и администратор баз данных крупных российских интернет-стартапов, активный участник и организатор PostgreSQL-сообщества.
Андрей Пантюхин
Администратор Unix/FreeBSD с 2005 года, активный ports-committer FreeBSD с 2006 по 2008, системный инженер РГУ нефти и газа с 2005 по 2010, преподаватель курсов FreeBSD в ЦКО Специалист в 2006-2007, с 2010 работает над новыми проектами в компании Dream Industries. Практикует исследовательский взгляд на технические задачи. Интересуется Unix, управлением пакетами, распределёнными системами, открытыми проектами. Неофициальный евангелист FreeBSD на территориях России, СНГ и Антарктиды. Начинающий lifehacker.
Андрей Шетухин
Ныне - руководитель разработки почты Рамблера, непримиримый борец с непрофессионализмом, автор шаблонизатора CTPP (http://ctpp.havoc.ru/).
Напоминаем: времени до окончания приема заявок почти не осталось. Программный комитет ждет ваших докладов и тезисов!
Неактивен
Новая порция заявленных докладов:
Архитектуры:
+ "Node.Js - глубокое погружение" от Никиты Грошина;
+ "Как построить высокопроизводительный front-end сервер" от Александра Крижановского;
+ "Низкоуровневая оптимизация C++" от Андрея Аксенова;
+ "Секреты сборки мусора в Java" от Алексея Рагозина;
+ "Архитектура игрового проекта" от Александра Погребняка;
+ "Что я должен знать о Scala?" от Евгения Вигдорчик;
+ "Рассказ про создание web-sockets фермы на 10M+ человек" от Кирилла Коринского;
+ "Pconnect: граната в руках обезьяны" от Сергея Аверина;
+ "AJAX Layout" от Олега Илларионова;
+ "Высокая нагрузка на erlang-приложения: erlyvideo на гигабитном канале" от Максима Лапшина;
+ "Впервые в рунете: сказ о 100М писем в день" от Андрея Сас;
+ "Анатомия баннерной системы" от Артема Вольфтруб;
+ "Комсомольская правда" в интернете: совмещение высокой нагрузки, высокой доступности и оперативной разработки" от Александра Ромашина;
+ "Проблемы и методы их решения в геораспределенной образовательной сети" от Наима Шафиева;
+ "Опыт разработки вычислительной инфраструктуры для сотен задач и 10000 ядер" от Евгения Кирпичева;
+ "Оптимизация сервера потокового видеовещания" от Дмитрия Шатрова;
+ "Хватит контролировать неважное. Примеры ненужного управления при создании программного кода" от Ростислава Чебыкина;
+ "Специализированные http-демона: круг решаемых задач, подходы и методы" от Сергея Боченкова и Александра Панкова;
+ "Архитектура Одноклассники.ру" от инкогнито от Одноклассников;
+ "Как мы храним 75 млн пользователей (пишем неблокируемый сервер)" от Дениса Бирюкова;
+ "Кэширование и денормализация как средство борьбы с нагрузкой" от Константина Тихонова.
Системы хранения:
+ "Tarantool . Паттерны использования и примеры" от Александра Календарева;
+ "Backup & Recovery" от Ильи Космодемьянского;
+ "Apache Cassandra -- еще одно NoSQL хранилище" от Владимира Климонтовича;
+ "12 наиболее распространенных кейсов Redis'а, работающих быстрее в Tarantool" от Константина Осипова;
+ "Тюнинг производительности MySQL/MariaDB" от Константина Осипова;
+ "Почему не стоит использовать MongoDB" от Сергея Туленцева;
+ "SciDB Red Queen: масштабирование до петабайт" от Павла Велихова;
+ "Хранилище Mongodb: круг решаемых задач и перспективы" от Александра Панкова;
+ "RDBMS + шардинг + data grid = рецепт горизонтального масштабирования" от Александра Рагозина;
+ "Построение облачного хранилища для хранения и доставки статического контента на основе интеграции Nginx и Openstack Swift" от Станислава Богатырева;
+ "Ускорение веб-аналитики с использованием column-oriented СУБД" от Ивана Авсеянко;
+ "Нестандартное использование репликации Mysql" от Дмитрия Самирова и Александра Панкова;
+ "Решардинг Redis <<на живую>>" от Андрея Смирнова и Василия Евсеенко.
Менеджмент:
+ "Построение cost-effective архитектуры на ранних стадиях развития highload проекта" от Алексея Потеря;
+ "Высоконагруженный сервис - высоконагруженная служба поддержки. Проектирование, оптимизация, мониторинг, масштабирование" от Николая Кондратова;
+ "Эволюция разработки крупного интернет проекта" от Ярослава Сергеева;
+ "Механика open-source в "серьёзном" бизнесе" от Андрея Пантюхина.
Системное администрирование:
+ "Построение высокоэффективного виртуального веб-хостинга" от Тимура Хакимьянова;
+ "Управление памятью в гипервизоре. Все о виртуализации памяти в Parallels" от Анны Воробьевой;
+ "Доработка TUX для предотвращения HTTP DDoS атак" от Александра Крижановского;
+ "Организация деплоймента" от Александра Погребняка;
+ "Ликбез про то как работают сниферы трафика в linux и как записать 100500 мегабит в секунду и не умереть" от Кирилла Коринского;
+ "Презентация Google Chrome OS" от Никиты Костылева;
+ "Архитектура ЦОТ и услуги очистки трафика: взгляд компании-оператора связи и компании-специалиста" от Александра Лямина;
+ "Про "нижний уровень автоматизации конфигурации серверов", Vagrant, Cobbler и т.п." от Александра Титова;
+ "Большая книга рецептов или часто задаваемые вопросы по управлению сложными системами" от Александра Титова и Игоря Курочкина.
Смежные технологии:
+ "Алгоритмическая биология" от Якова Сироткина;
+ "Система управления таксопарком" от Дмитрия Завалишина ;-))
Тестирование:
+ "Основные ошибки при проведении нагрузочного тестирования" от Дениса Лапшина;
+ "Jagger: Сервер непрерывного тестирования производительности и отказоустойчивости" от Илья Кацова.
Это еще не все, следите за объявлениями!
Неактивен
Опубликованы тезисы докладов Highload++: http://www.highload.ru/2011/abstracts/index.html
Неактивен
Западные докладчики на конференции:
The Design and Implementation of a Scalable Concurrent Virtual Machine / Robert Virding (Erlang Solutions)
Mission critical applications such as telecommunications switches Ericson, global scale chat Facebook, high performance message buses Rabbit, and fault tolerant databases Riak must support massive fault tolerant concurrency and distribution. In our experience concurrency at scale requires a purpose designed virtual machine and its GC. In this talk we discuss our experience building the Erlang VMs with a particular focus scalability. We present challenges and solutions for concurrent VMs. We discuss some essential interactions between VM and language design necessary to achieve scalability. We will also briefly comment on our experience extending JVMs to support concurrency.
Scaling Websites with RabbitMQ / Alvaro Videla (Liip AG)
В докладе будет рассказано, как масштабировать сайты используя RabbitMQ
Тема уточняется / Robert Treat (OmniTI)
Роберт Трит возглавляет группу по работе с базами данных в компании OmniTI, где он создает и отслеживает масштабируемые решения для высоконагруженных сайтов и других сложных систем управления данными. Долгие годы он был разработчиком бесплатного ПО, и его вклад в развитие PostgreSQL был признан одним из крупнейших. В этом году, однако, мы попросили Роберта прочитать доклад про принципы мониторинга, используемые компанией OmniTI (кто знает, тот поймет
Improving web performance at scale / Buddy Brewer (Log-Normal)
Этот доклад познакомит вас с основными инструментами для измерения времени реакции сайта для конечного пользователя и технологиями веб-производительности, созданными для операторов высоконагруженных сайтов. Вы научитесь определять насколько быстро ваш сайт реагирует на запросы пользователей и узнаете, что вы можете сделать прямо сегодня для повышения производительности вашего сайта.
Leveraging the SkySQL Reference Architecture for HA (HL) / Kaj Arno (SkySQL)
В облачных и веб-доменах есть проверенные решения: взаимосвязанные компоненты, платформы, инфраструктура и ПО конечного пользователя, подходящие друг другу. Эталонная архитектура — это термин, применяемый для описания подобных наборов удачных решений. В своем докладе Кай описывает типичные примеры совместимости, встречающиеся при использовании баз данных MySQL®, MariaDB® и Drizzle®. База данных MySQL была основана на трех принципах — стабильность, производительность, удобство использования. Кай объясняет, как можно применить ПО эталонной архитектуры SkySQL с целью снижения расходов и сложности развертывания высокодоступного решения базы данных MySQL.
Проектирование крупномасштабных приложений сбора данных / Josh Berkus
Одно из наиболее быстро развивающихся направлений среди высоконагруженных приложений — крупномасштабная система сбора данных. Однако самой трудновыполнимой задачей является выполнение обновления компонентов, их замена или отказ при одновременном сохранении круглосуточного режима обработки данных, поскольку их поток никогда не прекращается. Член команды PostgreSQL Джош Беркус (Josh Berkus) работал с несколькими подобными системами за последний год, включая систему оповещения о сбое Mozilla Socorro, системы слежения выработки энергии и системы отчетов по крупномасштабным финансовым операциям.
В докладе будет раскрыто несколько уроков, которые он для себя вынес, и рассказано об открытых инструментах, которые он использовал.
Реляционные или нереляционные. Какие базы данных вам нужны? / Josh Berkus
Благодаря таким новым проектам как CouchDB, Cassandra, Hbase, Solr и другие, сейчас у разработчиков больше возможностей в поиске подходящего вида базы данных. В то же время по-прежнему мало объективной информации по выбору определенного типа баз данных. В нашем докладе мы постараемся это исправить. Когда нужно использовать реляционную БД и когда нереляционную? Какие виды нереляционных БД существуют сегодня? Для решения каких задач подходит каждая из них?
Специалист по БД Джош Беркус расскажет, как правильно оценить задания, которые должна выполнять БД, и направит вас на путь выбора нужного — или скорее нужных — вам продуктов.
Новое в MySQL 5.5, 5.6 и Percona Server для высоких нагрузок / Петр Зайцев (Percona)
Основатель и руководитель компании Percona. Петр — пожалуй, самый выдающийся мировой эксперт в производительности и масштабируемости MySQL, обладающий глубокими познаниями в аппаратном оборудовании и компонентах баз данных. О чем бы он не говорил — все будет интересно
Web-scale MySQL at Facebook / Domas Mituzas (Facebook)
Facebook, пожалуй, представляет собой пример наиболее загруженного применения MySQL: число пользователей и многообразие индивидуального контента создают огромную нагрузку на платформу. В этом докладе мы поговорим об архитектуре и методах, применяемых в базе данных Facebook с масштабированием нагрузки.
Scaling Godaddy Web Hosting to 5+ Million Accounts / Daymion Reynolds (GoDaddy)
При одновременном обслуживании более 5 миллионов пользователей возникновение некоторых помех неизбежно. Будет представлен анализ развития крупнейшей в мире хостинг-компании и предложены технологии по удовлетворению запросов клиентов. Мы обсудим проблемы выполнения запросов пользователей и требуемые для этого архитектурные изменения, масштабирование инфраструктуры Linux и Windows, необходимое для удовлетворения ожиданий клиентов, и, в конце концов, поговорим о нелинейной масштабируемой вспомогательной инфраструктуре.
Microsoft выбирает Open source / Санди Гупта (Microsoft)
По заверениям наших коллег из Microsoft, Санди — самый главный человек в компании по открытым технологиям, интеграции с ними и использованию. Windows станет распространяться с открытыми исходниками? Это шутка, конечно, но намерения компании Microsoft в отношении открытого сообщества самые серьезные
Big data in the world of services / Sean Roberts (Yahoo)
Учитывая огромные масштабы массивов данных, разбросанных по всему миру, можно признать общей проблемой извлечение полезной информации из этих данных. Мы поговорим о возможностях распределенных данных, обращении и доступу к ним и о некоторых сервисах.
Неактивен
Опубликован репортаж с Highload++
Неактивен