Gigablast описание, скриншоты и видео

Gigablast — это мощная новая поисковая система с открытым исходным кодом, которая индексирует в реальном времени!

Функции

Масштабируемость до тысяч серверов.
Масштабируется до более чем 12 миллиардов веб-страниц на более чем 200 серверах.
Двухъядерный четырехъядерный процессор с оперативной памятью 32 ГБ и двумя твердотельными накопителями Intel емкостью 160 ГБ с 8 экземплярами Gigablast может выполнять около 8 запросов в секунду при индексировании 10 миллионов страниц. Объем дисков будет близок к максимальной емкости. Удвоение размера индекса более или менее вдвое уменьшит скорость запросов в секунду. (Показатели производительности можно сделать примерно в десять раз быстрее, но я еще не дошел до этого. Использование дискового пространства, вероятно, останется примерно таким же, потому что оно уже довольно эффективно.)
Для 1 миллиона веб-страниц требуется 28,6 ГБ дискового пространства. Это включает индекс, метаинформацию и сжатый HTML всех веб-страниц.
Скорость Spider составляет около 1 страницы в секунду на ядро. Таким образом, двухъядерный четырехъядерный процессор может сканировать и индексировать 8 страниц в секунду, что составляет 691 200 страниц в день.
Для каждого экземпляра Gigablast требуется 4 ГБ ОЗУ. (экземпляр = процесс)
Живая демонстрация вhttp://www.gigablast.com/
Написан на C/C++ для оптимальной производительности.
Более 500 000 строк C/C++.
100% заказ. Единственный бинарник. Веб-сервер, база данных и все остальное очень эффективно содержится в этом исходном коде. Упрощает администрирование и устранение неполадок.
Надежный. Тестируется в реальном времени с 2002 года на миллиардах запросов по индексу из более чем 12 миллиардов уникальных веб-страниц, 24 миллиарда из которых являются зеркалами.
Супер быстро и эффективно. Одна из немногих поисковых систем, которые достигли таких больших результатов. Единственная поисковая система с открытым исходным кодом.
Поддерживает все языки. Может дать результаты на определенных языках выше, чем на других во время запроса. Использует внутреннее представление UTF-8.
Запись трека. Был использован многими клиентами. Успешно используется в распределенном корпоративном программном обеспечении.
Кэшированные веб-страницы с подсветкой условий запроса.